智东西(公众号:zhidxcom)
文 | 李水青

导语:专访京东商城技术总监桂创华,为你解读视觉识别在京东图片系统中的应用。

哪里汇聚了最多种的商品图片?京东绝对榜上有名。不同的用户进入京东商城App,会根据兴趣偏好被推荐不同的产品,或者说不同的产品Banner图。

现在,这些京东制作的产品Banner(网络横幅素材)大都由AI来完成,据称,其设计效果达到初中级设计师水平,每秒可以生成6000多张Banner。经记者估算,机器生成的速度比普通设计师快了约200万倍。除此之外,京东还利用AI进行山寨识别、视频合成及个性化分发等工作。

在2019英特尔互联网数据中心峰会上,智东西有幸和少数媒体对京东商城技术总监桂创华进行了采访,就“京东商品图片系统的AI化”进行了深入探讨。

一、每秒6000张Banner,质量达到初中级设计师水平

App飞速赛车平台焦点图是京东商城引流的王牌点位,自2018年起,京东已经开始将焦点图设计工作交给AI来做,速度大大提升,为“千人千面”的广告触达奠定了基础。

专访京东商城技术总监桂创华:AI抠图做设计,机器识别山寨货
▲京东商城飞速赛车平台焦点图

“AI设计师”首先要做的是自动抠图。焦点图、海报图的设计制作需要产品的透明底图,但是商家上传的产品图往往带有背景。京东通过自研算法,能够快速实现AI抠图。

专访京东商城技术总监桂创华:AI抠图做设计,机器识别山寨货
▲京东采用自研抠图算法

下一步的挑战是需要组合设计元素。一张焦点图既涉及产品图、背景色、背景纹理、组合图形、按钮、文案等多个元素,还涉及到商品调性和色彩、布局、风格的搭配。京东技术部门利用机器学习技术,用海量的Banner对图片生成模型进行训练,实现多种产品的Banner智能设计。

专访京东商城技术总监桂创华:AI抠图做设计,机器识别山寨货
▲一张焦点图既涉及产品图、背景色、背景纹理、组合图形、按钮、文案等多个元素

京东商城技术总监桂创华表示,京东AI生成焦点图的速度可以达到100毫秒/张,设计效果能达到初中级设计师水平。据智东西记者了解,普通设计师的完成速度约为5min/张,比机器慢了约200万倍。

为了优化AI设计的效果和速度,京东双管齐下。一方面,京东从上层算法及软件上做优化,依托图片库中的海量图片,进对图片设计模型进行迭代训练,使机器充分了解设计规则;另一方面,京东向英特尔等合作伙伴寻求整体性能的优化方案。

桂创华说,之前我们做了很多上层应用软件的优化,但是做图速度优化到100ms/张就优化不下去了,再往下就涉及到基础库的优化了,在这一块,英特尔在图片和媒体处理方面有很多的工作。

英特尔发言人表示,英特尔第二代至强可扩展处理器、英特尔的软件库、ICC编译器、还有IPP这样的图像处理库,在京东的系统当中都有应用。比如对PNG的编解码的优化,英特尔不仅使用了AVX-512指令这样的向量化指标提升整体性能,还针对PNG图片使用了IPP高效压缩技术,以此提升PNG编解码优化。

另外,因为京东商品图片系统是基于AI的,英特尔会基于Caffe及TensorFlow主流框架打造优化的高效版本,应用到京东的图片系统当中去,以此保证整个图片系统可以更好地运行。

AI抠图和AI设计为京东“千人千面”的电商营销提供了加持。“千人千面”被提了很多年,但由于成本过高等因素并未真正落地,其中成本就有设计制作成本。

据记者调查了解,一张模板式焦点图设计的市场价达到150-300元,大概需要花费8-12分钟时间;而京东采用AI每秒合图超过6000张,日均合图超过2000万张,这大大降低了制图成本。据称,在去年双十一,京东AI生成了过亿张Banner图,现在每天也是千万量级的。

二、AI打假:识别山寨品牌Logo、外形及文字描述

除了AI设计,京东还借助机图像识别技术对山寨产品进行识别。桂创华说,山寨是京东不能碰的红线。英特尔发言人说,京东本身是一个以产品保真和用户体验为核心,这是其重要优势。

尽管京东卖家审核机制很严格,但仍有部分“漏网之鱼”。桂创华说,采用了AI山寨识别技术之后,京东平台能快速把绝大部分仿冒店、假产品识别出来。

桂创华说,京东的山寨识别应用采用自研技术。这类场景具有特殊性,国内做的企业少,国外更少有这类诉求。

Logo仿冒是商品市场的重灾区,京东会通过“Logo检测”系统,验证Logo真伪。其图片识别模型会比对100多个商标易被山寨的品牌,比如通过检测耐克的“钩”的形状验明真假,再通过比对其先前上传资质判别山寨风险。如果说相似度极高却不具有销售该品牌的权利,就会被认为是在发布侵权的商品,进而采取扣分、下架甚至是关店的处罚措施。

专访京东商城技术总监桂创华:AI抠图做设计,机器识别山寨货

除了上述山寨Logo的情况,还有外形的山寨,比如大家通常见的LV、古驰的包包,山寨的纹理和正版非常像,但是很多人一看就可以看出来你是山寨LV或者是古驰的,所以京东也在针对外形山寨做了一些工作。

另外,除了图片之外还有文本方面的检测。桂创华介绍,山寨品很多时候不会山寨得那么直白,比如山寨“三叶草”的“三条杠”就没那么好识别,但这也在京东山寨识别的范围之内。

在山寨识别技术的研发中,京东面临了许多挑战。比如鞋子、服装图片中的logo会变形,这对机器学习算法造成了干扰,需要进行倾斜校正;店铺上传的商品图光线存在差异,也会影响识别效果;另外,在包包外形纹理比较相似的情况下,人眼容易识别出来的差别对机器来说却没那么容易。

对此,京东利用海量的商品图片数据,不断优化算法。同时,京东将提高检测速度、优化性能的任务交给英特尔解决,在不损失山寨检测效果的情况下,多倍提升性能。

山寨检测是一个比较典型的深度学习的场景。据了解,英特尔帮助京东对此做了多方面的优化。首先是框架层面,因为它这里面Caffe和TensorFlow都有使用,在框架层面,英特尔已经做了很好的优化。

另外英特尔今年发布的第二代至强可扩展处理器有一个新的特性叫Deep Learning Boost深度学习加速库,Deep Learning Boost我们最早跟京东在山寨检测这个场景上有过很好的应用。相当于我们这里面增加了一个指令叫VNNI 的int8的指令,可以在不损失山寨检测质量的情况下提升几倍的性能。

桂创华说,其实在我们这些应用场景中,算法是京东自研的,性能是英特尔帮助提升的。这对于京东的好处在于通过一台服务器可以处理更多的图片,且每张图片处理速度更快,因此带来了用户体验上的提升。

三、用AI制作视频,跨机房容灾支持海量图片存储

另外,随着移动互联网的发展,短视频内容的影响力越来越大。考虑到视频制作麻烦,需要耗时数天、花销数百,京东选择用AI来制作产品图视频。该技术能利用已有的素材,进行剪辑、配乐。

专访京东商城技术总监桂创华:AI抠图做设计,机器识别山寨货

桂创华说;“现在我们在做的是生成视频的一些技术,这部分技术现在主要开放给商家,允许他们自己提供原始素材,我们自动给它选一些音乐,做出转场的效果,生成视频。这一块技术已经有很多商家在用了,今年双11会有大量的商家用到这样的技术。”

作为电商平台,产品图片系统是京东的重中之重,图片存储的意义不言而喻。从2014年到2018年京东产品图片数以倍速增长。

对此,京东采用跨机房容灾。具体来说,当一个机房存储两个副本,另一个机房存储了两个对应副本,一旦其中一个机房出现故障,系统会自动切换到另一个机房,这就大大提高了京东商品图片系统的稳定性。

专访京东商城技术总监桂创华:AI抠图做设计,机器识别山寨货

桂创华说,我们现在海量的图片存储,它的跨机房容灾,其实在业内也是做得比较领先的。大概在去年的时候,我们就把这些工作整理了一下,做了一个开源的分布式文件系统,我们叫ChubaoFS,这个工作我们在GitHub上已经开源了。

谈到与英特尔的合作,桂创华表示;“我们一直在持续合作,是一种紧密的合作关系,凡是涉及到我们软件层面上已经优化到性能的,我们就把问题提给英特尔,看英特尔能不能给我做一下性能上的支持。比如我一台服务器只能处理10张,现在上层应用软件我们已经做到顶了,能不能给我优化一下,变成一台服务器可以处理20张、30张这样的。”

结语:利用数据优势,加持算法和算力

电商平台天然具有发展人工智能的基因。数据是众多机器学习模型的最大的痛点之一,这恰恰是电商平台的优势项。面对设计Banner、识别山寨等特殊场景,电商平台一方面通过自研软件算法来优化图像识别、图层组合等模型,一方面通过与英特尔等厂商的合作确保底层硬件的高速稳定性能。

随着各大广告代理商、大企业纷纷掀起利用AI技术转型“Martech”(智能营销)的热潮,电商平台凭借平台和渠道便利获得了无与伦比的数据优势,这使得广告代理、大企业等陷入被动境地,也使得整个智能营销市场的门槛大大提高。