美国“大众点评网”Yelp如何利用深度学习对美食照片进行评分.doc

美国“大众点评网”Yelp如何利用深度学习对美食照片进行评分 Yelp的数据库中已经存储了几千万张相片，用户们现在每天都会上传大概十万张，而且速度还在不断加快。事实上，我们发现相片的上传增长率大于相片的查看率。这些相片反映着本地商业的内容和质量，提供了非常丰富的信息。 关于这些相片非常重要的一方面，就是展示出来的内容的类型。在2015年8月，我们上线了一套新系统，用于将传统饭店有关的相片分为食物、饮料、外观、内景和菜单等几大类。从那以后，我们又为咖啡店、酒吧等类似的商店上线了类似的系统，以此来帮助用户们尽快发现他们想要寻找的那些相片。最近的一段时间，我们又在研究如何进一步提高用户的满意度，具体方法就是给他们看更多漂亮的图片，改进我们的相片排名系统。 理解相片的质量 对比相片的质量，看起来很像是一件非常主观性的工作。喜欢哪张相片或不喜欢哪张相片，有许多因素会影响这样的决定，而且依正在做有哪些信誉好的足球投注网站的用户个人不同，结论也会有所不同。为了能为Yelp的用户提供更好的体验，相片理解团队必须担当起这项非常有挑战性的工作：确定哪些特点会让相片更受人喜爱，并研发出一套算法，可以依据这些特点来可靠地对相片做出评判。 首先我们试着为相片构建一个点击率预测器，数据源就是从日志中挖掘出来的点击数据。我们的假设是，那些被点击了更多次数的相片应该很明显地会比其它相片好。可事实上这个想法的效果却没有想象中好，原因有几点。首先，人们常常会点开那些比较模糊、或者里面有非常多文字的相片，这么来看看里面到底是什么内容。另外，因为Yelp上的相片有许多种展示方法，所以很难有效地对比某些特定相片的指标。 之后，我们试用了好几种不同的计算机视觉技术，试着发现一些相片的内在特征，希望可以直接用于质量评分。比如，对摄影师来说有个非常重要的特征叫“景深”，它用来测量相片有多少内容是在焦点里面的。用浅景深可以非常有效地将相片中的物体与它的背景区别开来，上传到Yelp的相片也不例外。很多时候，在关于某间饭店的许多张相片中，那些最美的总是那些非常明确地对焦到某个具体物体上的。 景深 亚历山大牛排屋 桌面上的艺术 另一个人们判断相片的非常重要的方法就是对比。对比可以测量出在一张相片中，一个物体和它旁边的物体在亮度和颜色等方面的不同。有许多种公式可以用于计算对比，但大多数都要对比亮度，或者相片中附近区域的光强度。 对比 安东尼点心 Tac N Roll 最后，相片中不同物体之间的相对位置也是一个非常重要地审美方面的考虑。比如研究表明，人们对艺术的对称性有着天生的倾向。另外，有些摄影师也非常推崇所谓的“第三法则”，这是一种将相片中的重要元素都按照某个轴排列起来的方法，以此来创建出一种运动或活力的感觉。 对齐 Traif Augie Chang 摄影室 用深度学习来构建相片评分模型 所有这些考虑都依赖于对相片内不同区域之间的关系的理解。所以当要实现一个相片评分算法时，我们希望算法中也会把这个关系放在非常重要的地位。结果，我们当时非常抱以厚望的就是卷积神经网络模型，或者说是CNN。 在过去的十年里，卷积神经网络模型在图片分类与处理领域内取得了巨大的成功，比如人脸识别和分子疾病检测等。和普通的神经网络类似，它们都会对输入向量做一系列的转换，并使用输出的错误来动态地改进对未来的预测。可是，CNN还有另外的几层，用到了上文中我们详细讨论过的几个特征。尤其是卷积层会对相片加以许多过滤器，汇聚层也会缩减之前各层的输出规模，以减少计算量。 为了开发这个模型，我们先要收集训练数据。得到训练数据的方法之一就是手工地为成千上万张相片加上标签，标记成漂亮或不漂亮。可是这样的方法代价太大，太耗时，而且会非常依赖于我们的评分员的喜好。另外，还有一点可供我们利用的就是，在相片被上传到Yelp的时候，它们通常都会包含着额外的信息，也就是EXIF数据。 另外，我们发现有个判断质量的非常好的方法，就是相片是不是由单反相机（Digital Single-Lens Reflex Camera，DSLR）拍摄的。单反相机可以让摄影师调节透镜类型和光圈大小，更好地控制把相片里的哪个部分作为焦点。更进一步，单反相机的传感器更大，对光线更敏感，即使在非常昏暗的环境下也可以拍出非常漂亮的相片。最后，总是使用单反相机的人经验会更丰富，也可以抓拍到质量更好的相片。 把这样的相片送给我们的模型去学习，就可以学到这些重要的相片特征，那么即使是在那些不是由单反相机拍出来的相片中，也可以识别出好相片。 即使这张相片是由iPhone拍出来的，我们的模型也还是给了它非常高的评分。 我们尝试了好多种方法来训练这个模型。一开始，我们收集了十万张单反相机和非单反相机拍出来的相片，分别标上好的和差的标签，然后送给名为AlexNet的模型中去学习，这个模型是由多伦多大