专业 靠谱 的软件外包伙伴

您的位置:首页 > 新闻动态 > YouTube网站推荐算法软件开发实现原理!

YouTube网站推荐算法软件开发实现原理!

2016-09-28 09:45:43
 

近日,在谷歌刊登的一篇论文中,YouTube工程师详细地分析了YouTube推荐算法的内部工作原理。该论文在上周于波士顿举行的第十次ACM大会上进行了展示。

YouTube推荐算法以Google Brain为基础,后者最近以TensorFlow的名称开源。借助TensorFlow,开发人员可以使用分布式训练试验不同的深度神经网络结构。该系统包含两个神经网络。第一个生成候选集。它以用户的观看历史作为输入,使用协同过滤算法在数以百计的视频中进行选择。开发和最终部署到生产环境有一个重要的区别,谷歌使用离线指标衡量算法性能,但最终的决定来自对性能很好的算法进行在线A/B测试。

候选集生成使用用户观看视频的隐式反馈来训练模型。与隐式反馈相比,对于一个视频,类似支持或不支持这样的显式反馈一般很少。对于那些不受欢迎的长尾内容而言,这个问题更为严重。对于新上传的视频,为了加快模型训练速度,每个训练示例的年龄会作为一个特征传入。发现和展示新内容的另一个关键方面是使用所有用户观看过的YouTube视频(甚至是合作网站的)来训练算法。这样,协同过滤算法可以立刻识别出热门视频。最后,除了实际的观看外,通过增加更多的特征,如搜索深度和视频年龄,YouTube改善了离线holdout结果精度。

第二个神经网络用于对这几百个视频进行排序。这个问题比生成候选集简单许多,因为视频的数量较少,而且,对于每个视频及其和用户的关系,有更多的信息可用。该系统使用逻辑回归计算每个视频的得分,然后不断地使用A/B测试进行改进。这里使用的指标是预期观看时长,因为预期点击数会助长“点击诱饵(clickbait)”。为了基于观看时长而不是点击率进行训练,该系统使用了逻辑回归的一个变种,以观看时长作为正相互作用权重,而负相互作用采用单位权。这之所以可行,部分原因是,“正面印象(positive impressions)”分量比总数小。

YouTube的推荐系统是业内最为复杂、使用最为频繁的系统之一。这篇论文只提供了一个肤浅的介绍,但即便如此,它也在深度学习系统设计方面提供了一些有用的见解。

查看英文原文How YouTube's Recommendation Algorithm Works

 

关于:中科研拓

深圳市中科研拓科技有限公司专注提供软件外包、app开发、智能硬件开发、O2O电商平台、手机应用程序、大数据系统、物联网项目等开发外包服务,十年研发经验,上百成功案例,中科院软件外包合作企业。通过IT技术实现创造客户和社会的价值,致力于为用户提供很好的软件解决方案。联系电话400-0316-532,邮箱sales@zhongkerd.com,网址www.zhongkerd.com


  上一篇   [返回首页] [打印] [返回上页]   下一篇