微信号:ai-front

介绍:面向AI爱好者、开发者和科学家,提供最新最全AI领域技术资讯、一线业界实践案例、搜罗整理业界技术分享干货、最新AI论文解读。每周一节技术分享公开课,助力你全面拥抱人工智能技术。

提速100倍,秒杀传统A\/B测试!Netflix推出交错测试个性化推荐算法

2017-12-05 15:10 欢迎关注
编译 | Debra
编辑 | Vincent
AI 前线导读:Netflix 的推荐和个性化功能向来精准,例如,其主页上的“热门推荐”是根据视频的个性化排名,而“Trending Now ”则是结合最近的流行趋势由算法推荐。这些算法为 Netflix 平台上 1 亿多名会员构建个性化的主页,以保证用户体验。现在,Netflix 针对不同的目的对算法进行了优化,其中,Netflix 的交错算法(interleaving)测量用户偏好,为用户推出个性化推荐视频的速度,比传统 A/B 测试的 100 倍还快!

更多干货内容请关注微信公众号“AI 前线”(ID:ai-front)

(图 1:Netflix 会员个性主页,使用多种排名算法为会员提供个性化推荐,从左至右的视频排序由排名算法决定)

Netflix 不断优化推荐算法,从该平台创建新的排名算法及其离线性能评估开始。之后,Netflx 使用 A / B 测试法对核心评估指标进行在线评测,以达到用户满意度最大化的目标。这些指标通常包括月订阅用户的留存率和会员观看时长。随着排名算法和 Netflix 整体产品的优化,实现这些指标需要越来越大的样本量和较长的测试时长。

为了加快算法创新,Netflix 设计了一个分两阶段进行的线上测试法。第一阶段是一个快速筛选的过程,从众多算法中挑选出性能最优的排序算法。第二阶段,是对减量算法进行传统的 A / B 测试,以测量其对会员长期行为的影响。在这篇文章中,我们将重点放在第一阶段所使用的方法上:一种可以更加精准推测用户偏好的交错测试技术。

交错测试提高算法速度

Netflx 表示,推动该公司算法创新的主要动力,是通过快速测试众多算法,从而提高学习速度。首先,我们需要拓展筛选阶段新算法的数量,这些算法应满足两个条件:

·对排序算法的质量非常敏感,也就是说,它可以从与传统的 A / B 测试相比所需的小得多的样本量中,可靠地识别出最佳算法。

·对第二阶段进行准确预测:第一阶段衡量的指标与核 / B 评估的指标一致。

使用交错技术实现上述过程,可以极大地加快测试过程(参见图 2)。其中,第一阶段可以在数日内完成,并筛选出一小组最优排名算法。第二阶段只需要测试第一阶段筛选出的算法,这使得与传统的 A / B 测试相,测试时间大大减少。

(图 2:使用交错算法,灯泡代表新算法,其中筛选出的算法用红色表示。交错测试可以更快地选出最优候选推荐算法,比传统的 A / B 测试速度更快)

使用重复步骤设计以确定用户偏好

为了提高交错算法的灵敏度,我们以用户对可口可乐和百事可乐的偏好为例进行测试。如果使用传统的 A / B 测试,我们可能会随机将测试对象分成两组,并进行盲试。之后,