抖音是如何使用火山引擎DataTester快速试错的?

A/B测试产品可以说是企业科学决策的基础“设施”,能够帮助企业快速迭代产品。

在字节跳动,每一个产品功能上线前,都会先在火山引擎A/B测试产品DataTester上进行小流量验证,结合业务逻辑对结果的分析理解策略生效过程,而后再对方案进行修正、尝试创新,推动整个产品和业务的持续迭代。

抖音上,早期有一个功能“弹幕”功能设想,目的是强化熟人社交的互动性,产品团队希望围绕熟人社交进行功能拓展,以激励用户多看视频、多发作品。


(资料图片)

产品团队借鉴长视频的弹幕功能提出了一个想法——在抖音短视频中增加弹幕互动的功能,当用户观看熟人(好友)的短视频作品时,该视频的相关评论通过弹幕的形式展示,让用户有更多的互动机会并感受互动的快乐。

这个功能设计初衷是很好的,但它对于产品所带来的影响是正向还是负向,需要通过A/B实验进行评估验证。DataTester就帮助团队快速试错,避免了不合适的功能上线后为产品带来的负向影响。

如图所示,该团队在DataTester中设计了这样一个实验:

● 图一是对照组,产品界面维持抖音原样,没有弹幕功能。

● 图二是实验组1,由于弹幕功能对抖音而言是大型改动,会直接影响产品主界面布局,所以产品团队在实验组1中做了一个激进的尝试,他们将视频的文字描述区域全部去掉,替换为弹幕互动功能;与此同时,为了界面的美观简洁,将抖音右侧原本的互动区收入了“更多”的按钮中。

● 图三是实验组2,为了减少产品改动过大对用户带来的不确定影响,这个版本的产品设计保留了产品原有的互动等其他功能。

从DataTester的实验结果数据看,两个实验组的互动率确实有着显著提升,达到了功能设计时“提升互动率”的初衷。但观察新方案对抖音大盘核心指标影响时发现,这个功能对抖音整体视频的浏览量、用户投稿率、用户整体留存率均有负向影响,上述指标均出现了不同程度的下降。A/B实验清晰地表明,这个功能虽然能提升抖音的互动率,但却不利于用户的整体使用与留存。因此这个看上去很好的改动并未在抖音全量上线。

之后,抖音围绕弹幕类的产品优化探索并未停止,通过更多次的假设与A/B实验验证,这个功能后来加入了抖音的个人页位置中。当它被放在了恰当的位置,也能为产品的指标带来正向的提升。从这个案例中也可以看到,DataTester起到了帮助业务实现科学决策的能力,业务能够大胆创新的同时,也能科学验证每次创新是否真正有效。

像这样的A/B实验,在字节跳动已经开启了150多万次,每天都有2000多个新的实验上线,在DataTester上同时运行的实验有3万多个。

作为字节跳动内部使用多年的 A/B 测试平台,DataTester有支持多种复杂A/B实验的能力和科学的分流能力。它能够深度耦合推荐、广告、搜索、UI、产品功能等多种业务场景需求,为业务增长、转化、产品迭代,策略优化,运营提效等各个环节提供科学的决策依据。目前,火山引擎DataTester已经对外服务了美的、得到、凯叔讲故事等在内的上百家标杆客户,将成熟的 " 数据驱动增长 " 经验赋能给各行业。

关键词:

推荐DIY文章
主机存在磨损或划痕风险 PICO4便携包宣布召回
穿越湖海!特斯拉Cybertruck电动皮卡可以当“船”用
vivoXFold+折叠旗舰开售 配备蔡司全焦段旗舰四摄
飞凡R7正式上市 全系标配换电架构
中兴Axon30S开售 拥有黑色蓝色两款配色
荣耀MagicBookV14 2022正式开售 搭载TOF传感器
it