首页 > 运营推广 > 详情

一个爆款游戏,是如何用火山引擎A/B测试DataTester 打磨的?

国内游戏市场已经趋向于饱和,游戏企业想要在竞争激烈的游戏市场上突出重围,必须不断的优化提升自己的游戏产品。优化的效果如何?对于核心指标是否会有负面的影响?这两个问题是每个游戏企业在修改产品后都会产生的疑问。

传统的思路,是将新特性上线后验证效果。但这往往会存在上线周期长,过分依赖经验,影响面广等问题。A/B测试使用线上小流量即可验证效果的特点,能够完美地解决上述问题。它通过在线上流量中取出一小部分,完全随机地分给原策略A(对照组)和新策略B(实验组),再结合科学的统计方法 ,得到对于两种策略相对效果的准确估计。

在发行时就荣获“年度最佳休闲游戏”大奖的《全民弹弹弹》,是超休闲游戏类的爆款产品代表。在这款游戏研发和推广过程中,借鉴了字节跳动的增长经验,接入了火山引擎 DataTester,对游戏的多个环节进行了A/B测试。

举例来说,《全民弹弹弹》为了验证游戏首页对玩家留存和广告数据的影响,设计了两款首页方案,然后通过A/B测试进行玩家留存数据的对比:跳塔页(左图)、合成页面(右图)。

图片1.png

经过在 DataTester 中运行2周的A/B实验测试,发现首页为合成页(右图)的页面在用户3日留存、用户7日留存以及广告效果等核心指标中,均优于对照组跳塔页(左图)的方案。

图片2.png

图片3.png

在A/B测试的数据结果支撑下,《全民弹弹弹》最终全量上线了合成页面的方案,并收获了众多游戏用户的好评。除上述场景外,火山引擎DataTester 还能在游戏产品中,应用于验证新玩家初始调整、游戏体验、功能性区域、匹配系统、好友系统、聊天系统等功能的改动。

一款游戏从研发到打磨,再到上线后的不断调优,全链路均可通过 DataTester 的A/B测试能力提升效率和决策准确度。除了传统的客户端、服务端A/B测试以外,火山引擎 DataTester 还设有3大针对特殊场景的A/B测试能力,分别是通过测试找出效果最优方案的推送实验、支持对比不同投放效果的广告实验,以及无需编程即可快速上线的可视化实验。通过A/B测试可以大幅提升游戏在广告投放、信息推送等场景下的效率。这些能力均来自于字节跳动在多年业务打磨中,完成过150万余次A/B测试的经验积累,因此产品在实用性和易用性方面能力极强。

作为火山引擎旗下的A/B测试产品,DataTester 可以提供科学分流能力和智能的统计引擎,能支持多种复杂的A/B测试类型。在应用和分析场景上,DataTester 深度耦合推荐、广告、搜索、UI、产品功能等多种业务场景需求,为业务增长、转化、产品迭代,策略优化,运营提效等各个环节提供科学的决策依据,让业务真正做到数据驱动。

目前,火山引擎DataTester 已在外部多家企业上线应用,将成熟的“数据驱动增长”经验赋能给游戏、汽车、大消费、金融等多个领域。

QR code