火山引擎产品总监宋鼎：做好精细优化运营 这些出海手游爆款都是如何用A/B测试磨出来的 siyushenqi.com • 2025 年 8 月 3 日 下午12:13 • 行业动态 • 阅读 468 火山引擎数据中台AB测试产品总监 宋鼎受邀参会，他从研发到制作人，12年游戏行业从业经历，从产品使用分析到广告监测，从广告投放到AB测试，负责过字节多款大数据产品，经验丰富。本次将以《无限进化的游戏—A/B测试》为题，分享如何深耕产品，让游戏立足海外。 9月8日，由私域神器主办的「PAGC2021产品与增长大会」在深圳拉开帷幕。本次大会邀请了游戏、电商、社交、应用等行业领域的多位大咖，共同讨论在后疫情时代背景下的互联网出海，助力中国企业走出国门，布局海外。 而在9月9日的APP分论坛中，火山引擎数据中台AB测试产品总监 宋鼎受邀参会，他从研发到制作人，12年游戏行业从业经历，从产品使用分析到广告监测，从广告投放到AB测试，负责过字节多款大数据产品，经验丰富。本次将以《无限进化的游戏—A/B测试》为题，分享如何深耕产品，让游戏立足海外。 以下为现场实录： 宋鼎：大家下午好，我简单介绍一下，我叫宋鼎，现在在火山引擎数据中台做一些微小的工作。 因为我自己也算是在游戏行业摸爬滚打过十几年，这十几年中从最早的KJava到现在的UE4，游戏的品质在不断提升，游戏的玩家也在随之变化，在这个过程中我们研发运营也要做一些调整，做一些适应。我今天分享的题目叫无限进化的游戏，讲讲A/B测试在这个过程中起到哪些作用。 首先我这里提了一个命题叫游戏行业现在是红海一片，精细化才是方舟，出海是我们的方向，为什么这么说？我们先看一些数据，在2020年，全年版号只有1400多个通过，而同时我们会发现光有渠道统计的游戏厂商就有超过5千多家，多如牛毛，而且经过这么多年的教育，玩家对游戏的品质要求是越来越高，整个行业的精细化程度在整体的提升，而同时，现在游戏行业头部的集中度非常高，高到什么程度？高到top一千的游戏当中，前三的收入占到20%，高到前三款和尾部的900款收入规模是相当的，而且这个过程中整个流量的成本，买量获客的成本在逐年提升，所以我们发现整体行业现在毛利率10%不到，这个非常低，甚至不如一些传统行业，游戏行业会有，但是接下来会更难。 但是同时我们会发现，2020年整个中国的游戏收入2700多亿，增长了20%，这个增长速度还是相当可观的，尤其自研出海的收入1千亿左右，整体增长33%，而且自研式游戏在全球的份额中只占到8.8%，未来的空间还很大，所以我们得出刚才第一个结论，就是精细化是方舟，出海是我们的方向，而如何做这样的精细化？做事要有策略，分析要有章程，我们需要增加科学的方法，那什么是科学的方法？ 我们需要理解玩家，去做精准优化，去做持续增长。首先我们在做游戏数据分析过程中发现了问题，我们去尝试解决优化，去制定对应的优化策略出来，但这个过程中有一个关键的环节就是方法验证，我们不拍脑袋决策，我们觉得原因可能在这，我们去做科学的验证。因为一个没有经过科学验证的策略上线之后可能会出现反复，也许带来的是增长，也许带来的是负向损失，我们是希望我们的每一个步骤都是通往增长之道，而不是出现反复，所以A/B能帮我们解决这个点。通过科学先验后再根据结果决策上线，跟踪数据寻找可优化点进行原因分析，方案制定，继续科学验证，达到一个科学的循环，持续的增长。 因为每一款游戏都是我们游戏开发厂商用心孵化的孩子，我们也看一下别人家的孩子是怎么做的，怎么通过A/B测试工具给自己的游戏做持续增长。 我们这边举了几个案例，首先这是在美术设计环节的一个A/B测试，我们发现左边这是一个蓝色的风格，右边是一个黑色的风格，整体评估看蓝色的风格可能亲和力好一些，但是黑色底酷炫一些，我们自己判断左边会好一点，但是我们没有草率的下决定，我们通过A/B测试做了一次验证，我们把左边作为我们的对照组，右边作为验证组，结果很惊喜的发现，其实并不如当初所想的一样。之后我们发现实验组在留存上面都有一些提升，而且在人均时长上面，在广告点击次数上面都有不错的提升，所以这当时很出乎我们的意料，我们当时觉得黑色看起来很单调，不如蓝色看起来更有亲和力，但是数据说话，避免了我们一些鲁莽的决策，带来数据的增长。 我们再看第二个实验，这是一个入口设定的实验，这个游戏大家可能比较熟悉，是一个球跳塔类的游戏，当时上线之后我们做了一些简单的分析，右边是我们的合成球页面，做了一些运营的小设计，整个游戏的过程中我们可以选这么一个小球，做一些合成，做一些道具，结果发现有的合成行为的玩家留存明显高于整体的玩家，所以我们当时就做了一个大胆的设想，我们可不可以把合成球页面做成整个游戏的入口，当时觉得应该是不错的，但是心里也没底，A/B实验就可以帮我们得出这样的底气，左边是我们的对照组，右边是我们的实验组，我们看一下它的留存，人均时长，看它的广告点击次数，结果我们发现，确实就和刚开始预期的一样，通过合成球页面作为入口，我们看到人均广告展示次数、留存上面都有不错的表现，所以坚定了我们把合成球页面作为游戏入口的想法。 再看一个例子，这是一个射击类的游戏，这类射击类游戏最大的问题是说如果游戏挑战难度太难了，用户其实体验并不好，黏性会比较弱。但是如果难度太低，用户觉得没有挑战，所以什么样一个难度参数是合适的？我们不知道，而经过一段时间运营，我们当时初步设想我们的难度应该做适当的增强，在每一关的时候我们增加一到两个boss，在小的僵尸死后马上有新的僵尸补充过来，在我们内部觉得这个应该很不错的，但是我们还是做了A/B实验，左边是我们的实验组，增加了难度，增加两个boss，小僵尸死了马上复活，右边是全部僵尸死亡之后才能补充新的，结果数据并不如预期，我们增加难度之后数据并不好。而相反，我们发现普通难度的在人均启动次数上比更高难度的组高了34%，而且在次留和三留上面都相对较高，这个超出了我们的意料，A/B测试的魅力就在这，验证了我们很多的想法，同时也推翻我们很多的想法，这样我们每一步的步骤都有很好的洞察，所以可以通过这样的数据帮助我们做决策判断。 如果我们自己想做A/B，我们需要一个专业工具，工欲善其事必先利其器，在产品增长领域，所谓的科学其实无外乎遵照科学的方法，依托专业的工具，并没有什么很神奇的特效药，所以很简单，我们遵照这些方法，刚才说的理论，依照我们的工具。所以这里介绍一下火山引擎推出的A/B测试平台工具，如何帮我们实现刚才的游戏精准增长。 在不同的环节我们的A/B测试平台都能提供对应的价值，首先在精准获客的环节，我们的A/B测试平台可以帮我们的客户做渠道质量的评估，可以做广告投放策略的评估分享裂变机制的评估，同时在新客激活的阶段我们也可以做落地页效果的评估、新客户激励体系的新手转化通道的评估，同时在老客留存的阶段可以帮我们做流量内向增长，帮我们评估单个功能或功能矩阵矩阵的优劣，当然下面我们拆分很多实验的能力，下面我们具体讲一下。 我们都通过什么样的能力来支持呢？我们现在火山引擎支持六种A/B测试模版，第一种是广告营销实验，因为广告其实本身就是一个A/B的过程，投广告的过程就是寻找最佳组合的过程，我们现在可以支持不同素材，不同的人群定向，不同的出价，帮助客户找出最优解，在可视化建站环节，无需研发，在多链接的网页实验中，我们可以验证同一网站或者落地页入口情况下不同内容表现最佳方案，同时还可以提供客户端实验和服务端编程实验，支持前端交互的优化，系统功能的优化，也支持ios、安卓、web、小程序等多平台，在服务端我们支持多种语言，像java、php等，另外我们也支持个性化推送实验，去验证不同的文案，不同的推送时机等，而且我们现在打通了像极光、个推三方推送平台，也支持苹果的APNs、android的FCM等，同时如果有一些自有的触达通道我们也可以用webhook这样的方式去对接。 我们具体来看一下这个实验怎么做，第一个是广告，之前做过一个统计，我们会发现在广告投放过程中高频是三个变量，创意、人群、出价，所以所谓广告实验，通过科学的方法打通前后链路，就是属于广告数据以及我们的行为数据，找出最佳选择，节约时间和试错成本。在创意素材环节我们其实支持像图片、视频、文案、广告位、落地页等参数变量，在我们的人群定向环节，我们支持BMP人群包，也支持系统画像，比如人群画像，像性别、年龄、地域等、也可以支持消费偏好、消费能力作为他的变量，同时在预算出价环节我们会可以评估不同的出价，不同的投放方式，不同的投放时间，不同的转化目标，这是目前我们广告的营销实验的部分。 在可视化阶段，我们经常会有一些文案编辑、图片更替、颜色对比、字体大小、背景图案、布局位置、新增元素等一些验证项，这个过程中我们可能需要更快、更便捷的响应方式，投屏中的案例是我们自己官网的主页，当时我们想去改slogan，在可视化实验上工具上进行编辑，是很简单的事情，非常便捷。 下面是我们的多链接实验，因为我们经常会有一些官网、着陆页有大的改版，我们按照统一的入口，用户进来之后，根据我们分流的策略，重定向到不同的页面，同时验证它后面的数据，看他的停留，看到底哪个落地页的效果更好。右边是我们当时火山引擎做的火种计划的官网的宣传页，当时自己主观觉得上面的图可能看起来更科技化一点，更酷炫一点，下面的图看起来似乎土了一些，但是实际上通过AB实验的数据来看，下面的转化流程在一些情况下更好一些，所以有时候A/B测试往往会给我们带来意外的惊喜，发现原来想法不一定是对的。 同时我们介绍一下服务端实验和客户端实验，我们把这两种实验称之为万能实验，因为在这个过程中我们既可以通过服务端去控制生效实验，比如推荐的算法或者服务器开关等，客户端实验也可以去控制客户端UI的样式、交互的功能设计等app唤起，以及比如我们接了SDK，接了一些新玩法都可以通过客户端实现。 同时整个操作过程非常便捷，基本上我们的可视化平台上进行一个输入，制定参数、类型，参数的名称都可以进行设定，只需要研发人员在代码中进行响应的判断就可以完成这个过程。而且我们还提供长时运行提醒，实验报告我们也会有邮件，定时发送这样的报告，非常便捷。 （图）关联Feature 这是我们推送运营实验，这里我们举个例子，在游戏过程中，比如我们发现用户连续闯关4次失败就会流失，我们得到这个结论的时候我们假设用户在闯关4次失败的时候，我们马上推送一个复活卡，一个闯关道具，是不是就可以避免流失，就可以通过我们AB推送实验来先验，因为我们并不是只支持传统的红点推送，也支持应用内通道，我们就可以在代码中去响应，下发一些复活道具等一些响应方式。同时我们平台支持了很多第三方平台，如果我们已经使用了极光这些三方平台，可以节省成本。我们可以在推送标题、推送的内容、推送的时机、推送的受众等维度进行测试实验，受众我们可以通过设定，比如对当前北上广深的用户做这个实验，或者对女性做这样的实验，都可以通过这个平台实现。同时推送通道、落地页、提醒方式都可以是我们实验可作为变量的一部分。 （图）对照版本 业内也有一些公司自己做了一部分AB的工具开发，可能都会发现一些问题，A/B实验最大的问题是什么呢？我们跑出来了这个报告之后我们自己信不信的问题，因为我们之前也了解过很多客户他们自己做了AB平台有这样的困扰，经过分流，也经过计算跑出的实验报告，但是放量之后还能不能跑出这样的结果，他们心里没有底，其实我们自己也在这9年做AB的过程中，也趟过这些坑，怎么解决？我们公司内部成立了一个数据科学的团队，通过数学模型的方式来解决这样的问题。 比如我们可能会遇到一些新上线的模块，刚上线的时候用户觉得很新鲜，觉得还不错，但是跑了七八天之后，用户对模块有所了解之后，新鲜度下降，数据很快下降。同时也会出现这样的情况，有些模块因为前期的露出或者精准引导做的还不够，这会导致什么呢？导致一开始的数据并不好，但是跑了七八天或者十几天之后，数据很快提升，这也会导致我们的A/B实验，之前跑出来实验结果了，后期放量或者说长期和我们预期不一样，所以这个过程中我们提供我们自己的经验积累，比如我们会提供MDE值，提供波动修正、统计学分析，解决刚才的不同时间段对产品理解不异样，同时我们提供分时趋势、累积趋势等等一些关键的指标，核心只有一个，让我们当前做的实验和经过放量之后真实表现是一致的，这是非常关键的点。 总结一下，因为A/B测试是在字节成立之初的时候我们就创立这么一个产品，在过程中我们大概累计的实验大概80W+，日新增的实验是1500+，同时运行的实验是1W+，而且字节所有的业务线都在这个平台，所以同时支持的业务线是500多个，所以我们可以比较自豪的讲，A/B测试平台是我们一个内而优则外的能力，因为我们趟过很多坑，做过很多的验证，因为字节在外面也有一些声音，中间也有人会问我们有没有什么窍门？其实没什么窍门，只不过我们有一些科学的方法，一些专业的工具，并且不断把方法沉淀在工具上，让这个工具更专业。 本文源自「私域神器」，发布者：siyushenqi.com，转载请注明出处：https://www.siyushenqi.com/19941.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器：海外私域营销拓客软件 31款国产游戏入围Top100畅销榜，出海韩国怎么做差异化？ 上一篇 2025 年 8 月 3 日 下午12:13 活动干货|聚焦海外新锐流量平台 手游出海如何用好平台红利 下一篇 2025 年 8 月 3 日 下午12:13 相关推荐 这个“洗牌”最频繁的品类，却被《和平精英》这张“王牌”统治了四年 如何长线运营一款手游？单纯从理论上看，这是一道大多数人都能答上几句的开放题：稳定更新、大胆创新、加强互动、注重优化、维护社群，言之有理即可得分。 siyushenqi.com 2025 年 8 月 18 日 • 行业动态 459000 行业动态 阿里国际推出首个专业版AI Search，为什么它会是下一个B2B谷歌？ 经历过「千模大战」的喧嚣，一年半之后，生成式 AI 的应用层创新终于步入爆发期。 siyushenqi.com 2025 年 8 月 13 日 455000 西方游戏业掀并购潮，上半年已达9起！专访欧美领先游戏精品投行，解析资本动向 海外游戏行业并购潮正在上演。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 464000 行业动态 朱啸虎讲了一个中国现实主义AIGC故事 我们跟在后面，花的钱少一个数量级，风险小很多，干嘛不跟在后面？ siyushenqi.com 2025 年 8 月 13 日 364000 行业动态 一周要闻 NO.67丨马来西亚表态不会封禁TikTok Shop AI修图EPIK借“年鉴”出圈欧美 出海圈值得关注的大事记 siyushenqi.com 2025 年 8 月 14 日 459000 行业动态 游说费3600万，字节想在美国“混”有多难 TikTok在美国的处境愈发艰难 siyushenqi.com 2025 年 8 月 12 日 492000 行业动态 深度 | TikTok内部人士解密TikTok成功之道：战略、文化与创新深度解析 一起来探索TikTok的成功之道吧。 siyushenqi.com 2025 年 8 月 18 日 510000 Paytm游戏运营官：平台涌现、付费增长、电竞火热，印度游戏机遇期来临 新冠疫情以来，整个游戏行业的用户数量增长很快，并且新用户很多。这是个积极信号，因为四到六周的时间足够培养新习惯。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 396000 【休闲游戏月度分析】解谜、三消、跑酷、模拟经营是热门 为了更好的了解国内外休闲游戏市场的变化，罗斯基与AppAnnie合作推出《休闲游戏市场分析》栏目。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 474000 十几款在研新品陆续被砍，国产二次元游戏急踩刹车？ 全方面的受阻是今年二次元产品最明显的象征之一，在冷到不能再冷的寒冬之下大部分人却找不到一件可以避寒的衣服 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 295000 300亿的网文市场大小玩家剧增：谁会是下一个跑出来的Dreame？ 回顾2021年，网络文学出海热度不减，整个行业仍处在稳定增长的态势 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 559000 行业动态 开服一周，白荆回廊成为了玩家们的大型真香现场 今年二次元战士来了 siyushenqi.com 2025 年 8 月 18 日 414000 行业动态 Mistplay、Paasoo 确认入驻PAGC 2025丨第五届全球产品与增长展会！ Mistplay、Paasoo 确认入驻PAGC 2025丨第五届全球产品与增长展会！ siyushenqi.com 2025 年 8 月 17 日 486000 雷霆游戏、友谊时光是如何做长线运营的？ 近一年，在iOS 端《一念逍遥》收入超过1.5亿美元，《浮生为卿歌》接近5千万美元 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 490000 行业动态 合作精选·元宵节特供版｜H5&工具寻精准流量 新出海产品寻服务商 本期精选的合作类型H5&工具寻精准流量 新出海产品寻服务商等信息。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 24 日 485000 行业动态 又一“杭州六小龙”，启动IPO辅导 云深处2024年12月向浙江证监局提交辅导备案，中信建投保荐，正式冲刺资本市场。 siyushenqi.com 2025 年 12 月 26 日 422000 沙特礼品电商疫情销量增长5倍，现已将市场拓展至卡塔尔 中东著名的礼品电商Joi Gifts在过去12个月中实现了5倍的增。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 368000 行业动态 拼多多出海遭劫，2个月遭3国“抄家”，Temu土耳其员工被传询，只为一个“税”字？ 免税红利消失，中国跨境电商迎来合规大考。 siyushenqi.com 2026 年 1 月 29 日 327000 行业动态 上线6天吸金至少1400万，“裁员风波”挡不住这家大厂的进攻？ 从游戏包装，到体验层面深度还原IP仍是一个可行的思路，而Garena这次不仅证明了自身的全球发行实力，更重要的是在射击游戏这个品类以外，拥有了更多RPG的发行体验。 siyushenqi.com 2025 年 8 月 18 日 435000 首曝一年半，网易用一款没人做过的“群像剧”手游，再次挑战二次元市场 FAMI通满分脚本家北岛行德主笔的群像剧情、手绘制作的吉卜力画风场景等等一系列亮眼标签的加持之下，让《伊格效应》自曝光以来便备受玩家们的关注与期待。今年九月，游戏先是在港服开启了小范围的测试，随后上线了东亚地区的Google Play。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 436000 行业动态 千万预约打底，网易开放世界武侠ARPG出海首秀：是爆款还是水土不服？ 东方武侠，是时候又出手了。 siyushenqi.com 2025 年 11 月 19 日 389000 行业动态 2024年12月全球手游收入与下载量TOP10 根据Sensor Tower的应用洞察数据，FirstFun《Last War:Survival》在2024年12月荣登全球移动游戏收入榜首。 siyushenqi.com 2025 年 8 月 17 日 530000 行业动态 AI推动动漫短剧崛起，正重新定义创作与市场边界 日本动漫的全球领导地位正受到挑战，韩国的Line Manga和Piccoma在亚太地区数字漫画市场份额超越了日本的Jump+，占据了60%以上的市场份额。 siyushenqi.com 2025 年 8 月 17 日 525000 行业动态 池子大鱼多 泛娱乐出海“钱景”何处寻？ 让中国故事走向世界舞台 siyushenqi.com 2025 年 8 月 18 日 439000 惊！小组件游戏也加入锁屏的一亩三分地了？ iOS系统又双叒叕更新了，今天的这篇文章，我们来聊一聊游戏分支。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 474000 行业动态 LinkedIn矩阵如何助力外贸企业在B2B市场中脱颖而出 精准定位目标客户 增强品牌曝光率 建立专业网络 提升客户信任度 促进业务合作机会 精准定位目标客户 LinkedIn矩阵的精准定位是外贸企业在B2B市场中脱颖而出的关键优势。通过深入分析潜在客户的需求、行业趋势及地理位置等，企业能够通过精准的定向广告和内容推送，将信息传递给最有可能成为客户的群体。借助LinkedIn强大的数据分析功能，外贸企业能够锁定潜在客… siyushenqi.com 2025 年 12 月 27 日 444000 行业动态 亏1300亿后又狂赚7200亿：世界前首富孙正义，靠AI翻身了 孙正义跌宕起伏的投资经历，再次说明一个事实：有时候，选择确实比努力更重要。 siyushenqi.com 2025 年 8 月 13 日 398000 行业动态 CFL手游登顶五国免费榜，原来东南亚也有这么多“CF校长” 12月16日上线的《Crossfire: Legends》凭端游经典复刻+600武器/20角色深度本地化，首日即包揽菲律宾、印尼、泰国、越南、柬埔寨iOS免费榜第一。 siyushenqi.com 2025 年 12 月 19 日 425000 年销能超1亿美元，这个独立站只做女性护理的生意 做女性卫生用品的独立站卖家极少，但随着女性对卫生清洁意识的不断增强以及购买力的提升，全球女性卫生用品的需求实际上越来越大。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 542000 行业动态 腾讯放大招，超Meta！史上参数最大，开源专家混合模型 腾讯宣布开源Hunyuan-Large，这是一个基于Transformer架构的专家混合（MoE）模型，拥有3890亿参数，520亿激活参数，并能处理长达256K的上下文。 siyushenqi.com 2025 年 8 月 13 日 437000 发表回复 请登录后评论...登录后才能评论 提交
