基本信息

---

下载

文档摘要

---

埋点治理驱动精准实验

演讲人：张逸、查建强

目录01业务背景

02解决方案

CONTENT

03埋点简介

04埋点治理

AB实验

分流器

随机分流，实验正交，收集数据

实验配置

灵活调配版本流量，精准圈选目标受众

选择实验位置、指标，预估最小样本量及实验周期

效果分析

检验方式：序贯检验、Z检验、贝叶斯

统计口径：周期去重、按天累计

分析手段：指标趋势、人群下钻、留存分析

痛点

无效样本混入

?考虑到性能问题，分流调用与实验样本统计存在差异

?无效用户混入与AA异常高度相关

?影响实验灵敏度，迭代效率慢

指标统计

?开发效率低

?T+1的时效难以满足实验需要

?指标口径不清晰

实验查找与复盘

?当前页面下有多少进行中的实验？

?实验间是否存在相互影响？

解决方案

应用层行为分析数据看板显著性检验用户画像特征训练

埋点可视化配置埋点元数据管理AB实验管理指标管理

-元素定位-埋点注册-实验指标-埋点参数条件

管理层-参数关联-参数管理-激活事件-统计口径监控

-上报时机-埋点关联-实时分析运维

-可视化查找-可视化查找

实时计算离线计算

数据层

Hive、Iceberg、Clickhouse

Kafka、Flink、JavaSpark

解决方案：精准分流

获取分流版本与是否实际触达用户解耦，通过埋点离线过滤出实际触达的用户

选择合适的埋点

?埋点配置可视化，以找到合适的埋点

?上报时机配置化，以满足业务分析需求

丰富埋点参数

?前端埋点：收集按钮曝光、点击等行为数据

?服务端埋点：收集产品信息、算法模型等接口数据

?前后端埋点关联：不受发版周期影响，参数变更更灵活

精准分流案例

实验：酒店满房时下增加用户引导

查询酒店BeforeAfter

查询酒店

获取实验版本

获取实验版本上报分流

获取房型资源

获取房型资源上报服务端埋点

详情页Y是否Y上报分流

曝光满房