冯俊晨：火花思维数据分析体系建设和实战分享.pdf

火花思维数据分析体系

建设和实战分享

DataFun,2024

分享内容

痛在哪里方案选型运营策略未来展望

自研系统的局限性为什么我们选择了火山引擎如何将工具潜力变成业务能力大模型时代的数据分析长什么样？

痛在哪里

自研系统的局限性

BI系统必须要会写SQL才能做分析行为日志系统的分析效率低下自研团队的”鸡肋”处境

前端能力不足，v1未实现实时交互式分析，以页面ID和行为ID作为最细粒度，导致点位2个产品，2前端3后端2测试的产研团队

选择了保存SQL为图表的MVP方案爆炸

给旧系统打补丁成本太高

限制了只有会SQL的分析师才能创建和修改据称抖音app的点位数量在6000个左右，火开发全新系统人力又不足

图表，降低了响应速度花点位在1w以上

技术架构上选择了presto+redis缓存没有自助测试验证机制，拉长了协作链条

这个架构不支持高性能维度表查询，P95达产品经理和分析师不能参与测试环境验证，

到30秒以上，使用体验较差而QA无法验证埋点的分析意图，特别是某些

关键属性的错漏

数据结构上选择了一个可视化图表对应一个缺乏交互式分析机制，只能写SQL串联埋点

SQL（或者一个物化视图）

叠加两个问题，生产效率很低，分析师特别

复用性差，例如日表、周表、月表得维护3段不愿意去分析行为日志。

SQL

为什么选择火山引擎

BI系统

可视化分析

图表类型：丰富度不如superset，但是常见图表都有配置

格式自定义程度：表格格式化能力不如FineBI，但是远强于superset智能归因分析

上卷/下钻：与FineBI和superset相似

火山引擎独门绝技，当时选型的决定性因素。

查询性能：同等配置下查询性能最好，但是用户直观体验相差无几

对于指标的异动，利用同一个数据集里维度进行自动归

辅助分析：选型时未认真比较的组件。表格的汇总/同环比计算高频使用因分析，并按照维度变量的差异度进行排序

对于加法指标（DAU），几乎替代分析师工作

数据预处理

对于乘法指标（平均用时），极大节约分析师时间

接入数据源种类：比superset丰富、与FineBI相似，飞书生态加分

对于除法指标（转化率），只有参考意义

调度系统：选型时未认真比较的组件。要考虑和调度系统对接和批量重跑

可视化建模：独特优势，对于非分析师非常友好。

归因分析（加法）

归因分析（乘法）

行为数据分析系统

可视化分析

常用行为分析组件：与神策差不多

ABTest系统

单人细查与分群分析：与神策差不多

固化套件：逊于神策的行业模版