从日志统计到大数据分析.PDF

从日志统计到大数据分析 曹犟 @ 神策数据 • 2008 ：日志统计平台 • 2011 ：用户数据仓库 • 2013 ：数据源管理 • 需求响应周期长 • 运维成本高 • 运行速度慢 • 员工个人成长受限 基于 Hadoop 的日志统计平台 n n n n days mins hours mins 开发周期： 运行时间： 经过1年半的时间， 天级 到 分钟级 小时级 到 分钟级 整个公司的统计任务 都统一到了平台 • 计算资源需求急剧膨胀 • 数据质量没有保证 • 数据价值没有充分利用 统一的用户数据仓库 Insight DataMart User Data Warehouse 网页有哪些信誉好的足球投注网站 凤巢 网盟 知道 百科 结构化数据 网页有哪些信誉好的足球投注网站 凤巢 网盟 知道 百科 文本日志 全公司所有业务线的用户行为数据统一到一张表，通过用户 ID 可以访问到用户在全百度上的所有行为 用户ID 事件类型 时间 国家 省份 URL ID01 注册 … … … … ID02 登陆 … … … … ID03 有哪些信誉好的足球投注网站 … … … … 数据源混乱 入库周期长 数据时效性低 直接从数据源头治理 非结构日志源 • 格式变更影响下游 • 数据解析效率低 • 数据内容不可理解 结构化日志源 （Google Protocol Buffer ） ： • 格式变更向前向后兼容 • 数据解析效率高 • 数据带有Schema • 节省存储和带宽 日志源的结构化、 传输实时化 查询引擎直接可分 元数据审核管理 析源结构化数据 • 数据源统一管理，覆盖数万台服务器 • 数据源头产生，既可实时 SQL 分析 • 数据源很重要 • Event 模型很有效 • 数据采集手段在增强 • 大数据计算能力的软硬件环境在成熟 • 竞争加剧，整个行业的数据意识在提升 • 人力成本 • 时间成本 • 数据采集能力不足 • 分析能力比较基础 • 数据资产顾虑 神策分析 可以私有化部署的 用户行为分析产品 私有化部署 全端数据接入 PaaS 平台 全端数据接入 代码埋点 可视化埋点 导入辅助工具 PaaS 平台 BI 查询层 数据存储层 数据传输层 数据接入层 BI 查询层 数据存储层 数据传输层 数据接入层 架构实现 • 适应