Stalker——基于Node的实时统计服务 By 三水清.pdfVIP

S t a l ke r 基 于 No d e 的 实 时统 计 服 务 目录 后处理 统 计 V .S . 实时统 计 S t a lker项 目 - 服 务器 架构设计 - 插件 介 绍 - 运维相 关 番外 篇 ：Node分析 日志 举 个 [I P 归属地 分析 ]例 子 一次请 求30 ~4 0 ms 3 6 ms * 10 0 0 ,0 0 0 3 60 0 0s 10 h 实 时统 计 1. 请 求来 到S erv er 2 . S erv er 实时处理 成想 要 的数据 3 . 数据 落地 存储 后 处 理 统 计 V .S . 实 时统 计 类 型 占用 空 间 时效 性 原 始 日志 后 处 理 统 计 较 大 延 时严 重 原 始 日志 完整 实 时统 计 较 小 实 时 原 始 日志 不 完整 数据 宝贵 ，具有 长期 分析 价值 （挖掘 ） ，机 房 多且服 务复 杂 ，适 用 于后 处理 统 计 时效 性 要 求 高 ，对 原始 数据 要 求不 高 ，适 用 于 实时统 计 S t a l ke r — No d e 实现 的实 时统计 服 务 S t a l k e r 现 状 现在 支持 设备 画像 项 目 统 计 数据 每天处理 大概 1.2亿 + 的请 求数据 服 务 部署在 一 台 12核 实体机 实时统 计 数据 类型 ： - 注 入型劫持 - ht ml5 css 3 新特性 支持 - 搜 索结果 页页面性 能 - j s 报错 另外有 后分析 数据服 务 - 跳 转 型劫持 数据 S t a l k e r 特 点 插件 化 ，可拔插 服 务 配 置化 性 能/服 务稳 定 支持 多种 落地 存储 类型 - tx t/ log - j s o n - my s q l - mo ngod b - csv S t a l k d e r 的 日志 落 地 tx t/ log ，传 统 的 日志格 式 j s o n - 方便 node分析 - 也 是导入 mo ngod b 的 中间格 式 - q ps 高 ，先存储 为j s o n格 式 ，后续 导入 mo ngod b my s q l ，受 限IO ，适合 q ps 小 的服 务 ，如j s 报错 mo ngod b ，适合 无序 ，字段 长度不定 的存储 ，也 受 限IO csv ，高q ps 时 ，my s q l 的 中间格 式 S t a l k e r 架构 设 计 S t a l k e r 插 件 介 绍 S t a lker 的插件都 是统 一 的node模块 ，统 一 的入 口函数 （t as k/ i nit ） ， 从 分析 流程 划分 为 四类 ： S t a l k e r 插 件 规 范 数据 由上一个流程 插件 ，经过处理 后传 入 下一个插件 插件 入 口函数是t as k ，接 收dat a ,s etti ngs , na me ,o pti o ns - pars er 类是 ：dat a ,req ,res ,s etti ngs , na me ,o pti o