storm项目流数据监控1《设计》.pdf

博客虫网站原创博文系列整理-- 专注于前沿IT 技术 Storm 项目：流数据监控 1 流数据监控设计文档 作者：博客虫 时间：2014/11/22 文档摘要： 该文档为原创模拟项目：流数据监控1文档《流数据监控设计文档》，相继会给出流数据监 控2文档《流数据监控代码解析》及其他文档 相关描述：  其他相关文档请参考博客虫网站/  有任何其他想法或者，可以到博客虫留言或者邮件blogchong@163.com  部分源码文档参考博客虫原创博文，代码获取：/blogchong  PDF 文档获取：百度网盘/s/1hqePCqw  PDF 文档及相关资料下载请到百度文库、新浪微盘有哪些信誉好的足球投注网站  欢迎加入 storm-分布式-IT 技术交流群（191321336，群中有详细的资料），一起讨论技 术，一起分享代码，一起分享设计； 博客虫网站原创博文系列整理-- 专注于前沿IT 技术 目录 Storm 项目：流数据监控 1 1 流数据监控设计文档1 1 流数据监控设计概述1 1.1 概述前言1 1.2 设计大体概述1 1.2.1 数据流产生:Spout 1 1.2.2 处理数据：HandleBolt1 1.2.3 数据持久化：LastingBolt1 2 数据监控设计框架2 2.1 数据监控设计拓扑2 2.2 数据流监控环境拓扑2 3 数据监控详细设计3 3.1 源数据说明3 3.2 数据监控设计3 3.3 数据Mysql 处理4 3.4 源码简介4 4 文档说明5 0 博客虫网站原创博文系列整理-- 专注于前沿IT 技术 1 流数据监控设计概述 1.1 概述前言  之前跟大家说要给大家写一些storm 实时处理的代码，本来打算周末写的，但周末去爬 香山了，所以…迟了几天(这些算是废话)。  网上有人贴出的关于 GPS 实时处理的代码，个人感觉其实时处理只是在速度这一属性 上进行上限处理有些简单了，所以想自己设计个项目，所以有了“流数据监控”这个模 拟项目。  目前这个模拟项目比较简单（高手眼中），但总体框架有了，我会一步一步完善，慢慢 会补充完整。 1.2 设计大体概述 1.2.1 数据流产生:Spout 数据流的产生目前使用的比较多的是：log 文件读取、从mysql （或者是相关db ）中获取、 从消息中间件（如metaq）中获取及使用socket 从网络中获取。 补充： 在该项目中，由于我的metaq 还没搭好，所以就直接采用读取log 的方式作为源数据，往后 会给出metaq 作为数据源的接口及mysql 作为数据源的接口等。 1.2.2 处理数据：HandleBolt 这里的HandleBolt 是宽泛的概念，指对数据进行处理的相关Bolt，目前比较常见的处理方式 是数据过滤、数据添加、部分数据统计、数据监控等等。这些都是比较常见的数据实时处理 方式。 补充： 该项目中数据处理部分使用数据监控处理，及对数据流进行条件过滤，将部分符合条件的数 据筛选出来做进一步处理，达到条件数据监控的目的。目前该部分支持多种条件判断方式组 合，多个字段组合判断及多种逻辑判断方式。往后会进一步晚上。 1.2.3 数据持久化：LastingBolt LastingBolt 泛指数据在处理之后进行持久化操作的接口，常见的持久化操作接口是：直接打 印（这个貌似不算）、写入file 中、写入mysql （及其他db ）中、写入消息中间件（metaq） 供其他业务调用、使用Socket