舆情卫士监测平台技术方案.doc

安庆师范大学 舆情卫士监测系统 技术方案 中国移动通信集团安徽省有限公司安庆分公司 2017年月目录 1 总体需求 3 1.1 建设目标 3 1.2 功能需求 3 1.2.1 互联网海量信息采集子系统 4 1.2.2 海量信息存储子系统 4 1.2.3 海量信息检索子系统 5 1.2.4 互联网云数据分析处理子系统 5 1.3 性能需求 6 1.4 其他需求 6 2 技术方案 7 2.1 翼腾云计算概述 7 2.2 总体设计概述 9 2.3 系统架构图 11 2.4 业务流程图 13 2.5 数据中心简介 14 2.6.1海量互联网信息采集子系统 16 通用采集技术 16 互联网信息采集 18 2.6.2海量信息检索子系统 19 2.6.3大数据分析处理子系统 21 信息及数据处理 22 舆情及敏感信息分析 24 2.6.4用户权限管理 26 2.6.5安全子系统 27 2.6.6 手机舆情 28  总体需求 建设目标 建设安庆师范大学舆情监测系统，其实质在于利用信息化技术，建立专业的网络信息监测与管理平台，及时、全面、准确收集、分析互联网上一切与教育领域所相关的信息，进而做好研判和处置工作，健全制度、完善机制，及时了解把握情况，准确判断舆情发展趋势，掌握工作的主动权。 建设安庆师范大学舆网络舆情监测系统，以达到舆情监测与分析应对工作全面覆盖、有序管理、多方联动的效果。提高师范大学网络舆情突发事件的应急处置水平，明确网络舆情突发事件预防、预警、应对的程序，使得可及时、准确发布有关信息，澄清事实，引导舆论，妥善处理。 功能需求 大数据时代，面对海量的互联网数据，充分并分析有用的舆情信息，靠小规模的系统软件已不足以要求。利用大数据技术，建立起海量数据中心的舆情数据，才可以支撑越来越庞大的舆情管理与应用。 可存贮至少三个月的历史数据； 通过统一的系统界面监测所有服务器的运行状况，及时发现并处理出现的任何状况； 完整的容灾备份方案。 其他需求 可针对客户要求给出详细的硬件配置方案 基于数据中心的监测平台系统架构图；详细描述所采用的技术及方法等。 部署的拓扑图； 统一管理各服务器的运行并监测其运行状况；云计算概述 建成的监测平台是 “舆情卫士监测平台”可以两个部分是信息中心信息的采集、、检索等功能完成后可以供进行舆情信息巡查。是数据中心平台的建设端及移动终端的各种舆情管理与应用。信息数据中心负责从网站进行信息采集，还支持各种信息的和存储，比如微信等信息。进行数据处理存储，满足业务用，分布式规划信息检索服务，提高检索效率。 应用平台信息来源于数据中心，这些数据建立自己的应用平台，平台采用数据、移动互联网等技术建设，整体工作效率，同时还为未来留下。平台是一个平台，平台使用的基础上，基于数据更深一步的数据分析和挖掘 特点及优势： ★ 采用分层架构设计，每个功能都有多份系统，不存在单点故障，且可进行水平扩展； ★ 系统采用嵌入式、多引擎技术，并满足用户定制自己的数据处理逻辑的要求； ★ 基于索引分区机制，实现内存中高速的索引创建，海量索引数据放入磁盘，解决了快速索引的应用需求，同时有效减少索引匹配范围，缩短检索响应时间； ★ 采用多副本机制，实现了容灾备份，避免单点故障，同时也实现了负载均衡，提高并发检索能力，每份数据都至少有三块同样的数据做备份； ★ 支持离线检索模式，适应大量数据检索的应用场景要求，避免了同步检索模式时消耗太多线程资源的问题； ★ 自有缓存集群，千亿数据提取10毫秒； ★ 大数据底层基于Hadoop，充分利用HDFS的可靠性，数据挖掘采用MapReduce分布式运算模型，解决了海量数据挖掘的数量瓶颈问题。 业务流程图 数据中心系统是一个集互联网舆情采集、检索于一体的综合系统，系统通过采集互联网数据，对数据进行过滤分析，向其它舆情产品推送热点数据信息。数据中心的部署实施需要建立一个舆情信息处理分布式平台和云服务器集群，内容包括服务器、存储等硬件设备，核心业务系统分别使用网络负载均衡技术及服务器群集技术实现高性能与高可用性。数据存储使用区域存储网络，并使用磁带库进行数据备份，充分保障业务数据的可靠。基础应用系统分布部署在应用服务器组中，基础服务系统服务器组部署Hadoop、Mongodb、Tomcat、HornetQ、Tomcat等软件系统，信息门户服务器组部署舆情指挥系统等平台软件，统一信息交换服务器部署数据中心程序，数据中心部署文章索引服务、文章采集服务集群，建立应用软件的数据仓库及数据库系统，将关键数据集中存储在SAN存储网络之中，确保实现整个系统应用和数据的可靠性和安全性，以满足数据存储、信息处理等方面的需要。 数据中心简介 数据中心主要包括子系统检索、 2.6.1海量互联网信息采集子系统 海量数据采集子系统实现