智慧南京大数据平台成功案例.doc

智慧南京大数据平台 成功案例 智慧南京大数据平台 介绍交通部份） 南京市政务服务中心是南京市人民政府设立的面向企业和社会公众办理行政许可、非许可审批和公共服务事项的综合性政务服务平台，而“我的南京”APP是由政务中心主导的开发的以广大市民能够足不出户、随时随地的享受优质服务和生活便利为目标，在中国南京网站群、“12345”市民热线、社区信息服务网点基础上，以实名制方式与市民卡、智能交通、智慧医疗、智慧青奥、政务数据中心等智慧南京的重点工程无缝联接，利用云计算、移动互联网等技术，建设汇聚全市公共服务资源的综合信息服务平台。 智慧南京大数据平台共车 此外，要基于如此巨大的数据量智慧交通分析 根据以上的这些情况，要求承担政务中心数据平台需要具备如下功能和特点： 1.支持海量数据的实时入库 采用大量机器组成的云平台，能够提高对海量数据的快速入库，入库速度高达千兆每秒。 2.支持海量数据的实时索引 能够实时监控入库的新数据，并对其建立具有高效查询速度的索引，达到高速检索。 3.支持海量数据的快速查询 能够将用户的查询任务分解到平台的各个机器上，实现分布式并行计算，从而高效的利用系统资源，能够快速响应用户查询请求。 4.系统具有高度容错性 当任意一台机器宕机，系统能够自动分配新的机器接替宕机机器的任务，从而实现系统的高度容错，保证了结果的正确性。 5.系统具有高度可伸缩性 平台能够通过动态的添加机器，达到吞吐量和用户相应时间的线性增长。 二、数据立方介绍 2.1 数据存储 在存储方面，数据立方依靠分布式的数据存储架构支持海量数据的并行入库存储。数据立方（DataCube）的结构分为用户接口、索引、SQL解析器、作业生成器、元数据管理、并行计算架构、分布式文件系统等部分。 数据在入库的同时与数据对应的索引也在同时建立，索引是一颗B+树，数据插入到内存的同时，索引B+树也在生成，当达到设置上限时，数据和索引会刷新到分布式文件系统上成为文件。 0点至18点情况： ? ? ? ? ? ? ? ? ? 公交车GPS表入库数据量40,405,499条 ? ? ? ? ? ? ? ? 出租车GPS表入库数据量45,421,637条 ? ? ? ? ? ? ? ? 交通320 PLATE表入库数据量6,229,732条 ? ? ? ? ? ? ? ? 交通320 RFID表入库数据量2,762,288条 ? ? ? ? ? ? ? ? ?润和门户日志数据表：2,193,824条 在数据分析方面，数据立方(DataCube)是一种用于数据分析与索引的技术架构。它是针对大数据的处理利器，可以对元数据进行任意多关键字实时索引。通过数据立方对元数据进行分析之后，可以大大加快数据的查询和检索效率。数据立方，可以大大增加数据查询和检索等业务，可以让系统平台具备数据实时入库、实时查询、查询结果实时传输等优势。 3.1 查询性能 在整个项目中，车辆记录数据采集后经过数据立方实时索引，并同时实现数据冗余。查询时，通过数据立方平台进行并行分布式处理，查询和检索经过数据立方分析过后的数据方面具有极大的性能优势。 记录数(条) 车牌号 查询时间 10万 苏A93*** 0.76s 100万 苏A85*** ?0.309s 1000万 苏AM3*** 0.147s ? 1亿 苏A08*** 1.17s ? 10亿 苏AJ2*** 1.59s 30亿 苏A67*** 3.26s 3.2 容错性 数据立方采取主从复合式的架构，依靠Zookeeper从中进行调度，即便其中的一个节点出现问题，整个平台的管理者会将该节点的任务自动转到其它节点上，不会影响现有任务的进行，整体架构如下图： 依靠于数据立方独有的备份机制，对于出现问题的节点，数据立方会将其备份在其它节点的数据使用起来，现有的南京数据立方项目运行良好，即便偶尔有个别节点由于硬件问题临时宕机，但仍不影响政务中心每天的数据入库。 3.3 扩容性 数据立方在刚进入政务中心时只有4个服务器添加2015年10月22日存储空间使用情况? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?10.101.10.33 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?磁盘使用空间18% ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?10.101.10.34 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 磁盘使用空间96% ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??10.101.10.35 ? ? ? ? ? ? ? ?