大数据技术架构解析教程.docx

大数据 技术架构解析 作者：匿名出处：论坛2016-01-22 20:46 　　大数据数量庞大，格式多样化。大量数据由家庭、制造工厂和办公场所的各种设备、互联网事务交易、社交网络的活动、自动化传感器、移动设备以及科研仪器等生成。它的爆炸式增长已超出了传统IT基础架构的处理能力，给企业和社会带来严峻的数据管理问题。因此必须开发新的数据架构，围绕“数据收集、数据管理、数据分析、知识形成、智慧行动”的全过程，开发使用这些数据，释放出更多数据的隐藏价值。 　　一、大数据建设思路 　　1)数据的获得 INCLUDEPICTURE \d /uploadImages/thirdImages/2016/052/JI3Y81Q91MJN.jpg \* MERGEFORMATINET INCLUDEPICTURE \d /uploadImages/thirdImages/2016/052/931X5461256A.jpg \* MERGEFORMATINET  　　大数据产生的根本原因在于感知式系统的广泛使用。随着技术的发展，人们已经有能力制造极其微小的带有处理功能的传感器，并开始将这些设备广泛的布置于社会的各个角落，通过这些设备来对整个社会的运转进行监控。这些设备会源源不断的产生新数据，这种数据的产生方式是自动的。因此在数据收集方面，要对来自网络包括物联网、社交网络和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全面性和可信性。 　　2)数据的汇集和存储 INCLUDEPICTURE \d /uploadImages/thirdImages/2016/052/ONX7VBOQCW4M.jpg \* MERGEFORMATINET INCLUDEPICTURE \d /uploadImages/thirdImages/2016/052/931X5461256A.jpg \* MERGEFORMATINET  　　数据只有不断流动和充分共享，才有生命力。应在各专用数据库建设的基础上，通过数据集成，实现各级各类信息系统的数据交换和数据共享。 数据存储要达到低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重，减少存储量，同时加入便于日后检索的标签。 　　3)数据的管理 INCLUDEPICTURE \d /uploadImages/thirdImages/2016/052/PRJ3J8S0GWZ7.jpg \* MERGEFORMATINET INCLUDEPICTURE \d /uploadImages/thirdImages/2016/052/931X5461256A.jpg \* MERGEFORMATINET  　　大数据管理的技术也层出不穷。在众多技术中，有6种数据管理技术普遍被关注，即分布式存储与计算、内存数据库技术、列式数据库技术、云数据库、非关系型的数据库、移动数据库技术。其中分布式存储与计算受关注度最高。上图是一个图书数据管理系统。 　　4)数据的分析 INCLUDEPICTURE \d /uploadImages/thirdImages/2016/052/2LE358KY2QI5.jpg \* MERGEFORMATINET INCLUDEPICTURE \d /uploadImages/thirdImages/2016/052/931X5461256A.jpg \* MERGEFORMATINET  　　数据分析处理：有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量，处理的复杂度很大，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。大数据的处理类型很多，主要的处理模式可以分为流处理和批处理两种。批处理是先存储后处理，而流处理则是直接处理数据。挖掘的任务主要是关联分析、聚类分析、分类、预测、时序模式和偏差分析等。 　　5)大数据的价值：决策支持系统 INCLUDEPICTURE \d /uploadImages/thirdImages/2016/052/9CL6G5BBUB9W.jpg \* MERGEFORMATINET INCLUDEPICTURE \d /uploadImages/thirdImages/2016/052/931X5461256A.jpg \* MERGEFORMATINET  　　大数据的神奇之处就是通过对过去和现在的数据进行分析，它