情报检索(公共管理学院)讲述.ppt

THANK YOU 3.智能电网 智能电网，是指将现代信息技术融入传统能源网络构成新的电网，通过用户的用电习惯等信息，优化电能的生产、供给和消耗，是大数据在电力系统上的应用．智能电网可以解决电网规划、发电与用电的互动、间歇式可再生性能源接入问题。 第三章 大数据技术核心 目前广为接受的一种处理模型是Fayyad等人设计的多处理阶段模型，如图1. 第三章 大数据技术核心之大数据的关键技术 一、大数据处理的三大关键技术： （1）GFS （2）MapReduce （3）Bigtable ——迪莉娅.我国大数据产业发展研究[J].科技进步与对策,2014,04:56-60 一、大数据的关键技术 （1）GFS(GoogleFileSystem)是Google公司开发的一个可扩展的分布式文件系统。一个GFS集群由一个主服务器(master)和大量的块服务器(chunkserver)构成，并允许多客户端(Client)访问。客户端在访问GFS时，首先访问Master节点，获取将要与之进行交互的ChunkServer信息，然后直接访问这些ChunkServer完成数据存取。 一、大数据的关键技术 （2）分布式数据库系统BigTable旨在可靠地处理PB级数据，并且部署到上千台机器上。它不支持JOIN这样的SQL语法，更像今日的NoSQL的Table-oriented。BigTable被广泛应用于一系列的Google应用中，如GoogleEarth、GoogleMaps、Gmail、YouTube等等。 一、大数据的关键技术 （3）分布式数据处理系统MapReduce。MapReduce用于编写可运行于集群上能处理大规模数据集（大于1TB）的并行程序。其设计思想是将要执行的复杂问题分解为Map（映射）和Reduce（规约）两个操作，从而简化并行程序的开发过程。 二、大数据储存、计算、分析技术 1.大数据存储管理技术 2.大数据并行计算技术 1.大数据储存、计算、分析技术 数据的海量化和快增长特征是大数据对存储技术提出的首要挑战。以往网络附着存储系统（NAS）和存储区域网络（SAN）等体系，存储和计算的物理设备分离，导致在进行数据密集型计算（DataIntensiveComputing）时I/O容易成为瓶颈。 谷歌文件系统（GFS）和Hadoop的分布式文件系统HDFS（HadoopDistributedFileSystem）奠定了大数据存储技术的基础。与传统系统相比，GFS/HDFS将计算和存储节点在物理上结合在一起，采用了分布式架构，能达到较高的并发访问能力。存储架构的变化如图所示。 ——吴章玲,金培权.基于PCM的大数据存储与管理研究综述[J].计算机研究与发展,2015,02:343-361. 1.大数据存储管理技术 （图片来源：工业与信息化部） 2.大数据并行计算技术 传统依赖大型机和小型机的并行计算系统不仅成本高，同时靠提升单机CPU性能、增加内存、扩展磁盘等实现性能提升的纵向扩展（ScaleUp）的方式也难以支撑平滑扩容。 谷歌在2004年公开的MapReduce分布式并行计算技术，是新型分布式计算技术的代表。 2.大数据并行计算技术 图3针对不同计算场景发展出特定分布式计算框架 （图片来源：工业与信息化部） 2.大数据并行计算技术 大数据分析的两条技术路线 （1）凭借先验知识人工建立数学模型来分析数据； （2）通过建立人工智能系统，使用大量样本数据进行训练，让机器代替人工获得从数据中提取知识的能力。 （来源：胡波.并行计算技术与数据挖掘[J].计算机与网络,2009,08:65-68.大数据分析技术） 2.大数据并行计算技术 （1）深度学习 （2）知识计算 （3）社会计算 （4）可视化 ——程学旗,靳小龙.大数据系统和分析技术综述[J].软件学报,2014,09:1889-1908. （1）深度学习 深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的核心思路如下：①无监督学习用于每一层网络的pre-train；②每次用无监督学习只训练一层，将其训练结果作为其高一层的输入；③用自顶而下的监督算法去调整所有层。 （2）知识计算 知识计算是大数据分析的基础，要对数据进行高端分析,就需要从大数据中先抽取出有价值的知识,并把它构建成可支持查询、分析和计算知识库.代表性的知识库或应用系统有KnowItAll、Te