Hadoop与空间数据挖掘.pptx

数据统治的世界 大数据与空间大数据 Hadoop与ArcGIS的碰撞 数据的掘金之旅 我们的大数据梦 ;数据统治的世界;文明载体的演化;数字化生存的时代;名称：亚历山大图书馆 时间：始建于托勒密一世 （约公元前367-前283年） 说明： 是世界上最古老的图书馆之一。馆内收藏了贯穿公元前400-前300年时期的手稿，拥有最丰富的古籍收藏，有据可考的图书超过50000卷。号称“收集全世界的书”，实现“世界知识总汇”的梦想。;名称：谷歌数字化图书计划 时间：2004年 说明： 2004年，谷歌携手哈佛大学、斯坦福大学、密歇根大学、牛津大学和纽约公共图书馆，共推图书数字化，到2010年，已经完成了2000万册数字化图书，几乎相当于人类书写文明的15%。 ;数字统治着我们的世界;大数据与空间大数据; 最早是由天文学和基因学创造出了“大数据”这一概念。 ——《自然》2008年《大数据专刊》; 早期，这个概念是指需要处理的信息量过大，已经超出了一般电脑在处理数据时所能使用的内存量。;大数据与海量数据;Volume 数据量 Velocity 多样性 Variety 速度 Value 价值;数据量 Volume;多样性 Variety;多维的数据视角;速度 Velocity;Google每天需要处理超过24PB的数据 ——等于美国国家图书馆书籍总量的上千倍 ;  ;Hadoop与ArcGIS的碰撞; 古代，人们用牛来拉重物。当一头牛拉不动一根圆木时，他们想的并不是培育更大更壮的牛。同样，我们也不需要动辄使用超级计算机，而应试着结合使用更多计算机系统。 格蕾丝·莫里·霍珀 (Grace Murray Hopper) (1906--1992) ; Google通过他天才的软件架构设计，把成千上万台普通的PC机做成了一个廉价大型的集群，用以处理他面向“星球”级别的有哪些信誉好的足球投注网站服务。;名称：Utah Data Center（犹他数据中心） 全称： Intelligence Community Comprehensive National Cybersecurity Initiative Data Center（情报体系综合性国家计算机安全计划数据中心） 所属机构：NAS（美国国家安全局） ; hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。;Hadoop生态系统示意图;HDFS;假设系统每秒处理4000个文件 ;大数据技术厂商图谱;空间信息大数据存储 IBM Netezza 7.0 Netezza Spatial Esri Package Teradata Windows Azure SQL Database Hadoop for GeoEvent 空间大数据挖掘分析 GIS tools for Hadoop ;IBM Netezza 6.0/7.0 Netezza Spatial Esri Package Teradata 14.0 Windows Azure SQL Database ;Hadoop for GeoEvent; GIS Tools for Hadoop不仅在GIS与hadoop之间搭建起了一个桥梁，还定义和构建了一整套大空间数据分析的环境。 —— Marwa Mabrouk product manager at Esri;GIS Tools for Hadoop的组成;数据的掘金之旅;几千年前 科学以实验为主，描述自然现象 过去数百年 出现了理论研究分支，利用模型和归纳 最近数十年 出现了计算分支，对复杂现象进行仿真 今天：数据爆炸 将理论、实验和计算仿真统一起来 由仪器收集、由软件处理、由计算机存储 科学家通过数据管理和分析的方式来研究科学。;技术分类 预测：用历史预测未来 描述：了解数据中潜在的规律 常用数据挖掘技术 关联分析 序列模式 分类 聚集 异常检测;量变会导致质变;全体数据模式;在传统算法时代，我们需要用各种复杂的算法来保证数据的可靠性，因为我们能够获取的数据非常有限。;空间大数据与反恐战争;空间大数据与犯罪分析;出租车轨迹???点挖掘分析;精度;超大规模的空间计算;数据为王;凡是过去，皆为序曲。。。 空间分析是我们的老本行 大数据是我们的应用创新 另外：兼职统计概率分析（可以预测彩票哦) 欢迎加入“空间大数据挖掘”群 ;