第01章-大数据与云计算.ppt

* * * * * * * * 四、空间大数据的存储 四、空间大数据的存储 这便是一个document，使用JSON格式，一目了然。其中的geom即为Geometry类型的数据，即地理空间数据，也是采用JSON格式存储，这样后续的空间索引与空间查询将十分方便。 四、空间大数据的存储 db.xqpoint.find({geom.coordinates:[122.53233,52.968872]}) 精确查询 邻域查询 db.xqpoint.find({geom.coordinates:{$near:[122,52]}})? db.xqpoint.find({geom.coordinates:{$near:[122,52]}}).limit(5) db.xqpoint.find({geom.coordinates:{$near:[122,52],$maxDistance:5}}).limit(5) 四、空间大数据的存储 范围查询 box = [[80,40],[100,50]]? db.xqpoint.find({geom.coordinates:{$within:{$box:box}}}) center = [80,44]? radius =5? db.xqpoint.find({geom.coordinates:{$within:{$center:[center,radius]}}}) polygon1 = [[75,35],[80,35],[80,45],[60,40]]? db.xqpoint.find({geom.coordinates:{$within:{$polygon:polygon1}}})? 五、总结 大数据研究带来的挑战 多源数据的 分析和挖掘 空间大数据 的位置安全 结合地理计算的 可视分析 可扩展的动态 海量数据管理 新的数据共享机制 需要建立 * * * * * * * * * * * * * * * * * * * * * * * * * * * Nautilus Data Technologies公司的漂浮式数据中心 冰立方实验室在阿蒙森-斯科特站家世界最南端的数据中心 某典型网站的流量数据 提供弹性的服务，在超大资源池中动态分配和释放资源 资源利用率达到80%左右，是传统模式5～7倍 云计算平台的规模极大，比较容易平稳整体负载 1.5云计算压倒性的成本优势 第一章 大数据与云计算 云计算将计算变成了大众用得上和用得起的“水和电” 成 本 资源利用率 硬件成本 电价 管理费用 10%~15% 80% 5~7倍 30倍 节约总成本 云计算较之传统方式的性价比优势 1.5云计算压倒性的成本优势 第一章 大数据与云计算 1.云计算基本概念、服务类型 2.云计算实现机制 3.云计算的特点与优势 本章小结： 空间大数据 目录 一、大数据的涵义与研究意义 二、与空间信息和位置相关的大数据 三、空间大数据的应用 四、空间大数据的存储 五、总结 一、大数据的涵义与研究意义 大数据：大型复杂数据集的聚合，这些数据集的规模和复杂程度常超出目前数据库管理软件和传统数据处理技术在可接受时间下的获取、管理、检索、分析、挖掘和可视化能力。 一、大数据的涵义与研究意义 大数据的特点： １）Volume（体量大）：大量TB级以上已有的数据等待处理； ２）Velocity（速度快）：需要响应以s甚至ms计的流数据不断产生； ３）Variety（模态多样）：数据来源和类型繁多文本、图片、视频等结构化和非结构化数据并存； ４）Veracity（真伪难辨）：由于数据的噪音、缺失、不一致性、歧义等引起的数据不确定性； ５）Value（价值）：大数据使得人们以前所未有的维度量化和理解世界，蕴含了巨大的价值，大数据的终极目标在于从数据中挖掘价值。 大数据的核心：预测 一、大数据的涵义与研究意义 研究大数据的意义：科学进步 图灵奖获得者吉姆?格雷提出：大数据是科学研究的第四范式，是从计算密集型科研发展到以大数据为基础的数据密集型科研方法。 科学研究方法的发展 真正的革命并不发生在分析数据的机器，而在于数据本身和我们如何运用数据。 一、大数据的涵义与研究意义 研究大数据的意义：社会变革 2009至今美国政府全面开放了40万联邦政府原始数据集。大数据已成为美国国家创新战略、国家安全战略、国家IT产业发展战略以及国家信息网络战略的交叉领域、核心领域。 21世纪数据的价值有可能等同于20世纪的石油，大数据研究使得人们降低了对因果关系的渴求，而关注相关关系。只需要知道是什么，而不需知道为什么。这将使得理解现实和做决定的基础也将受到根本性挑战。 社会 价值 一、大数据的涵义与研究