大数据与信息采集简介.ppt

大型企业的班车：租用vs养车队 * 所谓PaaS实际上是指将软件研发的平台作为一种服务，以SaaS的模式提交给用户。因此，PaaS也是SaaS模式的一种应用。 但是，PaaS的出现可以加快SaaS的发展，尤其是加快SaaS应用的开发速度。 国内的SaaS厂商八百客的PAAS开发平台，用户不再需要任何编程即可开发包括CRM、OA、HR、SCM、进销存管理等任何企业管理软件，而且不需要使用其他软件开发工具并立即在线运行 你用过哪些云服务？各自属于哪层？ * 文件同步 Dropbox-nas * 为什么我们用的云服务大都是免费的？ * 云计算是大脑，解决信息的存储和处理问题，它在云端服务器上非常的强悍，同时每天在更新很多新的产品模式和服务方式。而大数据是灵魂，是信息发掘和知识创作的源泉，它是由数据丰富度来决定的。未来很多的领域，首先是服务领域在使用大数据，现在其他领域同样也在应用。未来新兴产业，如车联网、物联网等等和传统产业，包括交通、金融、电信、娱乐、媒体这些产业都不断的产生着数据，同时也在消费、共享数据。 * * 云计算和大数据是一个硬币的两面，云计算是大数据的 IT 基础，而大数据是云计算的一个杀手级应用 云计算是大数据成长的驱动力，而另一方面，由于数据越来越多、越来越复杂、越来越实时，这就更加需要云计算去处理，所以二者之间是相辅相成的 * 在概念上两者有所不同。云计算改变了 IT，而大数据则改变了业务。然而大数据必须有云作为基础架构，才能得以顺畅运营。 大数据和云计算的目标受众不同。云计算是卖给 CIO 的技术和产品，是一个进阶的 IT解决方案。而大数据是卖给 CEO、卖给业务层的产品，大数据的决策者是业务层。由于他们能直接感受到来自市场竞争的压力，必须在业务上以更有竞争力的方式战胜对手。 * * 大数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，绝大部分都隐藏在表面之下。 而发掘数据价值、征服数据海洋的“动力”就是云计算。互联网时代，尤其是物联网、社交网络、 电子商务与移动通信把人类社会带入了一个以“PB”(1024TB)为单位的结构与非结构数据信息的 新时代。在云计算出现之前，传统的计算机是无法处理如此量大、并且不规则的“非结构数据” 的。 四、空间大数据的存储 这便是一个document，使用JSON格式，一目了然。其中的geom即为Geometry类型的数据，即地理空间数据，也是采用JSON格式存储，这样后续的空间索引与空间查询将十分方便。 四、空间大数据的存储 db.xqpoint.find({geom.coordinates:[122.53233,52.968872]}) 精确查询 邻域查询 db.xqpoint.find({geom.coordinates:{$near:[122,52]}})? db.xqpoint.find({geom.coordinates:{$near:[122,52]}}).limit(5) db.xqpoint.find({geom.coordinates:{$near:[122,52],$maxDistance:5}}).limit(5) 四、空间大数据的存储 范围查询 box = [[80,40],[100,50]]? db.xqpoint.find({geom.coordinates:{$within:{$box:box}}}) center = [80,44]? radius =5? db.xqpoint.find({geom.coordinates:{$within:{$center:[center,radius]}}}) polygon1 = [[75,35],[80,35],[80,45],[60,40]]? db.xqpoint.find({geom.coordinates:{$within:{$polygon:polygon1}}})? 五、总结 大数据研究带来的挑战 多源数据的 分析和挖掘 空间大数据 的位置安全 结合地理计算的 可视分析 可扩展的动态 海量数据管理 新的数据共享机制 需要建立 * 。 * 世界是由数据描述的 无限的数据,有限的处理能力,怎么办? 纸质:课表,作业 电子:文件系统,手机短信 数据库:在线注册，学习 数据仓库和数据挖掘:电信、银行客户资源挖掘，主要是数值型数据 大数据：所有能得到的、各个方面、各种类型的数据 * 为什么今年产生的数据比文明开始到现在都多？是因为以前都没产生过数据么？ 04年，数码相机，之前，胶片相机 拍照变多，便于保存 * * 总部位于美国阿肯色州的世界著名商业零售连锁企业沃尔玛（Wal?Mart）拥有世界上最大的数据仓库系统。为了能够准确了解顾客