大数据技术及运用.ppt

大数据原理及技术 关于大数据？？？ 你怎么看 最近几年，关于物联网，大数据，云计算，炒的沸沸扬扬。似乎随便2个节点之间能够实现通信就能称作物联网；只要数据足够大就称之为大数据；只要有数据足够大的计算就叫做云计算。 当时国外社交媒体对于大数据的热度称呼其为：Big Data is like teenage sex: Everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it too。 这比喻恰到好处。似懂非懂，似是而非的感觉。 大数据是近两年被反复吟唱的一首骊歌。自从1980年，著名未来学家阿尔文·托夫勒在《第三次浪潮》一书中将大数据热情地赞颂为“第三次浪潮的华彩乐章”开始，IT界就不断的为之倾倒。不过，“大数据”真的闯入凡人世界成为这个时代的流行词汇还是从2012年开始。从baidu指数当中可以清晰地看到，“大数据”在2012年6月之前还处在默默无闻阶段，自此之后“大数据”指数一路飙升。 努力回忆下生活中的小场景吧! 此刻做PPT，稍微一转眼，又看到了这些，这就不能算巧合吧！ 1. 好友亲密度、qq空间、淘宝推送的东西等等～涉及到数据与数据之间的相互关系，而并不是因果关系（往往习惯于因果思维逻辑去思考和理解问题） 2.DT（分销商），可以设想一下，当淘宝下单20分钟就收到到货信息，该是一种什么样的体验。（其实你的信息，什么时候想要什么东西都已经被商户预测啦，已经提前将商品运往目的地。甚至你路过的广告屏，视频网站，包括使用的APP都将引导你消费。） 3.数据足够大就称呼其为大数据吗？（其实不然，关键在于其中承载的信息。数据处理之后才可以称之为信息或者叫做知识。其实大数据可以这样理解，当数据增长速度超过了计算机处理能力的增长速度，这时就产生了「大数据」问题，好比马车怎么也赶不上汽车，更别看汽车后备箱里面装了什么东西。当前流行的Hadoop等工具、MapReduce等方法有效地形成一套可以灵活扩展的解决方案，允许用空间（集群规模）换取时间（运算时间），通过良好地管理，集群的处理能力能够跟得上数据的增长速度，由此允许人们处理更大的数据（赶上汽车），从中提取出小数据所无法获得的信息与价值（发现汽车后备箱里面藏的东西）。）当然这里面设计很多技术，数据采样、数据处理、并行计算、建模、机器学习，如何使用这些数学工具以及专业知识，便成为核心问题。 Some fantastic scenes Some funny ideas 1.现在的数据挖掘、人工智能以及大数据的结合还只在一个较浅显的层面，这方面还存在很大的突破瓶颈。大数据的应用应该体现在数据挖掘的深度上面。例如深圳的大疆无人机虽然占据全世界消费级无人机百分之70的市场份额，但是相比军事无人机，与美国的许多无人机存在不小的差距。因为大疆的大多数产品还是依靠遥控控制，离真正的人工智能还是有一定的距离的。 2.在baidu关键词中对比了“大数据”和“云计算”的近几年趋势，发现了一个有意思的曲线，2012年“云计算”热度消退后，“大数据”走上了前台，但却再也没有恢复到“云计算”的高度。这是不是表示“大数据”是“云计算”概念落空后的一餐冷饭呢？也许，谁知道呢。 3.快速的处理数据尽快用于公司决策 当最低限度的数据边界找到后，保证数据的快速处理就是你的能力所在。尽你的最大可能快速与客户、设备、平台基于这些数据进行接受和反馈，将分析和决策工作与执行行动实时对接。 4.小规模的数据分析，会有很大噪音。1个人买了啤酒又买了尿不湿就说两者有什么关联，但是如果几百万个用户都显示了这样的关联，那就能说明一些问题了。可是数据量一旦上了规模，传统的系统就没办法很好的处理了。此案例还是被纳为营销界最成功的案例之一，究其竟还是巧妙的产品捆绑销售方式！ PS：（发现啤酒和尿不湿多为男人在周末采购，而且购买这两种产品的顾客一般都是年龄在25至35周岁的青年男子，由于孩子尚在哺乳期，多数男人都接到了夫人的“圣旨”，下班后带尿不湿回家，而周末正是美国体育比赛的高峰期，一杯啤酒就着比赛是多么惬意的事！）于是有销售人员得到启发，在超市刻意将这2件商品摆放距离放近了许多，并且放置了一些牛肉干之类的。最后每年可增加几百美元的销售额。 阿里亚马逊ebay这些，成千上万种货物，每天成TB的甚至PB的数据量，要对大量不同的货品种类作分析和推荐，近实时地更新给用户看；推特和Facebook这些，根据用户发布的信息和行为模式，快速地分析整合数据给出精确广告投放是这些公司生存的根本。等移动互联网或者