解析大数据概念及应用.pdfVIP

解析大数据概念及应用 zhangyunbo| 2013-11-01 14:52| 分类:大数据| | 167 views | 评论:[0]| 在写这篇文章之前，我发现身边很多IT人对于这些热门的新技术、新趋势往往趋之若鹜却又很难说 的透彻，如果你问他大数据和你有什么关系？估计很少能说出一二三来。究其原因，一是因为大家对 新技术有着相同的原始渴求，至少知其然在聊天时不会显得很“土鳖”；二是在工作和生活环境中真 正能参与实践大数据的案例实在太少了，所以大家没有必要花时间去知其所以然。 我希望有些不一样，所以对“该如何去认识大数据、如何进行大数据的应用”进行了一番思索，包括 查阅了资料，翻阅了必威体育精装版的专业书籍，但我并不想把那些零散的资料碎片或不同理解论述简单规整并 堆积起来形成毫无价值的转述或评论，我很真诚的希望进入事物探寻本质。 如果你说大数据就是数据大，或者侃侃而谈4个V，也许很有深度的谈到BI或预测的价值，又或者 拿Google和Amazon举例，技术流可能会聊起Hadoop和Cloud Computing，不管对错，只是无法勾 勒对大数据的整体认识，不说是片面，但至少有些管窥蠡测、隔衣瘙痒了。……也许，“解构”是最 好的方法。 怎样结构大数据？ 首先，我认为大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持 敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被 利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。 其次，想要系统的认知大数据，必须要全面而细致的分解它，我着手从三个层面来展开： 1    第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。我会从大数据的特征定义 理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；从对大 数据的现在和未来去洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间 的长久博弈。 第二层面是技术，技术是大数据价值体现的手段和前进的基石。我将分别从云计算、分布式处理技术、 存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。 第三层面是实践，实践是大数据的最终价值体现。我将分别从互联网的大数据，政府的大数据，企业 的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。 那些和大数据相关的理论 大数据的特征定义 最早提出大数据时代到来的是麦肯锡：“数据，已经渗透到当今每一个行业和业务职能领域，成为重 要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” 业界（IBM 最早定义）将大数据的特征归纳为4个“V”（量Volume，多样Variety，价值Value， 速Velocity），或者说特点有四个层面：第一，数据体量巨大。大数据的起始计量单位至少是P（1000 个T）、E（100万个T）或Z（10亿个T）；第二，数据类型繁多。比如，网络日志、视频、图片、 地理位置信息等等。第三，价值密度低，商业价值高。第四，处理速度快。最后这一点也是和传统的 数据挖掘技术有着本质的不同。 其实这些V并不能真正说清楚大数据的所有特征，下面这张图对大数据的一些相关特性做出了有效的 说明。 2    古语云：三分技术，七分数据，得数据者得天下。先不论谁说的，但是这句话的正确性已经不用去论 证了。维克托·迈尔-舍恩伯格在《大数据时代》一书中举了百般例证，都是为了说明一个道理：在 大数据时代已经到来的时候要用大数据思维去发掘大数据的潜在价值。书中，作者提及最多的是 Google如何利用人们的有哪些信誉好的足球投注网站记录挖掘数据二次利用价值，比如预测某地流感爆发的趋势；Amazon如 何利用用户的购买和浏览历史数据进行有针对性的书籍购买推荐，以此有效提升销售量；Farecast 如何利用过去十年所有的航线机票价格打折数据，来预测用户购买机票的时机是否合适。 那么，什么是大数据思维？维克托·迈尔-舍恩伯格认为，1-需要全部数据样本而不是抽样；2-关注 效率而不是精确度；3-关注相关性而不是因果关系。 阿里巴巴的王坚对于大