大数据.ppt

通过视频的方式记录一切 -- google glass * 利用社交网络数据流重构人格特征 * 《纸牌屋》是Netflix首次自行制作并且完全依靠网络发行的电视剧，借助于这部剧的热播，帮助Netflix订户数成功超越了传统的HBO电视网。今年一季度，Netflix新增用户数305万人，第一季度用户观看的视频总时长超过40亿个小时。Netflix在下决定投资翻拍《纸牌屋》前至少做了两件与大数据分析紧密相关的事。(1)挑选演员；(2)播放形式。通过数据分析，Netflix发现喜欢观看1990版《纸牌屋》的影迷们同时喜欢看导演David Fincher的作品，另外，他们会经常观看奥斯卡影帝Kevin Spacey的作品。因此新版《纸牌屋》邀请了David Fincher(制作人)和Kevin Spacey(男主演)加盟这部作品的翻拍并不是凭空想象，而是基于影迷数据分析得出的结论。另一个选择在播放形式方面，按照传统连载美剧的习惯，基本都是每周播放一集，而Netflix根据相关数据的分析，更多人不喜欢在固定时刻收看电视剧，而是“攒起来”，直到全集播放完毕再一次性看完。因此，Netflix这次选择了一次性的播放13集《纸牌屋》。 * 700人的软件工程师团队；1/3 互联网流量；亚马逊 S3 云1～2万台服务器，DVD 出租， 网飞 * 最佳案例為文特（J. Craig Venter）的霰彈定序法，借助高速排序系統與超級電腦分析資料，排序單位可以從個別有機體，一直擴大到整個生態系。他自2003年起為海洋生物排序，追溯庫克船長當年登陸澳洲東岸與夏威夷群島旅程；繼而在2005年著手大氣生物排序，發掘出數千種過去一無所知的細菌及生物。文特對自己所發現的物種，所知有限，不清楚物種的樣貌、活動狀態或形態，甚至缺乏完整的基因體，只因為與資料庫現 有基因序列完全相異，即顯示為新物種。 * ZB=10^3EB=10^6PB=10^9TB=10^12GB * * 25000，500，75% * 大数据：挑战与机遇 《黑镜：The Entire History of You 你的全部历史》 2011 《 黑镜：Be Right Back 马上回来》 2013 《House of Cards 纸牌屋》2013 商业周刊：吃掉互联网的人 所有信息数字化（Data） 数据多又全（Big） 数据分析成为创新商业模式的支撑 (AaaS: Analytics as a Service) 神奇的大数据！？ 大数据被世界经济论坛称为是新的石油、新的资产类别 大数据是新时代的军备竞赛 大数据是新的（第四种）科学研究范式 神奇的大数据！？ 《大数据时代：生活、工作和思维的大变革》 2012年3月29日，美国总统科技政策办公室OSTP（Office of Science and Technology Policy）宣布了每年投资两亿美元的“大数据研究计划”（Big Data RD Initiative） 同一天，我国科技部发布的“‘十二五国家科技计划信息技术领域2013年度备选项目征集指南”把大数据研究列在首位。 神奇的大数据！？ Big，仅仅是大吗？ 1960s: 信息爆炸 1970s: 超大规模数据库（ VLDB）【GB】 21 世纪初：海量数据（massive data）【TB】 2008 年：Big data 【 PB 】 2008年9月4日《自然》（Nature）刊 登了一个名为“Big Data”的专辑 量变到质变（More is different) 原子和大脑 人和社会 从数据中寻找规律 物理学：观察（少量数据）? 理论假设（直觉+逻辑推理） ? 实验验证。 “这个世界最令人不解的事情是，它是可以理解的。” （爱因斯坦） 社会学科：理论假设 ? 历史研究，采样调查 从数据中寻找规律 当数据足够多，可以简单的“暴力解破”规律 从数据中寻找规律 克雷格·文特尔“散弹定序法”（shotgun?sequencing） 协助破译了人类基因组，创建了第一个合成细胞， 在海洋中遍寻新的基因组 The End of Theory: The Data Deluge Makes the Scientific Method Obsolete ---- Wired, 2008 大数据产生的现代方式 Web（社交媒体、网购） 全球每天通过Internet网络传输的电子邮件多达2100亿封；Facebook每月新增10亿照片和1000万个视频；腾讯公司注册用户超过7亿，同时在线人数超过1亿...... 2012年全球的数据总量为2.7Zb（1Zb相当于十万亿亿字节），预计到2020年，全球的数据总量将达到35Zb。 手机（GP