大数据与信息采集简介.pptx

大数据与信息采集简介;提纲;世界是数字的;数据的前世今生;Big Data;2012年 全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年… 每天会有 2.88 万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年… 推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16 年… 每天亚马逊上将产生 6.3 百万笔订单… 每个月网民在Facebook 上要花费7 千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EB… Google 上每天需要处理24PB 的数据…;Big Data;数据规模指数增长 数字大爆炸;21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。 互联网（社交、有哪些信誉好的足球投注网站、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。 信息技术的广泛应用提高了数据的处理能力，更提高了数据的产生能力，道高一尺，魔高一丈。 这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴 大数据时代正在来临.. ;数据库;11;示例：你开心他就买你焦虑他就抛 华尔街“德温特资本市场”公司首席执行官保罗·霍廷每天的工作之一，就是利用电脑程序分析全球3.4亿微博账户的留言，进而判断民众情绪，再以“1”到“50”进行打分。根据打分结果，霍廷再决定如何处理手中数以百万美元计的股票。 霍廷的判断原则很简单：如果所有人似乎都高兴，那就买入；如果大家的焦虑情绪上升，那就抛售。 这一招收效显著——当年第一季度，霍廷的公司获得了7%的收益率;大数据分析：吃货集中营;;大数据分析：可视化;大数据分析：趋势预测;大数据应用场景;数据源：规模庞大，通常在PB级 数据结构：非结构化，需要进行量化打分，转换成结构化、数值型数据以便理解和分析 分析逻辑：更简单，性能是瓶颈 性能：实时性要求更高 ;什么是大数据？;大数据的4V特征;Volume 数据量;;Dalles数据中心位???俄勒冈州的哥伦比亚河旁，河上的Dalles大坝为数据中心提供电力。数据中心有2座4层楼高的冷却塔。 ;Microsoft数据中心;Variety 多样性;Value 价值;Value 价值;Velocity 速度;Velocity 速度;大数据;提纲;大数据从哪里来？;大数据从哪里来？;大数据从哪里来？;中国英特尔物联技术研究院;大数据从哪里来？;信息采集的类型;大数据采集带来的挑战网络爬虫;提纲;现行计算技术面临的挑战(1);传统DB技术在应对大数据上的不足;现行计算技术面临的挑战(2);数据管理面临的挑战; ;提纲;你身边的“云”;你身边的“云”;什么是云计算？;什么是云计算？;云计算特点;云计算特点;云计算的好处;云计算的好处;云计算的分类;云计算的分类;基础设施即服务;平台即服务;软件即服务;云计算的分类;大数据与云计算;; ;;云计算改变了什么?