大数据培训-2-hadoop基础知识.pdfVIP

第二章 Hadoop基础知识 大数据培训 章节目标 • 通过本章学习，学员应达到如下目标： –了解大数据处理的问题挑战 –理解分布式计算的理念和问题 –掌握Hadoop的设计思想 –掌握Hadoop核心组件的功能和特性 –掌握MapReduce的思想和流程 –掌握HDFS的思想、结构和功能 –了解大数据处理应用的开发方法 Hadoop介绍-本章提纲 • 大数据回顾 • Hadoop的背景和起源 • Hadoop的概念、组成、设计思想和功能特性 • Hadoop核心组件简介 • Hadoop示例程序：WordCount • 本章重点总结与练习题 Hadoop介绍-本章提纲 • 大数据回顾 • Hadoop的背景和起源 • Hadoop的概念、组成、设计思想和功能特性 • Hadoop核心组件简介 • Hadoop示例程序：WordCount • 本章重点总结与练习题 什么是大数据 • 大数据泛指是难以采用传统方法处理的数据 – 海量的数据：没有准确定义，不过通常指TB以上级别数据 – 非结构化与半结构化数据 – 关系型数据库难以处理的数据 • 大数据有多大？ – 纽约证券市场每天产生1TB交易数据 – Facebook存储100亿图片，大概容量在1PB – A网站存储着2.5Pb的基因数据 – 瑞士日内瓦的大型强子对撞机每年产生15PB数据 – 2013 年中国产生的数据总量超过0.8ZB （相当于8亿TB ） – 百度2013年时的数据总量接近一千个PB左右 大数据的4V特性 • 数据容量大（Volume ） – 社交网络、移动互联网和物联网生成了海量数据 • 数据生成和处理的速度快（Velocity ） – 很多业务需求都依赖于数据实时处理 • 数据形式多样化 （Variety ） – 半结构化与非结构化数据占大多数比例 • 数据价值高（Value ） – 数据价值密度低，但蕴含的价值很高 大数据的实例 • 互联网数据 – Web 日志/社交网络/Web 网页/用户内容…… • 物联网数据 – RFID/传感器数据 • 科研数据 – 生物化学数据/基因学数据/天文学/大气学 • 商业数据 – 客户数据/交易数据 • 医疗数据 – 电子病历数据 • 多媒体数据 – 照片、视频、音频数据 大数据处理的目标和价值 • 数据→信息→知识/洞察力(Insight)/价值 • 零售业——提升利润率 – 通过合并订单、用户评论信息、社交网络和流行趋势数据，零售商可对 商品类别、产品价格、库存、营销活动等进行实时调整 • 金融服务业——精准客户评估 – 基于金融市场和信贷市场的数据，金融公司可对客户的情况进行更为精 确的评估 • 政府公共服务 – 综合各个部门的信息，政府可预测市场情况，及时制定宏观调控措施 大数据处理的挑战 • 数据量快速增长 – 数据量以指数级增长，达到TB甚至PB级别 • 数据传输速度增长太慢 – 硬盘读取速度：SSD 500M/s ，机械硬盘100M/s – 硬盘容量：1TB是标配 – SSD全盘数据读取时间超过半小时！！机械硬盘需要3小时 • PB级数据处理 – 单台标准PC机（机械硬盘）读取数据需要3-4个月 – 万兆网络需要传输10天（不考虑存储瓶颈） – 单节点数据处理需要8个月（假设处理速度50M/s ） Hadoop介绍-本章提纲 • 大数据回顾 • Hadoop的背景和起源 • Hadoop的概念、组成、设计思想和功能特性 • Hadoop核心组件简介 • Hadoop示例程序：WordCount • 本章重点总结与练习题 大数据处理的问题 • 将全部数据从存储节点传输到计算节点：不可行！ • 大型集群的问题 – 单机故