厦门大学计算机科学系研究生课程《大数据技术基础.PDF

厦门大学计算机科学系研究生课程 《大数据技术基础》 主讲教师：林子雨 /linziyu 获取教材和讲义PPT 等各种课程资料请访问/node/422 =课程教材由林子雨老师根据网络资料编著= 厦门大学计算机科学系教师 林子雨 编著 /linziyu 1 / 14 厦门大学计算机科学系研究生课程 《大数据技术基础》 主讲教师：林子雨 /linziyu 2013 年9 月 前言 本教程由厦门大学计算机科学系教师林子雨编著，可以作为计算机专业研究生课程《大 数据技术基础》的辅助教材。 本教程的主要内容包括：大数据概述、大数据处理模型、大数据关键技术、大数据时代 面临的新挑战、NoSQL 数据库、云数据库、Google Spanner、Hadoop、HDFS、HBase、 MapReduce 、Zookeeper、流计算、图计算和Google Dremel 等。 本教程是林子雨通过大量阅读、收集、整理各种资料后精心制作的学习材料，与广大数 据库爱好者共享。教程中的内容大部分来自网络资料和书籍，一部分是自己撰写。对于自写 内容，林子雨老师拥有著作权。 本教程PDF 文档及其全套教学PPT 可以通过网络免费下载和使用（下载地址： /node/422）。教程中可能存在一些问题，欢迎读者提出宝贵意见 和建议！ 本教程已经应用于厦门大学计算机科学系研究生课程《大数据技术基础》，欢迎访问 2013 班级网站/node/423。 林子雨的E-mail是：ziyulin@ 。 林子雨的个人主页是：/linziyu。 林子雨于厦门大学海韵园 2013 年9 月 2 / 14 厦门大学计算机科学系研究生课程 《大数据技术基础》 主讲教师：林子雨 /linziyu 第5章 HDFS 厦门大学计算机科学系教师 林子雨 编著 个人主页：/linziyu 课程网址：/node/422 2013 年9 月 3 / 14 厦门大学计算机科学系研究生课程 《大数据技术基础》 主讲教师：林子雨 /linziyu 第5章 HDFS Hadoop 分布式文件系统HDFS （Hadoop Distributed File System ）是一个能够兼容普通 硬件环境的分布式文件系统，和现有的分布式文件系统不同的地方是，Hadoop 更注重容错 性和兼容廉价的硬件设备，这样做是为了用很小的预算甚至直接利用现有机器就实现大流量 和大数据量的读取。Hadoop 使用了POSIX 的设计来实现对文件系统文件流的读取。HDFS 原来是Apache Nutch 有哪些信誉好的足球投注网站引擎（从Lucene 发展而来）开发的一个部分，后来独立出来作为 一个Apache 子项目。 本章介绍HDFS 的相关知识，内容要点如下： HDFS 的假设与目标 HDFS 的相关概念 HDFS 体系结构 HDFS 命名空间 HDFS 存储原理 通讯协议 数据错误与异常 从HDFS 看分布式文件系统的设计需求 5.1HDFS 的假设与目标 HDFS