hadoop培训.pptx

Agenda; CDH5.3.3安装实战和使用;Linux系统优化; (4) linux下修改进程打开文件数限制 linux 默认的进程打开文件上限是1024个，可以通过ulimit -n查看。很多系统上限可以通过修改/etc/security/limits.conf文件改变，这个文件有详细的注释，对如何修改做了说明。如果希望 把所有用户的进程打开文件上限改为65536，可以加入下面两行 * soft nofile 8192 * hard nofile 8192 ;(5) 关闭Swap分区 Swap空间的作用可简单描述为：当系统的物理内存不够用的时候，就需要将物理内存中的一部分空间释放出来，以供当前运行的程序使用。那些被释放的空间可能来自一些很长时间没有什么操作的程序，这些被释放的空间被临时保存到Swap空间中，等到那些程序要运行时，再从Swap中恢复保存的数据到内存中。这样，系统总是在物理内存不够时，才进行Swap交换。 (6) Ntp服务，时间同步 ;Hadoop通用参数调整;HDFS相关配置;map/reduce 相关配置;（4） io.sort.mb Map task的输出结果和元数据在内存中所占的buffer总大小。默认为100M，对于大集群，可设为200M。当buffer达到一定阈值，会启动一个后台线程来对buffer的内容进行排序，然后写入本地磁盘(一个spill文件)。 （5） io.sort.spill.percent 这个值就是上述buffer的阈值，默认是0.8，即80%，当buffer中的数据达到这个阈值，后台线程会起来对buffer中已有的数据进行排序，然后写入磁盘。 （6） io.sort.record Io.sort.mb中分配给元数据的内存百分比，默认是0.05。这个需要根据应用程序进行调整。 （7） press.map.output/ Mpress 中间结果和最终结果是否要进行压缩，如果是，指定压缩方式（Mpress.map.output.codec/ Mpress.codec）。推荐使用LZO压缩。Intel内部测试表明，相比未压缩，使用LZO压缩的TeraSort作业运行时间减少60%，且明显快于Zlib压缩。 3.2.6 reduce task相关配置 （8） Mapred.reduce.parallel Reduce shuffle阶段copier线程数。默认是5，对于较大集群，可调整为16~25。 ;设置好内存至关重要;Hadoop1.0的局限-MapReduce;Hadoop2.0 新特性: YARN-架构及组件;Hadoop2.0 新特性: YARN-1.0资源调度;Hadoop2.0 新特性: YARN的资源调度模型;Hadoop2.0 新特性: YARN的资源调度特点;YARN的资源调度控制;Yarn资源分配案例;YARN中内存资源的调度和隔离;YARN中CPU资源的调度和隔离;Hadoop2.0 新特性: YARN上运行的软件;NoSQL的定义与特征;基本的存储引擎;NoSQL数据库介绍;Hbase;Hbase测试;Hbase架构;Hbase角色;Hbase Split;创建Hbase表，指定分区(pre-split);自动splitting; 强制split;Compaction操作;为什么要Compaction;参数配置;Compaction流程;1） Server端： HRegionServer::run forward the request to CompactionSplitThread ==CompactionSplitThread handle the request from queue ==HRegion::compactStores ==Do compaction preparations, create the compaction folder ==HStore::compaction ==Create a HFile.Writer for writing ==Create a StoreScanner for major compaction ==Create a MinorCompactionStoreScanner for minor compaction ==Scan the scanner and write to the hfile ==Complete the compaction,delete old files and move the file to store folder 2) Server检查发起 Maj