大数据工程师必备常见Hadoop面试题及答案解析（问答题）.pdfVIP

大数据工程师必备常见Hadoop面试题及答案解析（问答题）

5问答题（二）

5.1写出以下执行命令

1）如何杀死一个job

先Hadoopjob-list得到jobid杀死job：hadoopjob-kill

jobid

2）删除hdfs上的/tmp/xxx目录hadoopfs-rm-r/tmp/xxx

3）加入一个新的存储节点和删除一个计算节点，需要刷新集群

状态命令

加入新节点时：

Hadoop-daemon.shstartdatanode

Hadoop-daemon.shstarttasktracker

删除节点时

Hadoopmaradmin-refreshnodes

Hadoopdfsadmin-refreshnodes

5.2简述一下hdfs的数据压缩算法，工作中用的是那种算法，为

什么？

1、在HDFS之上将数据压缩好后，再存储到HDFS

2、在HDFS内部支持数据压缩，这里又可以分为几种方法：

2.1、压缩工作在DataNode上完成，这里又分两种方法：

2.1.1、数据接收完后，再压缩

这个方法对HDFS的改动最小，但效果最低，只需要在block文

件close后，调用压

缩工具，将block文件压缩一下，然后再打开block文件时解压

一下即可，几行代码就可

以搞定

2.1.2、边接收数据边压缩，使用第三方提供的压缩库

效率和复杂度折中方法，Hook住系统的write和read操作，在

数据写入磁盘之前，

先压缩一下，但write和read对外的接口行为不变，比如：原始

大小为100KB的数据，压

缩后大小为10KB，当写入100KB后，仍对调用者返回100KB，

而不是10KB

2.2、压缩工作交给DFSClient做，DataNode只接收和存储

这个方法效果最高，压缩分散地推给了HDFS客户端，但

DataNode需要知道什么时

候一个block块接收完成了。

推荐最终实现采用2.2这个方法，该方法需要修改的HDFS代码

量也不大，但效果最高。

1、Datanode在什么情况下不会备份？

单节点的情况下不会备份！

2、datanode首次加入cluster的时候，如果log报告不兼容文

件版本，那

需要namenode

3、执行格式化操作，这样处理的原因是？这个说法是错误的！

添加了一个新的标识符ClusterID用于标识集群中所有的节点。当

格式化一个Namenode，

需要提供这个标识符或者自动生成。这个ID可以被用来格式化加

入集群的其他Namenode

应该检查hadoop的版本是不是与其他的hadoop版本一致！

5.3三个datanode，当有一个datanode出现错误会怎样？

Datanode以数据块作为容错单位通常一个数据块会备份到三个

datanode上，如果一个

datanode出错，则回去其他备份数据块的datanode