现代殡葬技术与管理专业群课程主题 HDFS 的 Shell.pptx

《大数据应用开发》课程现代殡葬技术与管理专业群教学资源库主讲人：陈为满 课程主题：HDFS的Shell操作

任务3.3HDFS的Shell操作3.3.1HDFSShell介绍案例——Shell定时采集数据到HDFS3.3.22

HDFS的Shell介绍Shell在计算机科学中俗称“壳”，是提供给使用者使用界面的进行与系统交互的软件，通过接收用户输入的命令执行相应的操作，Shell分为图形界面Shell和命令行式Shell。3

HDFS的Shell介绍文件系统（FS）Shell包含了各种的类Shell的命令，可以直接与Hadoop分布式文件系统以及其他文件系统进行交互。命令参数功能描述-ls查看指定路径的目录结构-du统计目录下所有文件大小-mv移动文件-cp复制文件-rm删除文件/空白文件夹命令参数功能描述-cat查看文件内容-text源文件输出为文本格式-mkdir创建空白文件夹-put上传文件-help删除文件/空白文件夹4

案例——Shell定时采集数据到HDFS服务器每天会产生大量日志数据，并且日志文件可能存在于每个应用程序指定的data目录中，在不使用其它工具的情况下，将服务器中的日志文件规范的存放在HDFS中。通过编写简单的Shell脚本，用于每天自动采集服务器上的日志文件，并将海量的日志上传至HDFS中。5

案例——Shell定时采集数据到HDFS1.配置环境变量首先在/export/data/logs目录下（如果目录不存在，则需要提前创建）使用vi命令创建upload2HDFS.sh脚本文件，在编写Shell脚本时，需要设置Java环境变量和Hadoop环境变量，这样做是用来提高系统的可靠性，保障运行程序的机器在没有配置环境变量的情况下依然能够运行脚本。6

案例——Shell定时采集数据到HDFS2.准备日志存放目录和待上传文件为了让开发者便于控制上传文件的流程，可以在脚本中设置一个日志存放目录和待上传文件目录，若上传过程中发生错误只需要查看该目录就能知道文件的上传进度。7

案例——Shell定时采集数据到HDFS3.设置日志文件上传的路径设置上传的HDFS目标路径，命名格式以时间结尾，并且输出打印信息4.实现文件上传上传文件的过程就是遍历文件目录的过程，将文件首先移动到待上传目录，再从待上传目录中上传到HDFS中。若是在每天12点凌晨执行一次，我们可以使用LinuxCrontab表达式执行定时任务8

案例——Shell定时采集数据到HDFS5.执行程序展示运行结果。为了模拟生产环境，在日志存放目录/export/data/logs/log/中，手动创建日志文件，access.log表示正在源源不断的产生日志的文件，access.log.1、access.log.2等表示已经滚动完毕的日志文件，即为待上传日志文件。9

案例——Shell定时采集数据到HDFS5.执行程序展示运行结果。在upload2HDFS.sh文件路径下运行脚本，先将日志存放目录log中的日志文件移到待上传toupload目录下，并根据业务需求重命名；然后脚本执行“hadoopput”上传命令，将待上传目录下的所有日志文件上传至HDFS；最后通过HDFSWeb界面可看到需要采集的日志文件已按照日期分类，上传至HDFS中。10