大数据技术应用PPT课件（共16章）第九章-工作流调度器 Azkaban.pptxVIP

大数据技术应用 第九章 工作流调度器 Azkaban 课程导学 课程特点 理论结合实际，注重实操 案例丰富，讲解细致 结合1+X考试理论试题解析 学习方法 多记、多想、多练 结合蓝桥实验楼线上实验实操 预习检查 请老师根据课前布置的预习内容《第九章 工作流调度器 Azkaban》中的实验6【工作流调度器 Azkaban】进行提问 问题 1： 问题2： 本章目标 重难点提示 重点： Azkaban 实战 本章任务 学会使用 Azkaban 调度各种流程 知识点 Azkaban 概述 Azkaban 安装部署 Azkaban 实战 Azkaban 概述 为什么需要工作流调度器: 通常一个完整的数据分析系统都是由大量任务单元组成：Shell 脚本程序，Java 程序，MapReduce 程序、Hive 脚本等，并且各个任务单元之间存在时间先后及依赖关系，为了很好地组织起这样复杂执行计划，需要一个工作流调度系统来实施调度。 云课实验：第九章 工作流调度器 Azkaban Azkaban 概述 常见工作流调度系统： 1. Ooize。 2. Azkaban。 3. Cascading。 4. Hamake。 Azkaban 概述 Azkaban 的特点： 1.具有 Web 界面。 2.方便上传工作流 。 3.方便设置任务之间的关系 。 4.可以调度工作流 。 5.具有认证/授权(权限的工作) 功能。 6.能够杀死并重新启动工作流。 7.具有模块化和可插拔的插件机制 。 8.拥有项目工作区。 9.拥有工作流和任务的日志记录和审计功能。 Azkaban 概述 Azkaban 调度任务类型： 1. shell 脚本。 2.Java 程序。 3.MapReduce 程序。 4.Spark 程序。 5.HiveQL。 6.Python 脚本。 7.Sqoop 任务。 Azkaban 安装部署 安装步骤： 1.下载软件。 2.执行初始化脚本文件。 3.配置 SSL。 4.修改时区。 5.修改 Azkaban Web 服务器配置。 6.修改 Azkaban Executor 服务器配置。 7.配置环境变量。 8.启动服务器。 9.验证。 10.关闭服务器。 Azkaban 实战 任务类型： 1.单一 job 任务。 2.多 job 任务。 3.周期性 job 任务。 1+X考试考题解析 考察知识点： Azkaban的周期性任务 1、 Azkaban中周期性任务的时间周期主要依靠哪个配置来实现？ A．Time B．Date C．Schedule D．Recurrence 1+X考试考题解析 考察知识点： Azkaban的周期性任务 1、 Azkaban中周期性任务的时间周期主要依靠哪个配置来实现？ A．Time B．Date C．Schedule D．Recurrence 解答：Azkaban中周期性任务的时间周期主要依靠Recurrence配置来实现。所以答案为D。 1+X考试考题解析 考察知识点： Azkaban的调度任务类型 2、 Azkaban可以调度的任务类型有哪些？ A．shell脚本 B．java程序 C．MapReduce程序 D．hive的sql 1+X考试考题解析 考察知识点： Azkaban的调度任务类型 2、 Azkaban可以调度的任务类型有哪些？ A．shell脚本 B．java程序 C．MapReduce程序 D．hive的sql 解答：Azkaban可以调度的任务类型有shell脚本、java程序、mapreduce程序、spark程序、hive的sql、python脚本、sqoop任务。所以答案为ABCD。 问题解答 学生共性问题解答 本章总结 思维导图 作业 课后作业 教员备课时根据班级情况在此添加内容，应区分必做、选做内容，以满足不同层次学员的要求。 预习作业 教员备课时根据班级情况在此添加预习内容