课件周末班06-hadoop01it18掌oozie.pptx

Apache Oozie;调度系统 运行与hadoop之上 按序执行更多job合成更大的job 也可并行执行 紧密集成hadoop、hive、sqoop 开源web应用，负责工作流机制。 ;job类型 工作流job 执行job的DAG图。 协同job 按时间和日期触发执行。 bundle 以上两者构成的包集合。 job完成，接受邮件。;Oozie介绍;编译oozie 系统要求 jdk 1.7.+maven 3.0.1+ hadoop 0.20.2+ pig 0.7+;编译oozie 修改maven/settings.xml使用中央仓库 [maven/conf/setttings.xml] mirror idCentral/id mirrorOf*/mirrorOf nameCentral/name url /url /mirror;编译oozie 修改oozie的pom.xml配置文件 [pom.xml] 编译和目标级别由1.7-.1.8;指定版本 $bin/mkdistro.sh -DskipTests -Puber -Phadoop-2 -Dhadoop.version=2.4.0 -Dhadoop.auth.version=2.4.0 -Ddistcp.version=2.4.0 -Dsqoop.version=1.4.3 -Dhive.version=1.2.0 -Dhbase.version=0.94.27 //必须要指定0.94.27;doxia doxia-module-twiki-1.0-alpha-9.2y模块和doxia-core-1.0-alpha-9.2y模块处理方式 以上两个项目都是通过中央仓库连接到cloudera仓库中，因此无法在maven命令使用下载命令完成，需要手动下载放置到.m2下对应的目录中即可。 pom.xml文件在jar中可以找到。 ses/org/apache/maven/doxia/doxia-module-twiki/1.0-alpha-9.2y/doxia-module-twiki-1.0-alpha-9.2y.jar;ORO项目 oro类库也需要以上相同的处理方式。;编译失败的异常处理 1.删除.m2/下的对应库文件，标识为 xxLastedUpdate 2.查看中央仓库是否有该依赖项。;编译Oozie成功;目录查看 编译的二进制文件 该tar包包含客户端和服务器端的所有软件包。 oozie-4.3.0-src/distro/target/oozie-4.3.0-distro.tar.gz oozie-4.3.0-distro.tar.gz内部结构;服务器端安装 强调 oozie自动计算home变量，忽略oozie_home值。 下载hadoop发布包 下载ExtJS(必须是2.2版) 注意 ExtJS使用不同license ?Oozie UI浏览器兼容Chrome (all), Firefox (3.5), Internet Explorer (8.0), Opera (10.5). 推荐对oozie server使用oozie用户(不采用);服务器端安装 安装 $tar开oozie-4.3.0-distro.tar.gz //tar开文件 $cd oozi-4.3.0 //进入tar开目录 $mkdir libext //创建libext目录 $cp ext.zip ... libext //复制ext文件;服务器端安装 复制hadoop的jar包到oozie/lib下 $find /soft/hadoopp/shared | grep jar |cp `xargs` /soft/oozie/lib 复制oozie-core和oozie-web中的jar到lib下 $mkdir oozie-web $cd oozie-web $jar -xvf ../oozie.war . $cp WEB-INF/lib/* ../lib;服务器端安装 创建web的war包(不需要做，编译时已完成) $cp mysql-x-x.jar oozie/libext //mysql$cp extjs-2.2.zip oozie/libext //extjs $bin/oozie-setup.sh prepare-war -d libext //-d把libext目录下的jar打进wa