- 1、本文档共30页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
Apache Oozie;调度系统
运行与hadoop之上
按序执行更多job合成更大的job
也可并行执行
紧密集成hadoop、hive、sqoop
开源web应用,负责工作流机制。
;job类型
工作流job
执行job的DAG图。
协同job
按时间和日期触发执行。
bundle
以上两者构成的包集合。
job完成,接受邮件。;Oozie介绍;编译oozie
系统要求
jdk 1.7.+maven 3.0.1+
hadoop 0.20.2+
pig 0.7+;编译oozie
修改maven/settings.xml使用中央仓库
[maven/conf/setttings.xml]
mirror
idCentral/id
mirrorOf*/mirrorOf
nameCentral/name
url /url
/mirror;编译oozie
修改oozie的pom.xml配置文件
[pom.xml]
编译和目标级别由1.7-.1.8;指定版本
$bin/mkdistro.sh -DskipTests -Puber -Phadoop-2
-Dhadoop.version=2.4.0
-Dhadoop.auth.version=2.4.0
-Ddistcp.version=2.4.0
-Dsqoop.version=1.4.3
-Dhive.version=1.2.0
-Dhbase.version=0.94.27 //必须要指定0.94.27;doxia
doxia-module-twiki-1.0-alpha-9.2y模块和doxia-core-1.0-alpha-9.2y模块处理方式
以上两个项目都是通过中央仓库连接到cloudera仓库中,因此无法在maven命令使用下载命令完成,需要手动下载放置到.m2下对应的目录中即可。
pom.xml文件在jar中可以找到。 ses/org/apache/maven/doxia/doxia-module-twiki/1.0-alpha-9.2y/doxia-module-twiki-1.0-alpha-9.2y.jar;ORO项目
oro类库也需要以上相同的处理方式。;编译失败的异常处理
1.删除.m2/下的对应库文件,标识为
xxLastedUpdate
2.查看中央仓库是否有该依赖项。;编译Oozie成功;目录查看
编译的二进制文件
该tar包包含客户端和服务器端的所有软件包。
oozie-4.3.0-src/distro/target/oozie-4.3.0-distro.tar.gz
oozie-4.3.0-distro.tar.gz内部结构;服务器端安装
强调
oozie自动计算home变量,忽略oozie_home值。
下载hadoop发布包
下载ExtJS(必须是2.2版)
注意
ExtJS使用不同license
?Oozie UI浏览器兼容Chrome (all), Firefox (3.5), Internet Explorer (8.0), Opera (10.5).
推荐对oozie server使用oozie用户(不采用);服务器端安装
安装
$tar开oozie-4.3.0-distro.tar.gz //tar开文件
$cd oozi-4.3.0 //进入tar开目录
$mkdir libext //创建libext目录
$cp ext.zip ... libext //复制ext文件;服务器端安装
复制hadoop的jar包到oozie/lib下
$find /soft/hadoopp/shared | grep jar |cp `xargs` /soft/oozie/lib
复制oozie-core和oozie-web中的jar到lib下
$mkdir oozie-web
$cd oozie-web
$jar -xvf ../oozie.war .
$cp WEB-INF/lib/* ../lib;服务器端安装
创建web的war包(不需要做,编译时已完成)
$cp mysql-x-x.jar oozie/libext //mysql$cp extjs-2.2.zip oozie/libext //extjs
$bin/oozie-setup.sh
prepare-war -d libext //-d把libext目录下的jar打进wa
您可能关注的文档
最近下载
- 培养领导的艺术 .pptx
- 2021年初中物理竞赛及自主招生专题讲义 第二讲 力与物体的平衡 第三节 共点力的平衡(含解析).docx VIP
- GE是怎样认识领导的选拔与培养的.ppt
- 高中物理大单元教学设计优秀案例分析.docx
- 3m径向注浆技术交底.doc
- 长治西收费站服务质量调查整改措施.pptx
- 怎样培养领导的艺术.ppt
- 2021年初中物理竞赛及自主招生专题讲义第一讲物体的运动第三讲圆周运动含解析.docx VIP
- 2021年初中物理竞赛及自主招生专题讲义第一讲物体的运动第四节相对运动含解析.docx VIP
- 2021年初中物理竞赛及自主招生专题讲义第一讲物体的运动第二节简单的变速直线运动含解析.docx VIP
文档评论(0)