- 1、本文档共22页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
hadoopzookeeperhbase安装学习
伪分布式安装Hadoop + zookeeper + hbase安装配置安装JDK,配置环境JAVA环境变量export JAVA_HOME=/home/jdk1.6.0_27export JRE_HOME=/home/jdk1.6.0_27/jreexport ANT_HOME=/home/apache-ant-1.8.2export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH安装Hadoop-1.0.3下载hadoop文件,地址为:/coases.html,下载完成后解压hadoop-1.0.3.tar.gzsudo tar -xzf hadoop-1.0.3.tar.gz配置Hadoop环境变量export HADOOP_INSTALL=/home/hadoop-1.0.3export PATH=$PATH:$HADOOP_INSTALL/bin查看hadoop版本输入 hadoop version命令后输入下图,则安装hadoop成功修改配置文件解压hadoop-1.0.3/ hadoop-core-1.0.3.jar去解压后的hadoop-core-1.0.3文件夹下,复制文件core-default.xml,hdfs-default.xml,mapred-default.xml三个文件到hadoop-1.0.3/conf/下,删除hadoop-1.0.3/conf/文件夹下的core-site.xml,hdfs-site.xml,mapred-site.xml,将复制过来的三个文件的文件名中的default修改为site在hadoop-1.0.3文件夹同级创建文件夹hadoop,打开core-site.xml文件,修改属性节点下的name节点为hadoop.tmp.dir对应的value节点,修改为/home/${}/hadoop/hadoop-${}这样hadoop生成的文件会放入这个文件夹下.修改name节点为对应的value节点,修改为hdfs://localhost:9000/打开mapred-site.xml文件,修改property节点下name为mapred.job.tracker对应的的value, 改为:localhost:9001安装ssh执行命令安装ssh:sudo apt-get install ssh基于空口令创建一个新SSH密钥,以启用无密码登陆ssh-keygen -t rsa -P -f ~/.ssh/id_rsa执行结果:cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys测试ssh localhost测试结果:输入yes再次输入ssh localhost:成功之后,就不需要密钥格式化HDFS文件系统输入指令:hadoop namenode –format启动和终止守护进程启动和终止HDFS和MapReduce守护进程,键入如下指令启动start-all.sh(start-dfs.sh,start-mapred.sh)出错了,JAVA_HOME is not set需要修改文件,打开hadoop-1.0.3/conf/ hadoop-env.sh将红线以内部分注释解开,修改为本机JAVA_HOME再次执行启动命令start-all.sh停止stop-all.sh(stop-dfs.sh,stop-mapred.sh) 到此,hadoop就已经安装完成了Hadoop文件系统查看hadoop所有块文件执行命令:hadoop fsck / -files –blocks执行结果:此结果显示,hadoop文件系统中,还没有文件可以显示将文件复制到hadoop文件系统中在hadoop文件系统中创建文件夹,执行命令:hadoop fs –mkdir docs复制本地文件到hadoop文件系统中执行命令:hadoop fs -copyFromLocal docs/test.txt \hdfs://localhost/user/ docs/test.txt复制hadoop文件系统中的文件回本地,并检查是否一致复制:hadoop fs -copyToLocal docs/test.txt docs/test.txt.bat检查:md5 docs/test.txt docs/text.txt.bat检查结果若显示两个md5加密值相同,则文件内容相同。 查看HDFS文件列表执行命令:hadoop fs –ls执行结果:再次查看文件系统文件块执行命令:hadoop fsck / -files –blocks执行结果如图:此处为文件备份数量,可以调整,打开hadoop-1.0.3/conf/ hdfs-site
您可能关注的文档
- Eclipse3.3_(windows7)连接远程hadoop.doc
- VMware Workstatio虚拟机linux5.4指引.docx
- 英语语法简单句、并列句.ppt
- 补充:局域网互联.ppt
- hadoop集群配置范例及问题总结.doc
- 湖南高考英语阅读填空题中的层次与框架_____何淑华.ppt
- 2010年全国及各省高考英语试题单项选择分类汇编与解析1.doc
- shark+hive+spark+tachyon+hadoop安装配置(网络版).doc
- 仁爱英语八年级Unit1句型转换专项练习 试题.doc
- 在RedHat Linux上安装GitGitosis环境.docx
- 大学生职业规划大赛《新闻学专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《应用统计学专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《音乐学专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《中医学专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《信息管理与信息系统专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《汽车服务工程专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《水产养殖学专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《市场营销专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《音乐表演专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《音乐学专业》生涯发展展示PPT.pptx
最近下载
- 目的论视角下奢侈品香水广告的汉译策略研究——以迪奥为例.docx
- 2022年新版大象版六年级科学上册全册PPT课件.pptx
- 【新结构】湖北省七市州2024届高三下学期3月联合统一调研测试数学试题+答案解析.pdf VIP
- 物流和供应链(英文).ppt
- 北师大版数学八年级下册第四章 因式分解 大单元整体教学设计学历案教案附作业设计(基于新课标教学评一致性).docx
- 2023欧洲车身会议资料010_SUV full aluminium case_Hyundai and Alumobility.pdf
- 心衰的新药物治疗.pptx VIP
- 老旧小区外立面改造安全生产和文明施工措施.doc
- 口腔科护理质量查检表.docx VIP
- 《管理学习题》无答案.docx VIP
文档评论(0)