大数据技术应用（国家） 技能点4：数据加载 HDFS系统中的数据加载到ORACLE.docx

PAGE12 / NUMPAGES12 HDFS系统中的数据加载到oracle HDFS系统中的数据加载到Oracle 摘 要：本章节主要讲解HDFS系统中的数据加载到Oracle，其中对Oracle的下载与安装、启动Oracle并测试、准备示例文件以及生成位置文件进行详细讲解。 关键词：HDFS；Oracle； 下载并安装Oracle 1.1 软件下载 （1）Oracle Big Data Connectors：ODCH 下载地址： /technetwork/bdc/big-data-connectors/downloads/index.html 图1下载地址 （2）Jave SE 下载地址： /technetwork/java/javase/downloads/jdk6u38-downloads-1877406.html 图2 JavaSE下载 （3）Oracle11g下载地址： 图3 Oracle11g下载（1） Oracle Enterprise Linux下载地址：需要注册oracle帐号才能下载： /linux 图4 Oracle11g下载（2） 1.2 安装Oracle 在虚拟机或者物理机下安装都可以： 图5 Oracle安装界面 基本的安装操作就是一顿下一步，然后安装oracle11g。 （1）遇到的问题1 ssh免密码登录设置后还是提示需要输入密码； 解决方法如下： chmod 700 ~/.ssh/ chmod 700 /home/userName chmod 600 ~/.ssh/authorized_keys （2）遇到的问Agent admitted failure to sign using the key 解決办法： 应用 ssh-add 指令將私钥加进来（名称可能不是 id_rsa）。 ＃ ssh-add ~/.ssh/id_rsa 1.3 安装ODCH并设置环境变量 在opt下建立文件夹odch，将文件传到这个目录下解压缩。 /opt/odch 解压缩： unzip orahdfs-2.2.0.zip 然后添加hadoop\oracle\ODCH主要要环境变量，进入hadoop用户主目录； vi .bash_profile 配置如下（可参考）： export ORACLE_BASE=/opt/oracle export ORACLE_HOME=$ORACLE_BASE/11g export ORACLE_SID=orcl export PATH=/usr/sbin:$PATH export PATH=$ORACLE_HOME/bin:$PATH export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib64:/usr/lib64:/usr/local/lib64:/usr/X11R6/lib64/ export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib export HADOOP_HOME=/home/hadoop/hadoop/hadoop-1.2.0 PATH=$PATH:$HOME/bin:/home/hadoop/hadoop/jdk1.7.0_21/bin:$HADOOP_HOME/bin export HADOOP_CONF_DIR=$HADOOP_HOME/conf export OSCH_HOME=/opt/odch/orahdfs-2.2.0 export ORAHDFS_JAR=$OSCH_HOME/jlib/orahdfs.jar export HDFS_BIN_PATH=$OSCH_HOME/bin export JAVA_HOME=/home/hadoop/hadoop/jdk1.7.0_21 export PATH 修改用户组属性： 说明：因为之前的hadoop安装在hadoop系统用户下，而oracle安装在了oracle系统用户下，为了操作方便，使hadoop用户有操作oracle操作库的权限，现在修改hadoop系统用户属组，添加到和oracle同样的用户组下。 --查看之前的用户属组 [hadoop@master ~]$ id hadoop uid=501(hadoop) gid=503(hadoop) groups=503(hadoop) [hadoop@master ~]$ id oracle uid=500(oracle) gid=501(oinstall) groups=501(oinstall),502(dba) --修改用户属组 vi /etc/group --再查看用户组属性 [hadoop@master ~