MapRedece输出结构到数据库.pdf

MapRedece 输出结构到数据库 笔者就给大家介绍 MR 将结果输出到 db。 首先，笔者要提及一下之前 MR 将结果输出到 hive 表，这里需要注意，只能向某张表中入一次数据，再次执行 MR 报错： mon.HCatException : 2003 : Non-partitioned table already contains data : qyk_test.user_info。因为 hive 中的表数据实际也是放在 hdfs 中的。我们都知道 hdfs 是一次写入，多次读取的。那么，怎 么解决这个问题呢？我们可以每次创建一个临时表，然后将 MR 的数据入到临时表，入完后再把临时表的数据使用 insert into table 表名 select * from 临时表名 入到实际表中，入完后再删除临时表。 好了，接下来，笔者分以下几个步骤进行介绍： 一、pom 依赖 这里，需要添加一个 MySQL 驱动包依赖： !-- mysql 驱动包 -- dependency groupIdmysql/groupId artifactIdmysql-connector-java /artifactId version 5.1.36/version /dependency 二、数据以及数据库表准备 我们还是使用之前博文中入到 hive 的输入文件 user_info.txt ，放在hdfs 中的/qiyongkang/input 目录下: 11 1200.0 qyk1 21 22 1301 qyk2 22 33 1400.0 qyk3 23 44 1500.0 qyk4 24 55 1210.0 qyk5 25 66 124 qyk6 26 77 1233 qyk7 27 88 15011 qyk8 28 然后，我们这里使用的是 mysql 数据库，在 test 数据库建表： CREATE TABLE `user_info` ( `id` bigint(20) DEFAULT NULL, `account` varchar(50) DEFAULT NULL, `name` varchar(50) DEFAULT NULL, `age` int(11) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8 1 / 9 三、MR 编写 首先，我们来看主类 LoadDataToDbMR ： /** * Project Name:mr-demo * File Name:LoadDataToDbMR.java * Package Name:org.qiyongkang.mr.dbstore * Date:2016 年 4 月 10 日下午3:16:05 * Copyright (c) 2016, CANNIKIN(http:///p/cannikin/src/) All Rights Reserved. * */ package org.qiyongkang.mr.dbstore; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.db.DBConfiguration; import org.apache.hadoop.mapreduce.lib.db.DBOutputFormat; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; /** * ClassName:LoadDataToDbMR br/ * Function: TODO ADD FUNCTION. br/ * Reason: TO