八组 实训2：用户消费行为分析.pdfVIP

实验报告 实验名称：用户消费行为分析 学生姓名：王智 朱美娜 薛妍 赵雨萌 王文静 学生学号： 13 02 28 31 48 院 系： 数学与计算机科学学院 专 业： 数据科学与大数据技术 年 级： 2019 级 完成时间： 2021 年 6 月 18 日 一、 实验目的： 数据来自CDNow 网站的一份用户购买CD明细，本数据集共有6万条左右数据，数据为 CDNow 网站1997年1月至1998年6月的用户行为数据。 1.编写MapReduce程序实现数据清洗，将不完整的数据过滤掉，输出数据以“,”分割 2.通过对用户行为数据进行分析，计算用户消费趋势： （1）每月各用户的消费次数、购买产品数量、消费总额。 （2）每月的消费总次数、购买产品总数量、消费总额、消费人数。结合分析结果，给出 消费趋势结论。 二、实验原理: 用Maven构建Hadoop项目，MapReduce程序实现，利用lsn虚拟机 hive环境获得结果。 三、实验设备： Windows，lsn虚拟机 四、实验过程 （程序清单）： import org.apache.hadoop.conf .Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import java.io.IOException; //数据清洗 //编写MapReduce程序实现数据清洗，将不完整的数据过滤掉，输出数据以‘，’分割。 public class AnalyseMain { public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { Job job=Job.getInstance(new Configuration()); //设置程序入口类 job.setJarByClass(AnalyseMain.class); //设置Mapper,程序主类,main函数所在的类 job.setMapperClass(AnalyseMapper.class); //Map输出key，value的类型 //key2 job.setMapOutputKeyClass(Text.class); //value2 job.setMapOutputValueClass(IntWritable.class); //设置输入输出 FileInputFormat.setInputPaths(job,new Path(args[0])); FileOutputFormat.setOutputPath(job,new Path(args[1])); //提交任务并等待任务结束 boolean verbose; job.waitForCompletion(true); } } 1 import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.NullWritable