实验手搜狗有哪些信誉好的足球投注网站日志分析系统实现-Hadoop2.0-v1.1.pdf

实验手册—— 搜狗有哪些信誉好的足球投注网站日志分析系统 61 实验手册搜狗有哪些信誉好的足球投注网站日志分析系统 目 录 一、数据和程序包准备63 二、数据预处理（Linux 环境）63 1. 查看数据63 2. 数据扩展64 3. 数据过滤64 三、基于Hive 构建日志数据的数据仓库64 1. 基本操作65 2. 创建分区表（按照年、月、天、小时分区）66 3. 查询结果67 四、实现数据分析需求一：条数统计67 五、实现数据分析需求二：关键词分析68 1. 查询关键词长度统计68 2. 查询频度排名（频度最高的前50 词）68 六、实现数据分析需求三：UID 分析68 1. UID 的查询次数分布（查询1 次的UID 个数，...查询N 次的UID 个数）68 2.UID 平均查询次数68 3.查询次数大于2 次的用户总数69 4.查询次数大于2 次的用户占比69 5.查询次数大于2 次的数据展示69 七、实现数据分析需求四：用户行为分析69 1. 点击次数与Rank 之间的关系分析69 2. 直接输入URL 作为查询词的比例70 3. 独立用户行为分析71 八、实现数据分析需求五：实时数据71 九、使用Sqoop 将数据导入MySQL72 十、HBase Shell 操作命令实验73 十一、使用Sqoop 将数据导入HBase75 十二、HBase Java API 访问统计数据75 1. 操作要求75 2. 数据准备75 3. 数据导入76 十三、Mahout 聚类操作实验76 1. 数据描述76 2. 准备数据77 3. 运行聚类程序78 62 大数据 Hadoop 实战培训 一、数据和程序包准备 将整体软件安装包“Hadoop In Action Experiment ”中的 ide-code 和 sogou-data 文件夹传输到到 HadoopMaster 节点的用户主目录。 注意使用SSH Secure File Transfer Client 工具将文件将windows 复制到CentOS 。 二、数据预处理（Linux 环境） 搜狗数据的数据格式： 访问时间\t 用户ID\t[查询词]\t 该URL 在返回结果中的排名\t 用户点击的顺序号\t 用户点击的URL 其中，用户ID 是根据用户使用浏览器访问有哪些信誉好的足球投注网站引擎时的Cookie 信息自动赋值，即同一次使用浏览器输入的 不同查询对应同一个用户ID。 1. 查看数据 进入实验数据文件夹 cd /home/zkpk/sogou-data/500w less 查看 less sogou.500w.utf8 解决中文显示乱码问题 本步骤已经完成从gbk 转化为utf-8 格式，不需要再操作。见下面目录，该目录是乱码清洗的Java 代码： cd ~/ide-code/workspace/test 查看总行数 cd /home/zkpk/sogou-data/500w wc -l sogou.500w.utf8 截取部分数据数据 63 实验手册搜