基于大数据平台的数据挖掘的研究与应用.pptx

基于大数据平台的数据挖掘的研究与应用;1;大数据是什么？;大数据生态系统;hdfs;mapreduce;;hive;研究与应用;解决方案-比赛任务;解决方案-比赛任务;数据预处理;采样与过滤;数据合并;缺失值填充;归一化;结合赛题的实际情况所做的一些具体的数据预处理步骤;特征工程;菜鸟-需求预测与分仓规划项目的特征工程;特征变换;特征变换;随机森林;特征重要性评估;特征重要性评估;特征选择与生成;统计分析;机器学习;机器学习;机器学习;机器学习;机器学习;机器学习;评估;评估;软件著作权;首先从hive数据预处理端对数据预处理和提取特征集：mahout数据挖掘端建立模型并优化模型；Apache应用服务器端读取数据、并接受客户端请求，根据请求给予客户端回应；安卓客户端向服务器端发送预测请求并显示预测请求。;软件准备4个word文档： （1）部分源代码：若代码不满3000行，需全部提交；若超过3000行，??提交代码的前30页以及后30页，每页50行代码。注意：页眉添加软件名称，页脚添加页码。 （2）操作手册：图片不能有敏感性息，注意：页脚添加页码。 （3）学校审批表：自主知识产权审批表及承诺书，提交给校科技处。 （4）信息采集表：填写软件著作权登记申请表用。;总结;