MapReduce研究现状(18页).pptVIP

暨南大学并行计算实验室MapReduce研究现状  专 业：计算机软件与理论 姓 名：周敏 丁光华 指导教师：周继鹏 教授 摘要 MapReduce研究 调试、监控等 优化、扩展等 常用API Hadoop改造 数据挖掘项目Redpoll Canopy, k-means Naive bayes, SVM 调试 标准输出,标准出错 Web显示(50030, 50060, 50070) NameNode,JobTracker, DataNode, TaskTracker日志 本地重现: Local Runner DistributedCache中放入调试代码 Profiling 监控 调优点(1) 调优点(2) 常用API Hadoop改造 Hadoop改造 大规模数据挖掘:Redpoll 前提：假定一个属性值对分类的影响独立于其他属性的值。（类条件独立） 朴素贝叶斯分类工作过程 每个数据样本用一个n维特征向量 表示，分别描述对n个属性 样本的n个度量 假设有m个类 。给定一个未知的数据样本X，分类法将预测具有最高后验概率（条件X下）的类。即是找最大化的 。根据贝叶斯定理有 P(X)对所有类为常数，最大化 ，对 的考虑分析：等概率，或 类条件独立的朴素假定： ， （k = 1，2，n）可以由训练样本估值 是分类属性，则根据样本估值 是连续值属性，则通常假定其服从高斯分布，因而 Canopy 大容量,高维数据集聚类 使用两步聚类 不同的距离度量 节省计算时间 适用范围较广 K-means EM GAC 大规模支持向量机 解的稀疏性及问题的凸性 将大规模的原问题分解成小规模的子问题,迭代求解子问题,直到收敛至原问题的解. 选块算法 分解算法 序列最小最优化法(sequential minimal optimization, SMO) 并行实现 Thinking in MapReduce 谢谢! * * 目的：查性能瓶颈，内存泄漏，线程死锁等 工具： jmap, jstat, hprof,jconsole, jprofiler mat,jstack 对JobTracker的Profile 对各slave节点TaskTracker的Profile 对各slave节点某Child进程的Profile(可能存在单点执行速度过慢) 目的：监控集群或单个节点I/O, 内存及CPU 工具： Ganglia I/O io.sort.mb io.sort.percent io.sort.record.percent io.sort.spill.percent Shuffle tasktracker.http.threads mapred.reduce.parallel.copies mapred.job.shuffle.input.buffer.percent … 数据压缩 推测性执行(同时执行同一Task,杀死运行慢的) 同一节点的Child重用jvm 重写Partitioner,使分布到各Reducer的数据均匀 设置堆空间大小 Mapper, Reducer Writable, ComparableWritable InputFormat, OutputFormat Partitioner Comparator DistributedCache Streaming(bash/python) JobTracker与作业调度耦合性太强 JobHistory应独立为一个jvm进程,逻辑不应与JobTracker耦合太强 在HDFS之上整合MPI,统一作业调度 Shuffle过程只需一次I/O 单块磁盘失效导致整个节点失效问题(改DFSClient) 文件系统兼容posix 使Map的key输出不排序,只分区 NameNode单点故障问题 RPC支持大数据(如文件)传输 集群资源分配 权限管理 文本数据挖掘 分布式分词 分布式向量空间模型 距离度量 语料 搜狗新闻 20 news group wikipedia 朴素贝叶斯分类 朴素贝叶斯分类(续) B A D A A C B C B C D Group Co-group Function Stream Flow Filter Filter Aggregate * * *