基于Spark的贝叶斯文本分类算法研究与实现-计算机技术专业论文.docxVIP

摘 摘 要 互联网和物联网技术的快速发展推动了大数据时代的来临。各种数据正以指 数级的形式快速增长，如何快速有效地管理并利用这些数据成为当今工业界和学 术界研究的重点。大数据具有规模大、结构不规则、种类丰富、维度高、噪声数 据多等一系列的特征。从这些数据中快速挖掘出有价值的信息需要强大的分析处 理能力，传统的串行处理无法满足海量数据处理的时间需求。云计算的快速发展 为大数据的分布式挖掘创造了有利条件。 Hadoop和Spark是当前主流的分布式并行计算框架，主要用作数据存储和并 行计算。其存储系统主要为HDFS文件系统，HDFS具有高吞吐率以及高容错性 等一系列特征，这非常符合大数据挖掘的要求。本文采用Spark作为数据处理的 平台，因为Spark具有Hadoop MapReduce的优点，同时Spark是基于内存计算的 框架，摒弃了Hadoop将中问结果存放在HDFS上导致后续任务反复读写磁盘而 带来巨大的I／O开销，这对于迭代运算比较常见的机器学习算法具有较大的效率 优势。 本文结合Spark平台，研究了数据挖掘算法中的贝叶斯算法，并对其进行了 优化，建立自己的分类模型，最后在Spark上进行了并行实现。主要工作包括以 下几个方面： (1)针对大数据的特点进行一系列的预处理：传统的贝叶斯算法在处理大数 据时需要花费大量的时间而且分类精确度不高。本文针对大数据一系列的特征建 立了改进后的分类模型INBCS，首先对原始的数据集进行去除噪声处理，然后运 用信息增益的方法对英文文本进行降维，由于中文的语法结构、语义表达和组织 形式不同于英文，而信息增益方法将一个单独的词作为特征项来测量其信息熵的 多少以实现降维，所以此方法不太适用，我们选择了TextRank方法来提取关键字 和词来达到降维的目的，最后对上述处理过的数据集进行数据倾斜消除。 (2)对贝叶斯分类算法中特征项后验概率计算方法的改进：一般的朴素贝叶 斯算法中特征项的后验概率只考虑了局部影响因素，即此类中该特征项个数占该 类中所有特征项的比例；而没有考虑到此类中的该特征项个数占整个数据集中所 有特征项的比例，此类中含有该特征项的文本数占整个数据集含有该特征项的文 本总数的比例。本文引入综合影响系数将局部因素和全局因素综合考虑。 (3)对改进的分类模型INBCS在Spark上进行实现，本文实验环境采用Spark 集群生产环境，将改进的模型并行化，最后在Spark集群中测试其最佳综合影响 II 万方数据 工程硕士学位论文系数、分类精确度、召回率、Fl值、时间性能和加速比。结果表明改进后的模型 工程硕士学位论文 系数、分类精确度、召回率、Fl值、时间性能和加速比。结果表明改进后的模型 比其它算法分类效果要好，且在Spark平台上处理大数据时优势明显。 关键词：云计算；大数据；Hadoop：Spark；数据挖掘；贝叶斯算法 III 万方数据 AbstractThe Abstract The rapid development of Internet and Internet of Things technology promote the advent of big data era．Now all kinds of information are growing rapidly in the form of exponential，therefore how to manage and utilize these data quickly and efficiently is became the focus of academia and industry．Big data contains a lot of features，such as large scale，irregular structure，variety，high dimension and more noise data．If you want to quickly mine any valuable information from the Big Data，which requires the powerful analysis and processing capabilities．Traditional serial processing time can not meet the needs of massive data processing．The rapid development of cloud computing provides advanced conditions for the Big Data mining． Hadoop and Spark are the most pop