基于SVM的网页分类技术研究-计算机科学与技术专业论文.docxVIP

摘 摘 要 随着互联网技术的快速发展，网络成为人们获取信息的主要来源，为了能有效地获 取这些信息，人们希望对网页实现自动分类。因此，网页分类成为实现快速检索信息的 一项重要技术，它应用机器学习的方法使网页按照其内容实现自动标注。在众多的网页 分类算法中，SVM因为其优秀的学习与推广能力、较高的分类准确率，已成为一个研 究热点。 介绍了SVM理论基础、原理和训练算法，分析了基于SVM的网页分类技术的优点， 阐述了不平衡SVM训练算法与多类SVM学习算法。针对SVM在不平衡样本集分类准 确率不高的问题，改进了标准模糊SVM模型，引入参数九，使最优超平面与两类样本 之间的距离不相等，增加样本数较少一类的决策区域，同时利用样本之间的互距离构造 模糊隶属度函数，更好地反映了样本之间的分布情况，减少噪音数据对分类结果的影响， 提高了分类准确率。 针对二分层次结构的多类SVM算法中层次结构设计的问题，提出了基于改进的二 分层次结构的多类SVM网页分类算法。本算法通过改进的k．means聚类算法设计层次 结构。对每个结点中的各子类样本进行聚类时，通过一个子类在两个大类中的样本数之 比，决定一个子类属于哪个大类。使得一个大类内样本之间的分离性最小，两个大类样 本之问的分离性最大，提高了SVM多类分类的准确率。 最后，将改进后的SVM算法应用于网页分类中，对以上的改进算法进行了试验验 证。实验结果表明，本文算法提高了网页分类的准确率。 关键词：SVM，网页分类，不平衡样本集，隶属度函数，多类分类 The The Research of Wbb Pages Classification Based On SVM Technique Wang Guangqing(Computer Science and Technology) Directed by Prof．Li Cunhe Abstract With the development of intemet,interact becomes the main source of access to information．In order to effectively obtain this information,we hope to classify the web pages automatically．Therefore，the web classification is all import technology which effectively organize the amount of information on the intemet．According to machine learning，it enables the automatic classification of web pages．Among the various web page classification methods， SVM became the hot spot research area because of its excellent learning capacity． First of all we introduce the theoretical of SVM，principles and training algorithm．Then we summarize the advantage of web classification based on SVM，elaborate the training algorithm of imbalanced SVM and multi·class SVM．We change the standard fuzzy SVM model，introducing a parameter九to control the hyper-plane position that makes it near to the category which has more training samples．This algorithm constructs the membership function by sample mutually center distance which Call reflect sample distribution better and reduce the effect of noise data． In order to solve the problem of designing the binary hierarchical structure of multi—class， we use the improved k-