增量决策树中样选择的影响与评价.pdf

摘 要 摘 要 随着数据库和网络技术的不断发展，使得人们可以越来越容易地获得海量的数据， 但由于数据信息自身的复杂性，使如何有效地处理和理解这些数据成为需要解决的难 题，而机器学习方法可以帮助我们认识和理解这些数据里隐含的知识，同时还可以帮助 和指导生产实践。此时，首先要面临的问题就是数据的动态增长，其次是数据的数量巨 大，二者都可以通过机器学习中的增量学习和主动学习来解决。前者可以适应数据不断 增长的学习环境，在保持原有学习结果的基础之上接收新的数据，通过调整更新分类器 来获取新的知识，而后者可以主动选择样例，从而降低数据的数量和复杂度，节约学习 的成本，降低构造分类器的代价。 本文研究了基于增量决策树的主动学习方法，其实就是将增量学习和主动学习两种 方法进行有效地结合，从而同时发挥二者的优势。增量决策树是一种有效的增量学习方 法，它可以在尽量最小破坏原有决策树的结构稳定性前提下，通过动态调整算法来更新 决策树。在此基础上，进一步研究了决策树结构的变化规律，提出了基于最大不一致判 断准则的未标注样例选择算法，从而完成主动学习中重要的一环。同时还介绍了基于最 大熵和基于最大可能预测错误的样例选择算法，并通过实验验证了这些算法的分类性 能，结果表明这三种学习算法都显著减少了训练所需样例的数目，同时也证明了基于增 量决策树的主动学习方法的有效性，并且在一定程度上会好于另外两种方法。 关键词 增量决策树 主动学习 决策树结构变化 最大不一致判断准则 样例选择 I Abstract Abstract With the advances in the technology of the database and network, people can easily get more and more data so that how to access and comprehend the data becomes an impending and challenging task. The methods in Machine learning can help us to understand and comprehend the knowledge hidden in the data which can guides and supervises our production practice. The major problems include the dynamically increasing data and the huge numbers of the data. The former can be resolved by the incremental learning method which updates the classifier by coordination algorithms when the new data come. The active learning can account for the latter through the active selection for samples which efficiently decrease the amount and complexity of the data in order to lessening the cost of classifier generation. In this paper, we study the active learning method based on the incremental decision tree through which combines the merits from the incremental learning and