信息检索中迁移arkov网络模型的研究.pdf

摘 要 Web信息的快速增长，给信息检索系统带来了巨大挑战。传统的检索模型需 要在一个相对固定的数据集上通过训练得到，不具备开放的学习功能，而Web上 的信息是实时更新的，检索模型由于无法对新的数据进行学习，检索性能必将随 着Web信息的更新而逐渐下降，现有的解决办法之一是将新数据加入到原有的数 据集中对模型重新进行训练，由于模型对原有数据集学习所获得的知识并没有被 保留，这势必浪费大量的时间进行重复学习；另一种方法则是在新数据集上对模 型进行训练，若新的数据集数据量不够则会影响模型的学习效果。因而，如何使 得检索模型能较好学习新的数据并实现在目标数据集上的准确检索乜^，邑111，成为 了信息检索模型研究的热点之一。 本文中我们将检索模型在发生变化的数据上的训练可以看作是一个学习迁 移的过程陋’1引，检索模型在原有数据集上的训练势必对其在新数据上的学习有所 影响，即在原有数据集上建立模型中所获得的知识对该模型在新数据上的训练有 所帮助，从而减少由于数据发生改变而导致模型需要重新进行学习所耗费的时 间。 因此，为解决上述问题，我们结合迁移学习理论…和Markov网络理论呻1，提 出了一种新的方法，思想是迁移Markov网络用于实现检索模型的学习，通过获 取先验知识，实现在目标数据集上高效检索目的。具体的思路是：首先建立一个 数据集上的初始检索模型，其次，衡量用于建模的先验数据集和目标数据集中数 据分布的差异性，在本文中我们使用Kullback—Leiblerdivergence口，71(KL偏 离度)的测量公式来度量这一分布的不同。且所得的KL偏离值也可用于确定检 索公式中的平衡参数(也就是确定迁移先验数据中知识的“量”)，然后，通过 迁移旧数据集上的先验知识到目标数据集上，我们对基于Markov网络的检索模 型进行修正，并在目标数据集上进行检索。这样就可以将以将以往被摒弃的先验 数据通过有效的迁移学习利用到目标数据集的学习中，使检索模型能够快速学习 并实现目标文档的高效检索。多组实验结果验证了我们的新方法在性能上要优于 BM25算法∞，2“2引，T一检验n6’删的结果也显示模型的性能提高水平是显著的。 本文的工作和创新点在于： 1．首次将迁移学习理论用于信息检索领域，将知识的迁移和有指导的迁移学 习等思想成功应用在基于Markov网络的信息检索模型聆·氐峨删中，从构造的Markov 网络中成功地学习先验数据。 2．本文通过迁移先验数据集的知识，并利用部分新数据集，来修正所提出的 检索模型，并最终实现基于Markov网络的检索模型能在新的数据集上的高效检 索。这样可以大大减少重新建立一个适用于新数据集的检索模型所耗费的时间。 3．通过实验验证并分析了进行迁移学习后的基于Markov网络的信息检索模 型的性能，并将常用的BM25算法与经过迁移学习的Markov网络信息检索模型的性 能进行比较。实验表明本文提出迁移基于Markov网络模型的方法表现比较优异， 在很大程度上提高了检索效率。 关键词：信息检索；迁移学习；Markov网络；Kullback．1eibler偏离度； U AB STRACT withthe of lotofnewdata intheweb intemet，a appears Along development a toretrieval isinchanging everyday．Itbringsgreatchallenge system．Information is onamountofdatasetandneedmuchtime andourretrievalmodel gottenbytraining retrieval data andtoretrieval tore