SEWM2007分类系统说明.pptVIP

SEWM2007分类系统说明 主要内容 分类系统模块结构 系统模块详解 系统运行环境介绍 展望与未来 系统模块详解 语料预处理 分词 特征提取 向量空间模型建立 分类训练与预测 语料预处理（1） 采用基于Java开源项目：HTMLParser 抽取网页主要内容 URL Title 链接锚文本等信息 Description keywords 语料预处理（2） 实验过程遇到问题： 针对语料编码方式的多样性，我们将GBK作为默认编码方式 依靠实验效果好坏，对网页不同区域内容设置不同权重，权重设置具有随机性，不稳定 锚文本收集仅收集链接文本，在20G语料中未实现扩展锚文本对分类效果的影响，后期打算增加源网页的优劣对锚文本准确程度的影响的考虑 分词 采用哈工大分词程序 增加部分停用词，词汇数量达到2040个 特征提取（1） CHI 分别计算词条与个各类别的CHI值，取最大值作为该词项的CHI值 ECE（期望交叉熵） 是一种基于概率的方法，交叉熵越大，对文本类别分布的影响越大 CHI+DF 使用DF移除低于一定阈值低频词，消除CHI对低频词的倚重，再用CHI从剩余词条中移除类别信息较低的噪音词，这样的词条通常平均分布于各个类别 特征提取（2） 向量空间模型建立 ITC是TF*IDF变形，使用词频的对数代替词频，减少了词频上的差异构成的影响 分类模型 LibSVM软件包 核函数选择 RBF 采用交叉验证方式来选择合适的参数c和g *在分类过程中遇到，有些网页文本内容较少，建立的文本向量中每个特征词的权重为0。针对上述问题，本系统采用举手表决方法，统计不同特征选择方法构成的空向量，如果此网页出现次数大于3，则认为此网页类别为空。 系统运行环境 硬件环境 CPU 2.4G;内存 512; 硬盘 300G; 数量 4台 操作系统 XP系统 编程语言 Java 总结与展望 考虑网页更细致区域分块 网页分块在网页中的位置以及文本内容在块区域中不同位置对网页分类的影响，将应用于宏观分块各个的影响因素应用于每个微观分块中 考虑不同链接信息对分类的影响 链入与链出锚文本不同权重设置 考虑不同网页质量对锚文本准确程度的影响 希望可以对网页分类加以扩展，考虑网页不同形式、风格等方面的分类研究 谢 谢 * * * * 大连理工大学信息检索研究室 刘菁菁 孙晓玲 叶正 2007年3月9日 分类系统模块结构 分词 HtmlParser类的应用 原始语料 预处理 特征提取 建立向量空间模型 分类 CHI、ECE与DF结合 TF*IDF变形ITC计算权重 CHI+DF ECH CHI recall precision C=2 g=0.5 C=8 g=0.25 C=64 g=0.015625 0.7189 0.6109 0.6127 0.7195 0.619 0.7198 0.6181 0.7130 0.7224 0.619 0.6209 0.7245 0.7194 0.6263 0.7222 0.6282 0.7235 0.6181