SEWM2005分类任务系统说明.pptVIP

SEWM2005分类任务系统说明 江西师范大学网络应用研究所 曾雪强 分类系统结构说明 系统模块列表 HTML格式处理模块 中文分词模块 分类训练模块 分类模块 网页格式处理 采用JAVA开源项目HTMLParser 遇到问题： 字符集的编码类型较多：GB2312、GBK、UTF-8、BIG5、EUC-KR、Shift JIS，只保留了前三种。 字符集的标定有少量错误，我们发现一些标为GBK的网页是乱码；标为UTF-8 的网页，经过重新编码后仍为乱码。 存在一部分二进制文件，如：RAR、ZIP、PDF等；而没有一种很好的算法进行自动识别。 少量网页的格式不标准，HTML分析时会出错。 共滤掉2G多的网页。 中文分词模块 采用中科院计算所ICTCLAS分词软件。 存在的问题： 由于我们采用的是该分词软件的免费版本，分词效果肯定不如商业版的好。 分词系统，遇到一些异常情况会报错退出：比如超常英文字符串，特定的GBK汉字和乱码。 过滤了所有分词出错的网页。 采用的分类模型 LSC1：基于潜在语义结构的二元分类器 kNN：标准kNN算法 LSC2：基于潜在语义结构的多类分类器 SVM：SVMlight算法 如果是二元分类器，就采用了多个二元分类器组合的方式。 系统的一些说明 特征提取 去除了英文的停用词； 根据分词信息，只保留了中文的名词和动词； 采用文档频数进行初选（保留文档频数在3到8000之间的词）； 采用CHI统计量进行进一步特征提取； 特征维数优选在8000维。 系统的一些说明 权重计算 采用了LTC权重 对网页的不同部分，赋予不同的权重； TITLE，BODY，URL，ANCHOR的权重之比为：4:1:0.5:1 四种模型，在训练集上的最优微平均F1相近，在0.80到0.84之间。 系统运行环境 硬件平台：HP G3/570 CPU：2.83G*2 内存：4G 硬盘：280G 操作系统：RedHat AS4_64 编程语言：Java 我们的一些想法 希望CWT100g的下一个版本，收集的网页格式能更为规范； 是否能提供更好的网页分类数据集； 采集的网页分布的合理性； 网页类别标签的合理性； * * 2005年9月27日 训练集 HTML格式处理 划分为Train Set和Test Set，优选特征维数和模型参数。 特征表示 生成分类模型 CWT100g HTML格式处理 中文分词 特征表示 进行分类 结果 中文分词 分类训练模块 分类模块 HTML格式处理模块 中文分词模块