基于潜在语义索引的超链接分析模型.pdfVIP

于 潜 在 语 义 索 引 的 超 链 接 分 析 模 型 刘华 生 ， 刘刚 ， 吕 玉 琴 京 邮 电 大 学 电 子 工 程 学 院 ， 北京 (100876) E-mail ： liuhuasheng@ 摘 要 了 更 合 理 的 排 名 Web 文 档 本 文 提 出 了 一 个 新 的 链 接 分 析 模 型 。 该 模 型 结 合 了 基 于 马 尔 科 夫 链 的 链 接 分 析 技 术 和 基 于 潜 在 语 义 索 引 [1,2]以 及 文 档 聚 类 分 析 的 内 容 分 析 技 术 ， 能 很 好 的 适 应 新 增 Web 页 面 ， 并 且 能 用 来 解 决 基 于 链 接 和 基 于 内 容 的 搜 索 引 擎 作 弊 以 及 上 下 文 搜 索 和 主 题 相 关 搜 索 问 题 。 键 词 链 接 分 析 模 型 ； 潜 在 语 义 索 引 ； 搜 索 引 擎 中 图 分 类 号 ： TP 1． 引 言 信 息 检 索 理 论 在 搜 索 引 擎 中 的 应 用 并 没 有 达 到 预 期 的 效 果 ， 主 要 是 因 为 以 下 原 因 ：（ 1） Web 文 档 量 非 常 大 而 用 户 输 入 的 查 询 通 常 是 很 短 的 几 个 关 键 词 ， 因 此 检 索 到 的 文 档 太 多 以 至 于 很 难 满 足 用 户 的 需 求 ；（ 2 ） Web 文 档 的 质 量 参 差 不 齐 并 且 变 化 频 繁 ， 有 的 Web 文 档 作 者 为 了 提 升 自 己 网 页 在 检 索 结 果 中 的 位 置 故 重 复 与 文 档 内 容 无 关 但 是 用 户 普 遍 查 询 的 关 键 字 ， 这 也 就 是 搜 索 引 擎 作 弊 （spamming ） 的 一 个 方 面 。 因 此 仅 仅 基 于 关 键 字 的 文 本 检 索 技 术 不 能 很 好 的 应 用 于 Web 搜 索 。 随 着 Web 链 接 分 析 技 术 的 出 现 情 况 有 所 改 观 ， 尤 其 是 PageRank 算 法 给 商 业 搜 索 引 擎 Google 带 来 巨 大 的 成 功 更 直 接 说 明 超 链 接 分 析 技 术 能 有 效 地 给 Web 页 面 带 来 权 威 的 评 价 以 满 足 用 户 的 信 息 需 求 。 比 较 成 功 的 链 接 分 析 算 法 主 要 是 PageRank [3,4]和 HITS，他 们 的 基 本 思 想 都 是 如 果 一 个 页 面 被 引 用 的 越 多 说 明 其 价 值 越 高 ， 因 此 被 检 索 到 的 时 候 应 该 排 在 前 面 。 自 从 PageRank 算 法 被 提 出 之 后 ， 有 很 多 文 章 提 出 了 不 少 的 改 进 方 法 ， 而 且 实 验 也 表 明 这 些 改 进 算 法 较 之 PageRank 算 法 非 常 有 效 。尤 其 是 内 容 分 析 与 链 接 分 析 的 结 合 ， 机 器 学 习 算 法 在 链 接 分 析 中 的 应 用 ， 主 题 相 关 的 动态 权 重 计 算 方 法 等 更 为 有 效 的 改 善 页 面 权 重 的 准 确 度 和 可 靠 度 。本 文 主 要 从 这 些 方 面 出 发 提 出 一 种 新 的 页 面 质 量 评 测 模 型 — — 基 于 潜 在 语 义 索 引 的 链 接 分 析 模 型 。 2 ． PageRank 算 法 和 存 在 的 问 题 PageRank 链 接 分 析 算 法 [3,4]基 于 以 下 事 实 ： （1） 链 接 味 着 文 档 的 权 值 从 源 页 面 转 移 到 目 的 页 面 ， 因 此 如 果 一 个 页 面 被 很 多 页 面 链 接 则 其 权 重 就 很 高 ； （2 ） 如 果 一 个 页 面 有 很 高 的 权 重 ， 则 被 它 链 接 的 页 面 相 应 的 权 重 也 应 该 很 高 ； （3 ） 一 个 页 面 有 很 多 指 向 其 它 页 面