基于HTK的语音识别的语料搜集与语言模型.pdfVIP

【科技刨新论坛】 l一 T 基于H K的语音识别的语料搜集与语言模型 工仕超 (同济人学软件学院上海201804) 摘要：HTK是由剑桥大学开发的语音识别研究T具，此工具实现了语音识别中的诸多算法。我们可以利用该工具建立自己需要的语亩模型。讲述如何通过从 舅：联网上得到fj己需要的语料，利用搜集的语料训练语言模型。Web信息有哪些信誉好的足球投注网站采用网络怛虫fWeb 标尽量多地发现新内容。 关键词：HTK；网络爬虫 中图分类号：TP3文献标识码：A文章编号：1671--7597(2010)1020165--01 1网培雇虫 取领域，已经有大最的研究工作，基奉可分为结构分析法、tag分析法和机 1．1网络爬虫的原理。万维网是一个网状结构的信息空问，可以用一 器学习法等。我们需要提取网页中的文字信息来训练我们的语言模型，而 对于tlTML页面中的一些控制信息，如控制字体大小，颜色的信息是不需要 个有向图G=(N，E)来表示：将网页一}1的内容看作节点，由uRL惟‘标示： 的。所以首先要将这些信息从HTML文件中去除。此类信息往往是放在 网页中的链接看作有向边。其中，肖点集N=iN0，Nm)，E是超链接集合。叶 了节点叮以是网页文件，也可以是罔形、音频等媒体文件。所有的非叶子 “”I}I的，所以我们，3要在脚本中查找成对的尖括号，并将其中的信息 节点是网页文件。冈此爬虫在抓取网页的时候，可以使用有向图遍历算法 去除就达到目的了。例如有F面一段信息需要处理： (深度优先算法和广度优先算法)对其进行遍历。 TABLE SU．V咖ARY：”Header 1．2爬虫的有哪些信誉好的足球投注网站策略。目前，爬虫在抓取网页时，一般采用两种策 navigationtable” 略：广度优先和深度优先。 WIDTH=“lOo％4 所谓广度优先是指爬虫沿着树的宽度方向遍历，直到抓完起始网页111 BORDER=”0” 链接的所有网页，然后再选择其中的一个链接网页，继续这个过程。 (TRTHCOLSPN=’3“ALIGN=”center” RedHat 所谓深度优先是指爬虫沿着树的纵深方向遍历图中没有被访问过的节 EnterpriseLinux4：ReferenceGuide 点。由于深度优先是…个递归的过程．爬虫程序在执行的时候就要大量消 ／TH／TR 耗计算机内存资源，在很多情况下都会导致爬虫的陷入问题．甚至死机。 需要去掉的就是“(”中的内容，最后得到的只有一句话：Red Hat Linux4：ReferenceGuide。这样我们可以把HTML文件描 1．3爬虫的实现方式。该爬虫用到队列来存储将要访问的页面的 Enterprise URL。如果耍运行此程序，则首先要指定一个URL。爬虫首先会取得该页面述成一个通用的格式： 的内容，并同时取得页面中包含的URL。如果获取的URI，已经在将要遍历的 要舍弃的信息 URL队列中，则自动放弃该URL，如果没有在队列中。则将该URI。加入队列。 (要舍弃的信息 这是爬虫运行的简单原理。具体的流程见图1。 要得到的信息 由于我们的程序是通过Python写成的，所以需要考虑的细节