有哪些信誉好的足球投注网站引擎第八章.pdfVIP

第八章网络信息预处理 目录 • 1.、使用PDFBOX解析PDF文档 • 2、使用JACOB预处理WORD文档 • 3、使用HTMLParser预处理HTML文档 • 4、使用POI处理OFFICE文档 • 5、使用Lucene处理SQL Server数据表 由于网页文件格式纷繁复杂，这其中可能既会有Html网 页、也有Xml 、Doc、Xls 、Pdf等多种不同格式的文档。 为了扩大检索范围，需要有哪些信誉好的足球投注网站引擎能够识别并处理各种 不同格式的文档，譬如，Google 已经可以支持13种非 Html格式的文档。 Nutch也需要对各种不同格式的网页进行处理。Nutch 在下载文档后，会自动对下载文档进行处理并最终形成 可供Lucene检索的倒排索引。对各种文档的预处理是 通过Nutch的plugins机制完成的，每一个plugins都有一 个属于自己的类加载器，这个class-loader在plugin启动 前将会被初始化，通过编辑conf/nutch-site.xml文件， 把相关的plugins的名字加入到plugins.includes的列表 中就可以使用了。可以查看conf/parse-plugins.xml文 件。Nutch与格式化文本解析有关的插件主要有： Nutch与格式化文本解析有关的插件 • 1、parse-html：使用HtmlParser来分析Nutch抓 取的HTML文件的组件。 • 2、parse-js：用来分析JavaScript 内容的插件。 • 3、parse-mp3：用来分析mp3格式文件的组件。 • 4、parse-msword：分析各种office文档的组件。 • 5、parse-pdf：分析PDF文档的组件。 • 6、parse-rss：读取并解析RSS格式文件的组件。 常见的解析工具包括： 1、PDFBox：用来解析Pdf文档，它提供和Lucene的接口 LucenePDFDocument，但不能处理中文。下载地址： /projects/pdfbox/。 2、XPDF ：用来解析Pdf文档，能处理中文，但不能和 Lucene无缝连接，需要自行处理。 3、POI：用来解析Excel和Word文档。 4 、JACOB ：是Java-COM Bridge 的缩写，使用Jacob 自 带的dll文件，通过JNI方式可以实现在Java平台上对 COM程序的调用，用于在Java与微软的COM组件间建 立联系。 5、JCOM ：是Java到COM的中间件，利用它可以从Java 中调用COM对象，就像调用Java对象一样不需要处理 JNI的本地接口。使用JCOM工具可以在Java 中控制几 乎所有的COM对象，而且它还带有一些用于Excel、 Word 的强大的辅助类，但这种模式需要本地DLL的支持 1 使用PDFBox解析PDF文档 PDFBOX是一个开源的Java Pdf库，允许访问PDF 文件中的各项信息，它提供了一组API 。 PDFBox提供了LucenePDFDocument类用于从PDF 文件中提取各种元数据Field并将其加入到Lucene 的Field中(如path、url、contents、summary 等)，其getDocument方法被重载为3个方法，分 别用于接收File对象、InputStream对象或者URL 对象作为参数，然后提取并生成Lucene的处理对 象，而这个处理对象可直接使用Lucene的 IndexWriter来将其加到Lucene的索引中。 使用PDFBOX的主要步骤 • 解压PDFBOX后进入其下面的external文件夹，复制下面几个 JAR包文件——bcmail-jdk14-132.jar 、bcprov-jdk14-132.jar、 checkstyle-all-4.2.jar、fontbox-0.1.0-dev.jar ，到对应工程的lib 目录下（如果还没有建立lib文件夹，需手工建立）。如果使用的 Lucene不是2.0版本，请将这个PDFBOX下的external文件夹下 的lucene-core-2.0.0.jar复制到这个lib文件夹中，并在工程的构建 路径中使用这个版本的Lucene。 • 从PDFBOX的lib 目录下