首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 网络技术 > 网络基础 >

自个儿动手写搜索引擎(常搜吧历程六#解析文档之PDF#)(Java、Lucene、hadoop)

2013-03-21 
自己动手写搜索引擎(常搜吧历程六#解析文档之PDF#)(Java、Lucene、hadoop)1、使用PDFBox处理PDF文档PDF全称Po

自己动手写搜索引擎(常搜吧历程六#解析文档之PDF#)(Java、Lucene、hadoop)
1、使用PDFBox处理PDF文档

PDF全称Portable Document Format,是Adobe公司开发的电子文件格式。这种文件格式与操作系统平台无关,可以在Windows、Unix或Mac OS等操作系统上通用。

PDF文件格式将文字、字型、格式、颜色及独立于设备和分辨率的图形图像等封装在一个文件中。如果要抽取其中的文本信息,需要根据它的文件格式来进行解析。幸好目前已经有不少工具能帮助我们做这些事情。
2、PDFBox的下载

最常见的一种PDF文本抽取工具就是PDFBox了,访问网址http://sourceforge.net/projects/pdfbox/,进入如图7-1所示的下载界面。读者可以在该网页下载其最新的版本。本书采用的是PDFBox-0.7.3版本。PDFBox是一个开源的Java PDF库,这个库允许你访问PDF文件的各项信息。在接下来的例子中,将演示如何使用PDFBox提供的API,从一个PDF文件中提取出文本信息。
3、在Eclipse中配置

以下是在Eclipse中创建工程,并建立解析PDF文件的工具类的过程。

(1)在Eclipse的workspace中创建一个普通的Java工程:ch7。

(2)把下载的PDFBox-0.7.3.zip解压。

(3)进入external目录下,可以看到,这里包括了PDFBox所有用到的外部包。复制下面的Jar包到工程ch7的lib目录下(如还未建立lib目录,则先创建一个)。

l bcmail-jdk14-132.jar

l bcprov-jdk14-132.jar

l checkstyle-all-4.2.jar

l FontBox-0.1.0-dev.jar

l lucene-core-2.0.0.jar

然后再从PDFBox的lib目录下,复制PDFBox-0.7.3.jar到工程的lib目录下。

(4)在工程上单击右键,在弹出的快捷菜单中选择“Build Path->Config Build Path->Add Jars”命令,把工程lib目录下面的包都加入工程的Build Path。


4、主要类介绍:

PDFTextStripper:核心提取组件,包含设置是否排序、抽取的起始页和结束页等方法。

PDDocument:内存中保存的PDFDocument对象,提供从文件系统和链接地址装入文件两种方式。

LucenePDFDocument:是主要用于和lucene集成的类,提供getDocument方法(也重载为接收url和本地文件两种方式),将PDF文件转化为lucene中的Document对象,并自动提取字段加入Document,可直接通过IndexWriter将其写入索引中。


5、使用PDFBox解析PDF内容


在刚刚创建的Eclipse工程中,创建一个ch7.pdfbox包,并创建一个PdfboxTest类。该类包含一个getText方法,用于从一个PDF中获取文本信息,其代码如下。
package com.qianyan.xpdf;import java.io.IOException;public class TestRuntime {public static void main(String[] args) throws IOException{XpdfParams xparam = new XpdfParams();xparam.setConvertor("D:\\program files (x86)\\xpdf\\bin64\\pdftotext.exe");xparam.setEncoding("-enc UTF-8");xparam.setSource("E:\\lucene.pdf");xparam.setTarget("E:\\lucene.txt");String cmd = xparam.getCMD();Runtime.getRuntime().exec(cmd);}}

解析PDF到此结束,下章我们来学习对HTML的解析 。

热点排行