应用Lucene进行全文检索(二)-得到有效的内容(转载)

使用Lucene进行全文检索(二)---得到有效的内容(转载)

转载：http://www.jscud.com/srun/news/viewhtml/3_2005_8/77.htm

?

在使用lucene对相关内容进行索引时,会遇到各种格式的内容,例如html,pdf,word等等,那么我们如何从这么文档中得到我们需要的内容哪?例如html的内容,一般我们不需要对html标签建立索引,因为那不是我们需要搜索的内容.这个时候,我们就需要从html内容中解析出我们所需要的内容.对于pdf,word文档,也是类似的要求.
?
? 总之,我们只需要从内容中提取出我们需要的文本来建立索引,这样用户就能搜索到需要的内容,然后访问对应的资源即可.

? lucene本身带的例子中有一个解析html的代码,不过不是纯java的,所以在网上我又找到了另外一个html解析器,网址如下:http://htmlparser.sourceforge.net.
?
? 对pdf解析的相关项目有很多,例如pdfbox.在pdfbox里面提出pdf的文本内容只需要一句话即可:??
??
???

??????? }

??????? searchhtmlpage result = new searchhtmlpage(title, body);

??????? return result;
??? }

??? /**
???? * 解析html内容,得到普通文本和链接的内容.
???? *
???? * @param content 要解析的内容
???? * @return 返回解析后的内容
???? */
??? public static string parsehtmlcontent(string content)
??? {
??????? parser myparser;
??????? nodelist nodelist = null;

??????? myparser = parser.createparser(content, "gbk");

??????? nodefilter textfilter = new nodeclassfilter(textnode.class);
??????? nodefilter linkfilter = new nodeclassfilter(linktag.class);

??????? //暂时不处理 meta
??????? //nodefilter metafilter = new nodeclassfilter(metatag.class);

??????? orfilter lastfilter = new orfilter();
??????? lastfilter.setpredicates(new nodefilter[] { textfilter, linkfilter });

??????? try
??????? {
??????????? nodelist = myparser.parse(lastfilter);
??????? }
??????? catch (parserexception e)
??????? {
??????????? logman.warn("parse content error", e);
??????? }

??????? //中场退出了
??????? if (null == nodelist)
??????? {
??????????? return "";
??????? }

??????? node[] nodes = nodelist.tonodearray();

??????? string result = combinenodetext(nodes);
??????? return result;
??? }

?//合并节点的有效内容
??? private static string combinenodetext(node[] nodes)
??? {
??????? stringbuffer result = new stringbuffer();

??????? for (int i = 0; i < nodes.length; i++)
??????? {
??????????? node anode = (node) nodes[i];

??????????? string line = "";
??????????? if (anode instanceof textnode)
??????????? {
??????????????? textnode textnode = (textnode) anode;
??????????????? //line = textnode.toplaintextstring().trim();
??????????????? line = textnode.gettext();
??????????? }
??????????? else if (anode instanceof linktag)
??????????? {
??????????????? linktag linknode = (linktag) anode;

??????????????? line = linknode.getlink();
??????????????? //过滤jsp标签
??????????????? line = stringfunc.replace(line, "", "");
??????????? }

??????????? if (stringfunc.istrimempty(line)) continue;

??????????? result.append(" ").append(line);
??????? }

??????? return result.tostring();
??? }

??
? 其中searchhtmlpage类是表示一个html页面的模型,包含标题和内容,代码如下:
??
?package com.jscud.www.support.search;
?
?/**
? * 搜索时解析html后返回的页面模型.
? *
? * @author scud(飞云小侠) http://www.jscud.com
? *?
? */
?public class searchhtmlpage
?{
???? /**标题*/
???? private string title;
?
???? /**内容*/
???? private string body;
????
???? public searchhtmlpage(string title, string body)
???? {
???????? this.title = title;
???????? this.body = body;
???? }
????
???? public string getbody()
???? {
???????? return body;
???? }
?
???? public void setbody(string body)
???? {
???????? this.body = body;
???? }
?
???? public string gettitle()
???? {
???????? return title;
???? }
?
???? public void settitle(string title)
???? {
???????? this.title = title;
???? }
?}
?

?
? 当然,使用htmlparser解析html资源还有很多其他的方法,可以设置很多的条件来满足用户的解析要求,用户可以阅读其他的文章或者htmlparser的文档来了解,在此不多介绍.
?
? 下一节讲解如何进行搜索.

查看更多 下一篇