首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 其他教程 > 开源软件 >

【Lucene】构建目录

2012-06-29 
【Lucene】构建索引?Lucene索引的过程是什么?step1 收集待索引的原文档从数据库、web等获取原文档。?step2 将

【Lucene】构建索引

【Lucene】构建目录
?Lucene索引的过程是什么?

step1 收集待索引的原文档

从数据库、web等获取原文档。

?

step2 将原文档交给分词组件(Tokenizer)

此过程叫做Tokenize,得到的结果称为Token。

?

会做如下几件事:

1.将文档分成一个个独立的单词

2.去除标点

3.去除停词(stopword)

?

step3 将得到的Token交给语言处理组件(Linguistic Processor)

此过程处理的结果是Term。

?

会做如下几件事:

1.转为小写

2.将单词缩减为词根,如cars-->car

3.将单词转变为词根,如drove-->drive

?

step4 将得到的Term交给索引组件(Indexer)

?

会做如下几件事:

1.将得到的Term创建字典

2.对字典按字母排序

3.合并相同的Term为倒排文档链表

?

倒排索引

?

Norms

norms的范畴用于将加权因子写入索引。(关于文档和域加权操作见http://nemogu.iteye.com/admin/blogs/1452831)

搜索时,被搜索域的norms都被加载到内存中,用于relevance score。

?

?

热点排行