首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 网络技术 > 网络基础 >

paip.论全文检索实现模式lucene Sphinx solr以及比较

2013-10-23 
paip.论全文检索实现方式luceneSphinxsolr以及比较paip.论全文检索实现方式luceneSphinxsolr以及比较 1.

paip.;论全文检索实现方式lucene Sphinx solr以及比较

paip.;论全文检索实现方式lucene  Sphinx  solr以及比较

 

1.   1lucene(solr,elasticsearch 都是基于它).....................................................................1

2.   Lucene缺点...............................................................................................................1

3.   ////////////////Sphinx,...................................................................................................2

3.1.      Sphinx 跟 RDBMS (特别是MYSQL) 绑定的特别紧密...........................2

3.1.      性能非常出色..............................................................................................2

3.2.      和数据库集成性很好...................................................................................2

3.3.      可以做MySQL的全文检索..........................................................................2

4.   Sphinx缺点...............................................................................................................4

5.   ElasticSearch..............................................................................................................4

6.   solr...........................................................................................................................4

7.   中文全文检索............................................................................................................5

8.   比较..........................................................................................................................5

9.   结论: lucene+sphinx协同使用。。来得到更好的搜索结果。......................................5

10.         参考:..................................................................................................................5

 

 

作者Attilax,  EMAIL:1466519819@qq.com 
来源:attilax的专栏
地址:http://blog.csdn.net/attilax

 

全文检索功能很多系统中都有用到,但我有个疑问:到底是用数据库中提供的全文检索功能,还是选用如 Lucene 之类的东西来实现?我主要想知道,这两种方式有什么区别?各自适用于什么样的场合?对中文的支持都怎么样?效率呢?请高人指点!

 

 

1.   1lucene(solr, elasticsearch都是基于它) 

检索时它对CPU和内存的需求很小, 建立索引时却不小,不过估计你每天重建索引的次数也不多,所以估计问题不大。

 

 

2.   Lucene缺点

性能较差

使用Lucene有一定的挑战性。想要用好它的话,你需要时刻留心很多东西。而且它只是一个jar包,不支持分布式。

4。incrementalfetch。lucene不支持从中间取索引。例如:用户取第十页,lucene需要把前面所有的内容都要检索出,然后所有的排序,过滤掉前面的然后返回。虽然说,这个从用户行为来说(因为大多数用户还是看前面的,不会跳着来),不是什么大问题。但是,这个毕竟可以解决。

3.    ////////////////Sphinx,

一个能够被各种语言(PHP/Python/Ruby/etc)方便调用的全文检索系统

一般而言,Sphinx是一个独立的搜索引擎,意图为其他应用提供高速、低空间占用、高结果相关度的全文搜索功能。Sphinx可以非常容易的与SQL数据库和脚本语言集成。

 

Sphinx是一个俄国人开发的搜索引擎,

3.1.  Sphinx 跟 RDBMS (特别是MYSQL) 绑定的特别紧密3.1.  性能非常出色

150万条记录一两分钟就索引完毕,2-4GB以内的文本检索速度不到0.1秒钟。ferret也望尘莫及,更不要说lucene了

 

3.2.  和数据库集成性很好

Sphinx通过配置文件可以自行读取数据库信息做索引,不依赖任何外部的应用程序,并且可以作为一个daemon进程启动,支持分布式检索,并发响应性能很好。因此很多过去使用ferret的人因为并发检索的问题都改用Sphinx了。

 

3.3.  可以做MySQL的全文检索 

MySQL的数据库引擎是可插拔的结构,Sphinx开发了一个SphinxSE数据库引擎,可以在编译MySQL的时候直接编译到MySQL里面去,这样的话,可以在数据库级别支持高性能的全文检索,那么你可以以如下SQL方式去全文检索了: 

select * from xxxxwhere query='test;sort=attr_asc:group_id' AND ....; 

很棒吧

 

当前系统内置MySQL和PostgreSQL 数据库数据源的支持,也支持从标准输入读取特定格式的XML数据。通过修改源代码,用户可以自行增加新的数据源(例如:其他类型的DBMS的原生支持)。支持原生的mysql数据源,也支持xml数据。

 

搜索API支持PHP、Python、Perl、Rudy和Java,并且也可以用作MySQL存储引擎。搜索API非常简单,可以在若干个小时之内移植到新的语言上。

 

Sphinx建索引速度是最快的,比Lucene快9倍以上。因此,Sphinx非常适合做准实时搜索引擎。

. sphinx用c++编写,调用native api,s

Sphinx支持高速建立索引(可达10MB/秒,而Lucene建立索引的速度是1.8MB/秒)

高性能搜索(在2-4 GB的文本上搜索,平均0.1秒内获得结果)

高扩展性(实测最高可对100GB的文本建立索引,单一索引可包含1亿条记录)

支持分布式检索

支持基于短语和基于统计的复合结果排序机制

支持任意数量的文件字段(数值属性或全文检索属性)

支持不同的搜索模式(“完全匹配”,“短语匹配”和“任一匹配”)

支持作为Mysql的存储引擎(可以只改变sql就能实现全文搜索)

coreseek就是基于sphinx的实现

 

对于中文搜索,国内有coreseek和sphinx-for-chinese两个版本,内部使用了mmseg这个分词器。用户可以自定义分词库。

 

sphinx-for-chinese是一款专门为中文优化的全文搜索软件,在sphinx的基础上添加了中文分词模块,极大的提高了中文搜索的性能和效果

 

 

·        高速的建立索引(在当代CPU上,峰值性能可达到10MB/秒);

·        高性能的搜索(在2–4GB的文本数据上,平均每次检索响应时间小于0.1秒);

·        可处理海量数据(目前已知可以处理超过100GB的文本数据,在单一CPU的系统上可处理100M文档);

·        提供了优秀的相关度算法,基于短语相似度和统计(BM25)的复合Ranking方法;

·        支持分布式搜索;

·        提供文件的摘录生成;

·        可作为MySQL的存储引擎提供搜索服务;

·        支持布尔、短语、词语相似度等多种检索模式;

·        文档支持多个全文检索字段(最大不超过32个);

·        文档支持多个额外的属性信息(例如:分组信息,时间戳等);

·        停止词查询;

·        支持单一字节编码和UTF-8编码;

·        原生的MySQL支持(同时支持MyISAM和InnoDB);

·        原生的PostgreSQL支持.

 

 

扩展性: 我对它了解的不多。但是很容易把一份索引COPY到多个服务器上,然后再跑多个搜索进程。  从其他人那里了解的情况是:在高压高并发下,单极表现就足够好了!所以没必要考虑把它做成分布式。。

 

4.   Sphinx缺点

有一点比较重要: sphinx不支持 live index update. 支持的话也非常有限。

2. sphinx的索引是几乎静态的,(不能动态添加,删除新item),solr是动态索引,可以实时修改添加.要做到这点,需要加锁, 这是"慢"的最根本的原因

 

5.  ////////////ElasticSearch

分布式Lucene解决方案的核心是:  数据库需要水平分区的。(sharded, 词条见:shard  )  同时,还要使用 HTTP 和JSON 的形式来做为API。这样的优势是:不论什么语言,都可以轻易的调用它。 


这就是我建立ElasticSearch的原因。  它用有先进的分布式模型, 本地语言是JSON, 还提供了很多查询特性。 这些都使用JSON形式的DSL来访问。 

Solr 也是一个通过HTTP访问的检索/查询解决方案,但是我觉得ElasticSearch 提供了更好的分布式模型,也更容易使用(尽管目前看来, ElasticSearch还缺少某些检索特性,但是在不远的将来,我保证,会把Compass所有的特性都移植到ElasticSearch中去) 

当然了,除了更好的分布式模型,ElasticSearch 还提供了很多其他的特性。 因为它的诞生就是基于 分布式的理念(built with cloud in mind),你可以试一下 站点中的特性里面所列举的特性。

 

6.   solr

支持分布式。 Solr 是基于Lucene 的

Solr 可以检索 WORD, PDF。 Sphinx不行 

Sphinx中,所有的document id 必须是 unique , unsigned, non-zero 整数(估计是用C语言的名词来解释)。Solr的很多操作,甚至不需要unique key。 而且unique key 可以是整数,也可以是字符串。

Solr 支持fieldcollapsing 来避免相似搜索结果的重复性。 Sphinx没这个功能。 

Sphinx只是查询documentid, 而solr则可以查询出整个的document. 

7.  //////////////中文全文检索

不支持中文全文检索,但是支持英文全文检索,可以将“中文全文检索”转变为“英文全文检索”,然后再变回“中文全文检索”。那么中文又如何转换成英文呢?思路可以是:中文全文检索→拼音全文检索→中文全文检索。所以转换的思路如图1所示。

中文字词存在同音现象,重码问题要解决。

 

 

8.  /////////////////比较

没有人推荐solr吗?基于lucence的企业级搜索,虽然也是java,但提高xml,json等http服务,php操作也很方便的。

lucene功能强大,和消息队列结合会很好,唯一的缺点就是索引难维护,特别是多个索引的情况下。

sphinx不需要太注重索引维护,但是它的缺点就是不太能实时的更新索引,支持的功能没有LUCENE强大,但是足够一个中小型网站使用。

sphinx相比lucence,配置简单,易用,功能没有lucencename完善和强大。

sphinx虽然简陋,但性能好几倍

lucene可以实时增删索引,而sphinx只能通过定时任务实现,我不知道现在新版的实现没。反正这个是硬伤,速度再快也决定了它与实时性要求较高的web应用相去甚远

大型网站除非有自己的搜索研发团队,否则不会使用sphinx,sphinx的扩展性很差,分词就是一难题,要么使用sphxin_for_chinese,但是这个玩意N年不更新了

 

 

9.   结论: lucene+sphinx协同使用。。来得到更好的搜索结果。10.         参考:

 让MySQL支持中文全文检索 - 独家评论 - 中国软件网-中国企业级选型门户.htm

Sphinx(狮身人面)比lucene还牛的搜索引擎 - minothing的专栏 - 博客频道 - CSDN.NET.htm

 

[原创]使用postgreSQL+bamboo搭建比lucene方便N倍的全文搜索第二部分

主流全文索引工具的比较( Lucene, Sphinx, solr, elastic search) - sg552 - ITeye技术网站.htm

lucene缺点汇总_inJava_百度空间.htm

【转】Sphinx在windows下安装使用[支持中文全文检索] - 真爱无悔 - 博客园.htm

(Lucene讲的详细,ati注)全文检索系统与Lucene简介 - 水上漂的专栏 - 博客频道 - CSDN.NET.htm

热点排行