使用solr搭建你的全文检索
使用solr搭建你的全文检索
Solr 是一个可供企业使用的、基于 Lucene 的开箱即用的搜索服务器。对Lucene不熟?那么建议先看看下面两篇文档:
实战Lucene,第 1 部分: 初识 Lucene:http://www.ibm.com/developerworks/cn/java/j-lo-lucene1/
用Lucene加速Web搜索应用程序的开发:http://www.ibm.com/developerworks/cn/web/wa-lucene2/
一、 solr介绍
solr是基于Lucene Java搜索库的企业级全文搜索引擎,目前是apache的一个项目。它的官方网址在http://lucene.apache.org/solr/ 。solr需要运行在一个servlet 容器里,例如tomcat5.5。solr在lucene的上层提供了一个基于HTTP/XML的Web Services,我们的应用需要通过这个服务与solr进行交互。
二、 solr安装和配置
关于solr的安装和配置,这里也有两篇非常好的文档,作者同时也是 Lucene Java 项目的提交人和发言人:
使用Apache Solr实现更加灵巧的搜索:http://www.ibm.com/developerworks/cn/java/j-solr1/index.html
http://www.ibm.com/developerworks/cn/java/j-solr2/index.html
下面主要说说需要注意的地方。
Solr的安装非常简单,下载solr的zip包后解压缩将dist目录下的war文件改名为solr.war直接复制到tomcat5.5的webapps目录即可。注意一定要设置solr的主位置。有三种方法。我采用的是在tomcat里配置java:comp/env/solr/home的一个JNDI指向solr的主目录(example目录下),建立/tomcat55/conf/Catalina/localhost/solr.xml文件。
<Context docBase="D:/solr.war" debug="0" crossContext="true" > <Environment name="solr/home" type="java.lang.String" value="D:/solr/solr" override="true" /></Context>
/** * Created by IntelliJ IDEA. * User: ronghao * Date: 2007-11-3 * Time: 14:40:59 * 中文切词 对庖丁切词的封装 */public class ChineseTokenizerFactory extends BaseTokenizerFactory { /** * 最多切分 默认模式 */ public static final String MOST_WORDS_MODE = "most-words"; /** * 按最大切分 */ public static final String MAX_WORD_LENGTH_MODE = "max-word-length"; private String mode = null; public void setMode(String mode) { if (mode==null||MOST_WORDS_MODE.equalsIgnoreCase(mode) || "default".equalsIgnoreCase(mode)) { this.mode=MOST_WORDS_MODE; } else if (MAX_WORD_LENGTH_MODE.equalsIgnoreCase(mode)) { this.mode=MAX_WORD_LENGTH_MODE; } else { throw new IllegalArgumentException("不合法的分析器Mode参数设置:" + mode); } } @Override public void init(Map<String, String> args) { super.init(args); setMode(args.get("mode")); } public TokenStream create(Reader input) { return new PaodingTokenizer(input, PaodingMaker.make(), createTokenCollector()); } private TokenCollector createTokenCollector() { if( MOST_WORDS_MODE.equals(mode)) return new MostWordsTokenCollector(); if( MAX_WORD_LENGTH_MODE.equals(mode)) return new MaxWordLengthTokenCollector(); throw new Error("never happened"); }}
<fieldtype name="text" positionIncrementGap="100"> <analyzer type="index"> <tokenizer mode="most-words"/> <filter ignoreCase="true" words="stopwords.txt"/> <filter generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0"/> <filter mode="most-words"/> <filter synonyms="synonyms.txt" ignoreCase="true" expand="true"/> <filter ignoreCase="true" words="stopwords.txt"/> <filter generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0"/> <filter name="code"><Connector port="8080" maxHttpHeaderSize="8192" URIEncoding="UTF-8" …/>
String[] array = StringUtils.split(query, null, 0); for (String str : array) { result = result + URLEncoder.encode(str, "UTF-8") + "+"; }