今天来用一个例子来详细讲解下nutch当中到底是如何自定义插件的
接上面一篇，今天来用一个例子来详细讲解下nutch当中到底是如何自定义插件的。
1.首先在src/plugin/，新建一个文件夹，这个文件夹我们姑且就叫(urlfilter-urllength),从名字就可以看出我们这个自定义的插件的作用是什么了。
?? 1.我们这个类实现了URLFilter.当然要实现其没有实现的方法了。public class UrlLengthFilter implements URLFilter。
?? 2.下面贴出详细的源码看下：
?? public class UrlLengthFilter implements URLFilter{
??? private static final Log LOG = LogFactory.getLog(UrlLengthFilter.class);
??? private Configuration conf;
??? @Override
??? public String filter(String inUrl) {
??? ??? LOG.info("begin UrlLengthFilter is .....");
??? ??? String urlFilter = "";
??? ??? if (inUrl == null || inUrl == "") return urlFilter;
??? ??? String url = inUrl.toLowerCase();
??? ??? // from first character after 'http://' or first character
??? ??? int start = url.indexOf("http://");
??? ??? start = start < 0 ? (url.indexOf("https://") == 0 ? 8 : 0) : 7;
??? ??? url = url.substring(start);
??? ??? int end = url.indexOf("/");
??? ??? end = end < 0 ? url.length() : end;
??? ??? // return the first character to the first or end
??? ??? urlFilter = url.substring(0, end);
??? ??? LOG.info("urlFilter is " + urlFilter);
??? ??? return urlFilter;
??? }
??? @Override
??? public Configuration getConf() {
??? ??? return conf;
??? }
??? @Override
??? public void setConf(Configuration conf) {
??? ??? this.conf = conf;
??? }
?? }???
2.当然要有plugin.xml这个.xml的作用就不用说了不吧！很明显就是加载我们所写的类（实现某一个功能）。代码还是贴出来分析下：
<?xml version="1.0" encoding="UTF-8"?>
<plugin
?? id="urlfilter-urllength"
?? name="Suffix URL Filter"
?? version="1.0.0"
?? provider-name="xp.com">
?? <requires>
????? <import plugin="nutch-extensionpoints"/>
?? </requires>
?? <extension id="com.xp.se.test.urllength"
????????????? name="Nutch URL Length Filter"
????????????? point="org.apache.nutch.net.URLFilter">
????? <implementation id="UrlLengthFilter" class="com.xp.se.urllength.UrlLengthFilter"/>
?? </extension>
</plugin>
分析：
??? a、第一句就知道吧，xml声明的编码格式和所使用的版本。
??? b、id : 这个插件的id。
?????? name : 插件的的作用是什么。
????? version : 插件的版本。
????? provider-name : 是谁提供的(源)。
??? c、nutch-extensionpoints ： 这里面是ntuch自带的几个插件。我们在这里是把它现引进来。
??? d、extension : 扩展，顾名思义就是说：把我们自己写好的插件交给nutch来用。相信读过nutch源码的都很清楚还有一个extension-point.它们之间有什么关系。不过不知道也没关系，跟着来做就行了。回头从网上google下就可以明白的。
??? e、id : 是所定义一个名称
????? name: 这个扩展的作用是什么。功能是什么。看了这个后可以一目了然啊。
????? point : 是从nutch那个扩展点集成的。这个point是要和nutch-extensionpoints/plugin.xml中的某个id相一致的。
????? implementation : 我们自己写的类。
3.通常还有一个build.xml.这个是用来编译的。
4.在nutch-site中加上我们写的这个插件吧，跑下试试。
<property>
? <name>plugin.includes</name>
? <value>protocol-http|urlfilter-(regex|urllength)|parse-(text|html|js)|index-(basic|anchor)|query-(basic|site|url)|response-(json|xml)|summary-basic|scoring-opic|urlnormalizer-(pass|regex|basic)</value>
? <description>Regular expression naming plugin directory names to
? include.? Any plugin not matching this expression is excluded.
? In any case you need at least include the nutch-extensionpoints plugin. By
? default Nutch includes crawling just HTML and plain text via HTTP,
? and basic indexing and search plugins. In order to use HTTPS please enable
? protocol-httpclient, but be aware of possible intermittent problems with the
? underlying commons-httpclient library.
? </description>
</property>
细心的朋友已经发现我们在上面已经加上了。没有发现的话，再细致看下....
总结 ：
自己可以跟踪下。肯定进来。比如我们在url中写一个url : http://www.163.com/ 通过我们写的这个会变成 : www.163.com 。程序就会终止了。写这个目的是现理清这个nutch的插件的加载流程和学习如何
自定义一个自己的插件。我们可以写很多的plugin，都可以通过上面所讲的这种方法来实现。
