在UBUNTU安装NUTCH(十个简单的步骤)
下面十个步骤能安装Nutch, 并且能爬行你的网站， 创建你自己网站的Web DB。
如果你有任何问题， 请给我邮件：mail.swapnilk@gmail.com
步骤 1:
从这里下载最新的程序：
http://www.apache.org/dyn/closer.cgi/nutch/
步骤? 2:
创建文件夹：
sudo mkdir /usr/local/nutchsudo mkdir /usr/local/nutch/frameworksudo mkdir /usr/local/nutch/dist
步骤??3:
拷贝程序到下面这个目录：
sudo cp apache-nutch-1.4-bin.tar.gz /usr/local/nutch/dist/
步骤?4:
解压
sudo tar -xvzf apache-nutch-1.4-bin.tar.gz -C /usr/local/nutch/framework/
步骤??5:
修改权限， 使其可以执行
sudo chmod +x /usr/local/nutch/framework/apache-nutch-1.4-bin/runtime/local/bin/nutch
步骤??6:
创建种子文件
sudo mkdir -p /usr/local/nutch/framework/apache-nutch-1.4-bin/runtime/local/bin/urlssudo gedit /usr/local/nutch/framework/apache-nutch-1.4-bin/runtime/local/bin/urls/nutch
加入下面这行到
nutch.txt
http://www.inkebook.com/
步骤??7:
编辑文件加入 Agent
sudo gedit /usr/local/nutch/framework/apache-nutch-1.4-bin/runtime/local/conf/nutch-site.xml
加入下面这个配置
http.agent.nameMy Spider
步骤 8:
编辑正则表达式文件
sudo gedit /usr/local/nutch/framework/apache-nutch-1.4-bin/runtime/local/conf/regex-urlfilter.txt
替换
# accept anything else
+.
成这样
# accept anything else#+.
然后再加入这行
+^http://([a-z0-9]*\.)* www.inkebook.com/
步骤??9:
设置 JDK 及设置环境变量 JAVA_HOME
sudo add-apt-repository ppa:ferramroberto/javasudo apt-get updatesudo apt-get install sun-java6-jdksudo apt-get install sun-java6-jdk sun-java6-jre sun-java6-plugin sun-java6-fontsexport JAVA_HOME=/usr
步骤??10:
开始爬行网站!
/usr/local/nutch/framework/apache-nutch-1.4-bin/runtime/local/bin/nutch crawl urls -dir crawl -depth 10 -topN 1000
?
