Heritrix使用中出现You must set the User-Agent错误处理
如果配置一个任务后,启动控制台窗口中出现异常
+0000 严重 org.archive.crawler.framework.CrawlController initialize On crawl: Dev You must set the User-Agent and From HTTP header values to acceptable strings. User-Agent: [software-name](+[info-url])[misc]From: [email-address]org.archive.crawler.framework.exceptions.FatalConfigurationException: unacceptable user-agent or from (Reedit your order file).
?
这是因为设置的这两个参数不正确或者没有设置。
user-agent主要是指运行Heritrix的用户的配置,即使用者的机器配置。
?
首先是浏览器的选择,比如IE/7.0;其中 @VERSION@是指使用Heritrix的版本号,这里应该是1.14.1;
?
最后面的PROJECT_URL_HERE是指本机地址,比如
http://192.168.1.99
?
from是指一个Email联系方式,可以输入一个Email地址,例如
lin.net@163.com。