[转]nutch1.2断电或者断网后继续爬取的方式
最近用nutch抓取了几个g的数据，爬了两天了。中途要断电，网上找到别人的断点继续爬取的方式，解决了问题。
?
nutch抓取过程是分阶段的，每个阶段完成后都会写到文件中。
附nutch抓取的阶段： (injector) ->generator -> fetcher -> crawldb updater -> linkdb updater -> indexer ->deldup -> merger。
?
?
?
下面是从fetcher阶段之后，各个阶段的调用命令：
(假设crawl为抓取目录，crawl/segments存放每一轮抓取的结果，crawl/crawldb为crawldb的目录，crawl/linkdb存放所有的链接，crawl/segments/20091102091322是本轮generate产生的待抓取的网页)
fetch??? usage:
??????? bin/nutch fetch crawl/segments/20091102091322
updatedb usage:
??????? bin/nutch updatedb crawl/crawldb crawl/segments/20091102091322 -filter
updatelinkdb usage:
??????? bin/nutch invertlinks crawl/linkdb crawl/segments/20091102091322
index usage:
??????? bin/nutch index crawl/indexes crawl/crawldb crawl/linkdb crawl/segments/20091102091322
deldup usage:
??????? bin/nutch nearDedup crawl/indexes
merge usage:
??????? bin/nutch merge crawl/index_20091102091322 crawl/indexes
?
?
?
转自：http://www.hadoopor.com/thread-453-1-1.html
（求救！NUTCH中途爬行中断怎么继续未完成的任务！！！高人指点下）
?
?
?
补充：其实后来实践，并没有很好地解决问题。这种措施只能继续被中断的某个segment(比如本例子的20091102091322)的各个抓取步骤，紧接下来的别的segment并不能继续.大家可以实践并交流
