采集大量信息时如何处理采集进程呢？谁能给个思路？谢谢..
现在已经解决的是可以批量提交内容页地址让它循环采集并写入数据库.
我的问题是如果一次性提交数百条内容页地址的话(采集完成时间起码要几分钟了)，不过它也是一次性执行完成。这样好像不太合理。
比如我把内容页地址放在一个数组中 url(),
for i=lbound(url) to ubound(url)
...采集内容并写入数据库..
next
我想实现的是每次采集完一篇。就刷新一次，然后取得下一个采集地址.继续...(而不是像上面那种情况从头采到尾的.)
这样的话应该如何处理？请各路大侠给个思路，谢谢！！！
[解决办法]
第一次，你可以获取所有的新闻列表，对吧，
把地址保存到一个match中，同时刷新一个num计数器，如num=0,num=1,,,,等，表明是第几条记录
