我去扒网页的时候为什么老是被封
用的java eclipse
扒的网页也就是前四五百行,找一些公开的信息,没有用蜘蛛
url 是www.xxxx.com/type/00001.html ~99999.html
整理成csv->xls
但是老是被封,一封就是20到40分钟
对方公司也就40 50 人
貌似对方的人不可能反应这么快,是不是有自动封堵的机制?
怎么能不被封堵?
[解决办法]
间隔时间长点访问
[解决办法]
太快了,防ddos机制,一般同IP每秒10次请求就够封的条件了吧。