首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 网站开发 > PHP >

大侠何在,采集数据被封ip该怎么处理

2012-03-27 
大侠何在,采集数据被封ip该怎么办,大侠何在,采集数据被封ip该怎么办,如何判断出网站都用了哪些仿采集的程

大侠何在,采集数据被封ip该怎么办,
大侠何在,采集数据被封ip该怎么办,如何判断出网站都用了哪些仿采集的程序啊,我们又改如何避让开这些仿采集程序啊

[解决办法]

没办法,你可以装做客户投诉他们,
[解决办法]
sleep() 你不要太暴力采集 我们现在采集 都是一秒采集一次 否则对大家都不好是不是 你一下子并发那么高 大家都不好 ,慢慢来 他不会封的。
[解决办法]
这个...除了你换IP,找代理服务器,伪造IP,没其他啥好方法...
人家看到你的IP频繁访问,直接iptables屏掉你的IP都是很简单的...
[解决办法]
封就疯了吧!人家辛辛苦苦地正的那些资料,凭什么给你呀
[解决办法]
疯吧,既然知道封ip,那就用别的服务器采集呗
降低频率,悠着点
[解决办法]
sleep(60)?要是我我也封你ip

我采集都是隔几分钟才一篇
[解决办法]
隔几分钟一篇,这样采集速度会很慢的吧?
不过好像也没有办法吧,毕竟是人家的东西
[解决办法]
用CURL可以假冒IP的吧
$headers['CLIENT-IP'] = $headers['X-FORWARDED-FOR'] = '192.168.1.1'; //用请求地址的IP
$headerArr = array();
foreach( $headers as $n => $v ) {
$headerArr[] = $n .':' . $v;
}
$refer = $_SERVER["HTTP_REFERER"]

curl_setopt($ch, CURLOPT_HTTPHEADER , $headerArr); //构造IP

热点排行