首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 网站开发 > asp.net >

网上全是蜘蛛在爬,统计人数完全是假的,怎么处理

2012-01-13 
网上全是蜘蛛在爬,统计人数完全是假的,怎么办?昨天晚上把统计用户IP的代码添加进去之后发现,访问我的网站

网上全是蜘蛛在爬,统计人数完全是假的,怎么办?
昨天晚上把统计用户IP的代码添加进去之后发现,访问我的网站的全是搜索蜘蛛,真是郁闷死了。

以前看见那么多人在线,还高兴了一把。现在发现,全是蜘蛛,又很失落。怎么办?大家的网站是什么情况呢?

[解决办法]
确实没有简便有效的识别方法,可参考下列方法:
在 Session_Start 事件中记录最后一次访问者的 IP 地址
少于规定时间(10秒)同一 IP 地址的新 Session 可认为是蜘蛛引起的
[解决办法]
检查 User-agent 标志就可以风化爬虫和正常的浏览器啊。
[解决办法]
同上.

一般蜘蛛有专门的 Agent
[解决办法]
Request.UserAgent.ToString();
用这个方法来获得访问网站的“浏览器”信息,这里的“浏览器”就包括蜘蛛.
你可以把这些信息都记录下来,多了就可以找到规律了.

一般 Mozilla/4.0开头的是正常的浏览者,不过baidu 是特例.

baidu: Baiduspider+(+http://www.baidu.com/search/spider.htm)
yahoo: Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)
gmail: OutfoxBot/0.5 (for internet experiments; http://; outfoxbot@gmail.com)
iask: Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)
sogou: sogou spider
Gais: Gaisbot/3.0+(robot06@gais.cs.ccu.edu.tw;+http://gais.cs.ccu.edu.tw/robot.php)
MSN: msnbot-media/1.0 (+http://search.msn.com/msnbot.htm)
东方网景:lanshanbot/1.0


http://topic.csdn.net/T/20061012/11/5077109.html
以前发的帖子,看来csdn的搜索还是不太好用呀.

热点排行