首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 其他教程 > 互联网 >

利用网站日记分析百度蜘蛛爬行规律

2012-07-28 
利用网站日志分析百度蜘蛛爬行规律通过网站日志分析工具Splunk 检索 BaiduSpider对网页的请求次数,得出百

利用网站日志分析百度蜘蛛爬行规律

   通过网站日志分析工具Splunk 检索 BaiduSpider对网页的请求次数,得出百度蜘蛛的规律。

   1,百度蜘蛛对网站资料的爬行检索是一个持续的过程。在网站运行的每个区间都存在。(也有本站访问人数相对较多的关系)

   2,网传百度蜘蛛喜欢夜间活动,从7月11日图表来看并不明显,但从7-12日图表来看。在凌晨1点到8点的区间段的确要略高一点。

图表如下。

2012-7-11日百度蜘蛛的请求次数(每格代表半小时)

利用网站日记分析百度蜘蛛爬行规律

2012-7-12日百度蜘蛛的请求次数(每格代表半小时)利用网站日记分析百度蜘蛛爬行规律

热点排行