php代码禁止搜索引擎蜘蛛解决方案
php代码禁止搜索引擎蜘蛛其实robots.txt也不是百分之百的可以阻止蜘蛛爬行你的网站,我自己结合某些资料写
php代码禁止搜索引擎蜘蛛
其实robots.txt也不是百分之百的可以阻止蜘蛛爬行你的网站,我自己结合某些资料写了一小段代码,貌似可以彻底解决这个问题,不对的地方请大家多多指教:
PHP codeif(preg_match("/(Googlebot|Msnbot|YodaoBot|Sosospider|baiduspider|google|baidu|yahoo|sogou|bing|coodir|soso|youdao|zhongsou|slurp|ia_archiver|scooter|spider|webcrawler|OutfoxBot)/i", $_SERVER['HTTP_USER_AGENT'])){ header('HTTP/1.1 403 Forbidden'); exit;}
[解决办法]LZ的思路我懂了 但是每个文件都包含这段文字还是主页包含就好了?
[解决办法]这招绝
[解决办法]领教了,灭绝师太
[解决办法]不错!!!
不过为什么要阻止那?蜘蛛们多爬行不是更利于搜索引擎收录你的站点,更利于推广?
[解决办法][解决办法][解决办法]这种方式能阻止的都是“友好的蜘蛛”,当然也许这些“友好的蜘蛛”并没有完全尊重 robots.txt 的指示,但它至少告诉了你“我是××蜘蛛”。
如果是不友好的蜘蛛,这种判断也就失效了。