robots.txt 设置问题
例如在robots.text设置如下：
User-agent: *
Allow: /new/
Allow: /channel/
Allow: /default.jsp
Allow: /list/
Disallow: /old/
网站根还有几个目录。
如：
/bbs/
/time/
/site/
那这三个目录会被百度，google收录访问么？
还有跟目录下的网页会被收录访问么？ robots.txt
[解决办法]
你只Disallow: /old/了old目录，没有Disallow的应该都可以访问到，
robots.txt的规则可以看
http://baike.baidu.com/view/9274458.htm
http://www.baidu.com/search/robots.html
