robots.txt 文件的用途
我们经常在 Google 网站管理员工具，或者在 My applications 的 log 文件里看到 robots.txt 这个名字。这个文件到底有什么用呢？
?
从名字上看，似乎跟搜索引擎的爬虫有过，是的，你猜对了。这个文件就是给爬虫们看的。
?
看看 Google 的官方说明：“只有当您的网站中包含您不想让搜索引擎编入索引的内容时，才需要使用 robots.txt 文件。如果您希望搜索引擎将网站上的所有内容编入索引，则不需要 robots.txt 文件（甚至连空的 robots.txt 文件也不需要）”。（引用自：http://www.google.com/support/webmasters/bin/answer.py?hl=cn&answer=156449）
?
所 以，当你没有什么页面需要隐藏的时候，这个文件其实可有可无。但是，当爬虫扫描 robots.txt 文件时，如果你网站的根目录下没有的这个文件的时候，通常要报一个 HTTP 404 的错误，这样 log 信息有点不好看（追求完美的爷们怎么能允许一丁点错误出现在日志文件中呢），所以随手加上一个吧。
?
内容很简单，就是：
?
User-agent: *Allow: /?
简单吧 ：-）
