Robots.txt 是包括防止合作网络 spiders 和其它网络 robots 访问一个网络全部或部分信息的文件。robots.txt 文件应该被放在网站目录的顶层。参看拒绝 Robots 访问标准。