拒绝 Robots 访问标准（Robots Exclusion Standard），也叫做 robots.txt 协议，是防止防止合作网络 spiders 和其它网络 robots 访问一个网络全部或部分信息的文件的一个协定。这个信息指定了不应该被访问指定在文档中的部分叫做在这个网站顶层的目录中的 robots.txt 。robots.txt 协议由舆论在 1994 年 6 月由 robots 邮件列表（robots-request@nexor.co.uk）的成员创建，没有官方的规范可用。