怎样便捷的查看任何网站的robots协议

怎样便捷的查看任何网站的robots协议

网上有很多关于查看网站的robots协议的方法，大部分都是通过工具来实现的，其实，查看所有网站的robots协议的方法，有一种是通用的，并且也非常实用。下面将讲解如何通过手动输入的方法来便捷高效的查看任何一个网站的robots.txt.

首先，打开电脑，找到百度游览器并打开，输入任何一个网站的网址。

接着，在输入后网站的网址后，按下回车，来到游览器上面的搜索框上。

然后，在该网址后面，输入“/robots.txt”,

同时，按下回车

最后，robots.txt的内容就会展示在搜索结果页面上了

此外，里面的语法需要讲解一下

user-agent：后面是蜘蛛的名称，表示一种代理的意思；

disallowed: 表示禁止，后面的内容蜘蛛禁止抓取；

allowed ：表示允许蜘蛛抓取后面文件的内容；