robots协议(robots协议作用)

robots协议是什么?

简单来说即：robots协议是一个君子协议，是网站所有者编写的，用来告诉搜索引擎该网站下的哪些内容可以爬取、收录，哪些内容不可以爬取和收录。

Robots简单来说就是搜索引擎和我们网站之间的一个协议，用于定义搜索引擎抓取和禁止的协议。

Robots是一个英文单词，对英语比较懂的朋友相信都知道，Robots的中文意思是机器人。

robots协议

1、Robots是一个英文单词，对英语比较懂的朋友相信都知道，Robots的中文意思是机器人。而我们通常提到的主要是Robots协议，这也是搜索引擎的国际默认公约。

2、浏览器需要遵守Robots协议。协议简单理解可以理解成大家共同遵守的一个标准，只要是网页浏览器肯定需要支持最常见的协议，一些不常用的就看各浏览器是否支持了。

3、Robots简单来说就是搜索引擎和我们网站之间的一个协议，用于定义搜索引擎抓取和禁止的协议。

浏览器需要遵守Robots协议吗

1、robots协议是通用共识，一般来说，大型的、有资质的搜索引擎都会遵守，robots协议是网站所有者不想要公开在网上的内容，是为了保障个人隐私，但是robots协议里规定的内容是可以获取的，只是大家默认遵守该协议，不获取协议内的内容。

2、Robots协议通常被称为是爬虫协议、机器人协议，主要是在搜素引擎中会见到，其本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容，而不是作为搜索引擎之间互相限制和不正当竞争的工具。

3、robots协议是一种存放于网站根目录下的ASCII编码的文本文件。用于对外宣誓主权，规定按照允许范畴访问网站，有效保护网站的隐私。