robots协议：网站与搜索引擎的默契约定

robots协议， 顾名思义，是机器人遵循的规则。它规定了哪些页面能被蜘蛛抓取，哪些页面则得被屏蔽。这玩意儿协议像一张地图，引导蜘蛛在网站中穿行，寻找有值钱的内容。

User-agent: 指定协议针对的搜索引擎蜘蛛。Disallow: 指定不允许蜘蛛访问的路径。Allow: 指定允许蜘蛛访问的路径。

robots.txt文件：网站的导航指南

robots.txt文件是robots协议的具体实现，它通常放置在网站根目录下。当蜘蛛访问网站时会先说说读取这玩意儿文件，了解网站的抓取规则。

User-agent: *Disallow: /admin/Disallow: /login/Allow: /content/

这玩意儿示例中， 全部搜索引擎蜘蛛都不能访问/admin/和/login/目录，但能访问/content/目录。

robots协议的作用：优化SEO， 护着隐私

robots协议和robots.txt文件的作用是许多方面的：