robots协议在网站建设中起到了什么作用？

robots协议在网站建设中起到了什么作用？

Robots协议也称为爬虫协议、机器人协议等，全称是“网络爬虫排除标准”（Robots Exclusion Protocol）。网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，这跟搜索引擎收录不收录你的网站有关系。

现在几乎所有的搜索引擎蜘蛛程序都能够识别robots协议，我们要对自己网站做一个robots协议，一方面是禁止蜘蛛抓取网站的个人隐私，或者网站敏感目录等。在没有经历网站被黑之前一般人不会感觉到robots协议的重要，其实很多时候黑客攻击一个网站都是从搜索引擎入手的，比如你的网站管理路径是/admin/而且你没有在robots协议中注明禁止蜘蛛抓取的话，那么蜘蛛很有可能就会通过爬行抓取到你的网站管理后台地址，这样搜索引擎就会收录你网站管理地址中对应的链接。如果你的网站存在漏洞，那么黑客就会借助搜索引擎搜索你的后台路径中可能存在漏洞的页面，这也很容易暴露你网站后台管理权限。

robots协议在网站建设中起到了什么作用？

我们做网站优化时写一个robots协议文件，在协议中注明网站地图索引文件的绝对路径可以直接通知蜘蛛按照我们编排的索引去抓取网站内容，可能实现更好的网站内容收录。