robots协议在网站建设中起到了什么作用?

阅读:3949 2013-12-27 14:55:09

robots协议在网站建设中起到了什么作用?

Robots协议也称为爬虫协议、机器人协议等,全称是“网络爬虫排除标准”(Robots Exclusion Protocol)。网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,这跟搜索引擎收录不收录你的网站有关系。

现在几乎所有的搜索引擎蜘蛛程序都能够识别robots协议,我们要对自己网站做一个robots协议,一方面是禁止蜘蛛抓取网站的个人隐私,或者网站敏感目录等。在没有经历网站被黑之前一般人不会感觉到robots协议的重要,其实很多时候黑客攻击一个网站都是从搜索引擎入手的,比如你的网站管理路径是/admin/而且你没有在robots协议中注明禁止蜘蛛抓取的话,那么蜘蛛很有可能就会通过爬行抓取到你的网站管理后台地址,这样搜索引擎就会收录你网站管理地址中对应的链接。如果你的网站存在漏洞,那么黑客就会借助搜索引擎搜索你的后台路径中可能存在漏洞的页面,这也很容易暴露你网站后台管理权限。

robots协议在网站建设中起到了什么作用?

我们做网站优化时写一个robots协议文件,在协议中注明网站地图索引文件的绝对路径可以直接通知蜘蛛按照我们编排的索引去抓取网站内容,可能实现更好的网站内容收录。


 

以上就是关于“robots协议在网站建设中起到了什么作用?”的相关内容,如果您有官网建站商标注册专利申请版权服务等问题请咨询乐网在线客服或拨打电话咨询。

 

乐网企服商标注册流程及费用明码标价,不仅提供低价商标自助注册服务,还提供商标注册查询商标分类查询商标买卖交易商标在线公证香港商标注册国际商标注册等服务,是一家专业的商标转让平台商标代理机构

 

版权声明:本站部分文章及图片来源于网络,不代表乐网企服立场,版权属于原作者,转载须联系作者授权同意。文章及图片若有冒犯,请联系我们进行删除,谢谢。

分享到:
相关文章
{{ v.title }}
{{ v.description||(cleanHtml(v.content)).substr(0,100)+'···' }}
你可能感兴趣
推荐阅读 更多>
推荐商标

{{ v.name }}

{{ v.cls }}类

立即购买 联系客服