假设您以了解一下名词含义:搜索引擎,spider(搜索引擎蜘蛛),死链接,权重,网站排名
何为Robots协议?
Robots协议是国际互联网界通行的道德规范,基于以下原则建立:
1、搜索技术应服务于人类,同时尊重信息提供者的意愿,并维护其隐私权;
2、网站有义务保护其使用者的个人信息和隐私不被侵犯。
何为robot文件?
robots.txt是限制搜索引擎spider(或称为蜘蛛)收录或爬取您网站内容的一种文件。搜索引擎蜘蛛在网站中第一个访问的文件就是robot文件,当然,也可以没有robot文件,不过spider会访问您的网站的所有页面。
robot文件有何作用?
屏蔽您网站的死链接,限制spider爬取您的网-查看更多请先登录
网址:http://dragonlm.com/article/details/city/jinan/ids/1604860683msf.html
文章来源:抖拓-网络编辑部 , 转载请标明出处,谢谢合作!