作为一个网站建设加优化的公司，是必须要回的就是robots.txt文件，所以我们就来看看这个文件的意思
robots.txt是一个纯文本文件，用于声明该网站中不想被蜘蛛访问的部分，或者指定蜘蛛抓取的部分。不是规定，而是一种约定，需要蜘蛛自觉遵守的一种习俗
当蜘蛛访问一个站点时，它会首先检查该站点是否存在robots.txt
如果找到，蜘蛛就会按照该文件中的内容来确定抓取的范围
如果该文件不存在，那么蜘蛛就沿着链接直接抓取
网址：http://dragonlm.com/article/details/city/jinan/ids/1605366341mwz.html
文章来源：抖拓-网络编辑部 , 转载请标明出处，谢谢合作！
3+N级分销系统
