Robots.txt 是你穿告诉搜索机器人哪些页面你会喜欢他们不能够访问您的网站的文本 （而不是 html) 文件。 Robots.txt 是不是强制性的搜索引擎，但是搜索引擎一般遵守他们都问什么不该做。 务必要澄清 robots.txt 不从防止搜索引擎抓取您的网站 （即它是不一的防火墙或密码保护的一种） 的一种方法，您放置一个 robots.txt 文件的事实是有点像把一条注释"请不要输入"一个解锁的门 — — 上如不能防止小偷进来，但好人，将不打开门，然后输入。 也就是为什么我们说是否真的有森 sitive 数据，是太依赖 robots.txt，以防止被索引，并显示在搜索结果的不完善。
网址：http://dragonlm.com/a/d/id/MzM0NiwxNjg%3D.html
文章来源：抖拓-软件宣传部 , 转载请标明出处，谢谢合作！
3+N级分销系统
