最新下载
热门教程
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
站长不要忽视robots.txt的存在
时间:2022-07-02 21:24:17 编辑:袖梨 来源:一聚教程网
认识了很多站长,大多数会使用robots.txt文件,只有40%左右的站长不知道robots.txt文件的重要性。当然了,如果你的网站完全没有让搜索引擎教程禁止的内容,可以不用robots.txt文件。
到底robots.txt是何许人也?
robots.txt是一个纯文本文件,它就像网站地图一样,给搜索引擎指明道路。。当搜索引擎蜘蛛爬取网站的时候,一般会确实你网站的目录下是否有robots.txt这个文件。如果有的话,会按照文件的内容来爬取该爬的网站内容。如果没有这个文件,蜘蛛就会跟着链接直接爬取。
下面大家看看淘宝的robots.txt文件:
可以看到,淘宝再一次屏弊了百度蜘蛛的爬取工作,我们再来看看下面这个收录图:
只见二级域名或三级以后的页面了。
robots.txt究竟有什么好处呢?
1、可以禁止对私密文件的爬取工作。比如说你的网站后台、数据库教程,管理程序。如果没有配置好robots.txt文件,搜索引擎很有可能会索引那些所谓的“临时文件”。
2、方便搜索引擎爬取工作。比如说你的网站很大,我看到过一个网站,整个网站有50多G,打开比腾讯还要慢。如果不配置好robots.txt文件,蜘蛛爬取工作就会很费力,另外,太多的蜘蛛访问,甚至会影响你网站的正常访问。
3、减少带宽。robots.txt可以制止不必要爬取工作,如果你的是图片站或美女站的话,没设置好robots.txt文件,就会浪费大量的带宽了。]
4、保证网站排名不受影响。这时主要说说网站内容重复性问题,可能这个问题不大,但一旦存在有重复内容,就会受到搜索引擎惩罚了,特别是百度。所以配置好robots.txt很重要!
相关文章
- 王者荣耀侦探能力大测试攻略 王者荣耀侦探能力大测试怎么过 11-22
- 无期迷途主线前瞻兑换码是什么 11-22
- 原神欧洛伦怎么培养 11-22
- 炉石传说网易云音乐联动怎么玩 11-22
- 永劫无间手游确幸转盘怎么样 11-22
- 无期迷途主线前瞻兑换码是什么 无期迷途主线前瞻直播兑换码介绍 11-22