一聚教程网:一个值得你收藏的教程网站

热门教程

站长不要忽视robots.txt的存在

时间:2022-07-02 21:24:17 编辑:袖梨 来源:一聚教程网

认识了很多站长,大多数会使用robots.txt文件,只有40%左右的站长不知道robots.txt文件的重要性。当然了,如果你的网站完全没有让搜索引擎教程禁止的内容,可以不用robots.txt文件。

  到底robots.txt是何许人也?

  robots.txt是一个纯文本文件,它就像网站地图一样,给搜索引擎指明道路。。当搜索引擎蜘蛛爬取网站的时候,一般会确实你网站的目录下是否有robots.txt这个文件。如果有的话,会按照文件的内容来爬取该爬的网站内容。如果没有这个文件,蜘蛛就会跟着链接直接爬取。

  下面大家看看淘宝的robots.txt文件:

  

站长不要忽视robots.txt的存在

 

  可以看到,淘宝再一次屏弊了百度蜘蛛的爬取工作,我们再来看看下面这个收录图:

  

站长不要忽视robots.txt的存在

 

  只见二级域名或三级以后的页面了。

  robots.txt究竟有什么好处呢?

  1、可以禁止对私密文件的爬取工作。比如说你的网站后台、数据库教程,管理程序。如果没有配置好robots.txt文件,搜索引擎很有可能会索引那些所谓的“临时文件”。

  2、方便搜索引擎爬取工作。比如说你的网站很大,我看到过一个网站,整个网站有50多G,打开比腾讯还要慢。如果不配置好robots.txt文件,蜘蛛爬取工作就会很费力,另外,太多的蜘蛛访问,甚至会影响你网站的正常访问。

  3、减少带宽。robots.txt可以制止不必要爬取工作,如果你的是图片站或美女站的话,没设置好robots.txt文件,就会浪费大量的带宽了。]

  4、保证网站排名不受影响。这时主要说说网站内容重复性问题,可能这个问题不大,但一旦存在有重复内容,就会受到搜索引擎惩罚了,特别是百度。所以配置好robots.txt很重要!

热门栏目