1、可以禁止对私密文件的爬取工作。比如说你的网站后台、数据库，管理程序。如果没有配置好robots.txt文件，搜索引擎很有可能会索引那些所谓的“临时文件”。
2、方便搜索引擎爬取工作。比如说你的网站很大，我看到过一个网站，整个网站有50多G，打开比腾讯还要慢。如果不配置好robots.txt文件，蜘蛛爬取工作就会很费力，另外，太多的蜘蛛访问，甚至会影响你网站的正常访问。
3、减少带宽。robots.txt可以制止不必要爬取工作，如果你的是图片站或美女站的话，没设置好robots.txt文件，就会浪费大量的带宽了。]
4、保证网站排名不受影响。这时主要说说网站内容重复性问题，可能这个问题不大，但一旦存在有重复内容，就会受到搜索引擎惩罚了，特别是百度。所以配置好robots.txt很重要!
- 评论:(0)
发表评论