域名

　robots.txt究竟有什么好处呢?

　　1、可以禁止对私密文件的爬取工作。比如说你的网站后台、数据库，管理程序。如果没有配置好robots.txt文件，搜索引擎很有可能会索引那些所谓的“临时文件”。

　　2、方便搜索引擎爬取工作。比如说你的网站很大，我看到过一个网站，整个网站有50多G，打开比腾讯还要慢。如果不配置好robots.txt文件，蜘蛛爬取工作就会很费力，另外，太多的蜘蛛访问，甚至会影响你网站的正常访问。

　　3、减少带宽。robots.txt可以制止不必要爬取工作，如果你的是图片站或美女站的话，没设置好robots.txt文件，就会浪费大量的带宽了。]

今天翻看之前保存的文档，发现有一份对Robots.txt很详细的解释文档，之前SEO100问里有篇什么是robots的文章大概的讲述了文件的写法，而没有详细的解释User-agent、Disallow、Allow值的含义，不论今天这篇文章是对Robots.txt重新做一个全面的认识，还是老话重提，这都是我们SEO学习者和从事着一次加深记忆的机会，我个人觉得做搜索引擎优化，既然算法我们不可能掌握，但是类似这样公开的搜索引擎语法，其含义都应该真正的去理解。

搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件。您可以在您的网站中创建一个纯文本文件robots.txt，在文件中声明该网站中不想被robot访问的部分或者指定搜索引擎蜘蛛只收录特定的部分。这里提醒一下，请注意：当你网站不希望搜索引擎全部收录时才用到robots.txt文件（比如你网站后台页面）如果你希望搜索引擎全部收录你的网站，请建立一个空的robots.txt文件。