robots.txt文件布置错误的话，蜘蛛随时都有可能不会来访问页面，若你在没有完全理解robots的含义和怎样去做，是roboots里面最大的难题。robots.txt文件是一个协议，是搜索引擎是否访问的一个重要关卡。
 
    sitemap.xml可以对收录网页起到很好的辅助作用，但很多xml生成插件会生成sitemap.xml文件，那么什么是sitemap.xml文件呢？这就是是我们在用sitemap生成器时生成的一个文件，但同时又有sitemap.xml，那么两者有什么区别呢？
   这两个文件都是放在域名空间里面的，不过两个对搜索引擎的访问和收录影响很大。