搜索引擎蜘蛛每天是怎么样去爬取我们的网的呢？针对这些你有多少的了解？那搜索引擎蜘蛛的爬取过程又是怎么样的呢？在搜索引擎蜘蛛系统中，待爬取URL队列 是很关键的部分，需要蜘蛛爬取的网页URL在其中顺序排列，形成一个队列结构，调度程序每次从队列头取出某个URL，发送给网页下载器页面内容，每个新下 载的页面包含的URL会追加到待爬取URL队列的末尾，如此形成循环，整个爬虫系统可以说是由这个队列驱动运转的。同样我们的网站每天都要经过这样一个队 列，让搜索引擎进行爬取的。
那么待爬取URL队列中的页面URL 的排列顺序是如何来确定的呢？上面我们说了将新下载页面中的包含的链接追加到队列尾部，这固然是一种确定队列URL顺序的方法，但并非唯一的手段，事实 上，还可以采纳很多其他技术来实现，将队列中待爬取的URL进行排序。那么究竟搜索引擎蜘蛛是按照什么样的策略进行的爬取呢？以下我们来进行更深入的分析 吧。
