让我们看看搜索引擎爬虫是如何工作的(google、yahoo属于这一类)。每个搜索引擎都有各自抓取站点的自动化程序叫“网络蜘蛛”或“网络爬虫”，它的主要目的是抓取网页页面，读取、收集网页内容，它同时关注链接(站内链接和站外链接)。然后，自动化程序将收集的相关信息存放到搜索引擎数据库里面，这个过程称之为索引。当搜索者在搜索引擎输入框里面输入问题时，搜索引擎的工作就是查找与此问题相关的结果信息并将结果内容显示在首页。