搜索引擎是如何工作的？-搜索引擎技术

搜索引擎是如何工作的？
      我经常会遇到一些不知道 搜索引擎如何收集信息的人。他们知道什么是搜索引擎，而且也理解得到搜索引擎索引的重要性，尽管有些人知道一些，但当你开始谈论诸如爬行程序之类的内容时，他们就开始卡壳了。
　
      不要再出现卡壳这样的尴尬场面了。本文旨在帮你揭示一些你对搜索引擎还不是很肯定的东西。毕竟，如果你想通过得到搜索引擎的收录而受益，你还是了解一下搜索引擎如何工作为好。
      合三为一
      基于爬行程序的搜索引擎是由三部分组成的：爬行程序、索引和软件。每一部分都具有自己的功能并且三个部分一起产生了我们在搜索引擎结果页面（SERPs）看到的内容。
      饥饿的爬行程序
      另一个广为人知的名字是网络爬行程序或者机器人，搜索引擎爬行程序就是能阅读网页和跟踪站点内到其它网页任何链接的一个自动程序。我们经常将一个称为被“爬行”或“索引”。在网络上有三种非常饥饿、非常活跃的爬行程序。它们的名字为Googlebot（Google）、Slurp（ Yahoo！）和MSNBot（MSN 搜索）。
      爬行程序会从先前添加到它们索引（数据库）中的系列网页URLs开始网络之旅。在它们访问这些网页时，它们爬行编码和副本，它将在网络上找到的新网页（链接）也添加到它的索引之中。对于这个过程，我们可以将爬行程序称为是正在建立索引，稍后将进一步加以讨论。
      爬行程序会根据一个固定的周期回访其目录中的站点，寻找任何的更新。至于爬行程序回访的频率，这要由搜索引擎确定。网站拥有者通过采用一个名为robot.txt的文件确实能控制爬行程序访问这个站点的频率。搜索引擎在进一步爬行一个网站之前首先查看这个文件。
      正在成长的索引
      索引就像是一个包含爬行程序所找到网站每一个网页和文件副本的巨大目录或者详细目录。如果某一个网页发生了变化，则会使用新的信息来更新这个目录。为了能使一个数量的概念给你描述这些索引的大小，Google最新公布的数字是80亿个网页。
      有时候需要一定的时间才能让爬行程序找到新的网页和更改并添加到自己的索引中。由此，一个网页可能已被“爬行”但尚未“索引”。知道一个网页被索引后――添加到索引中――此时在搜索引擎中是搜索不到这些被爬行过的网页的。