Google更新过程的最终解释

原著：Serge Thibodeau
编译：Sunny　
参考: 了解Google Dance工具　如何提高网站的Google PR值　 浅谈Google网页级别　　Google的原罪--网页序列等级 Google-Dance-Machine
摘要:Google是如何更新全部索引的？这是一个范围相当宽的问题，大家都知道，Google为确保向用户提供最具相关性和质量最高的搜索结果而对其数据库按月进行更新。为了回答上述问题，在本文中我将向大家详细说明Google更新过程的每个步骤。
　

　　有相当多的用户和公司都已经发现，为了在早期的搜索引擎优化中，能在Google里有个很好的排名，在认真做计划之前就要采取一切必要的措施。就免费提交的搜索引擎来说，Google是为数极少之中的一个，也是最早将网站收录到数据库的搜索引擎之一。到2003年7月10日为止，Google已经成为收录34亿个网页之多的最广泛的数据库。其中只有一小部分不能够被Google访问，因为这些站点是不能够被搜索引擎爬虫或蜘蛛所访问的。
　就象在现实生活中一样，无论是对网站所有者、网站管理员还是搜索引擎优化专家来说，当开始一个新产品的市场时，有很大的风险和潜在的复杂性。然而大多数专家都一致同意在使用Google搜索时，要正确输入关键字，这样才可以有效地搜索到你所要查找的信息。因为Google每个月都会更新它的数据库。在这篇文章中，我们要解释关于“Google Dance”的信息，还有如何在恰当的时间理解“Googlebot”。另外，我们也会告诉你如何进行搜索引擎的优化。著名的“Google Dance” 　
　　如果你想写封信去参加在Google总部的年度更新过程，那么你可能希望继续读到GooglePlex这篇文章，从中了解Google数据库和搜索引擎机器人是何如工作的。关于Google每月周期性的更新过程有很多的文档记录。而在过去整整一年，Google的这种每个月的周期性更新(如今人们亲切称之为“Google Dance”)对那些焦虑等待的网站所有者和网站管理员来说，都变得愈加复杂和不可琢磨。
　
　每次的更新都是从Google的一个主要的深层次的爬虫开始的。我们先把它叫做爬虫A。它是如何索引到整个网站中至少三四十亿的网页的呢？Google使用了15,000多台位于不同数据中心的计算机，来索引全世界范围内的站点。当Googlebot来搜索数据库中现有站点时，同时也会搜索到最新的网站。一旦Google完成了爬虫A这个过程，就会为下一步的更新有效地搜索到所有的网页，然后便是两个星期后的第二次更新过程。　
　最后，Google会更新整个数据库，在www2.google.com和ww3.google.com这两个站点上可以看到最新的更新结果。在更新的同时，其结果会很快的连接在主要数据库和第二、第三个数据库之间。由于Google使用的服务器有15,000台之多，因此在整个更新结束之前，不同地方的人们所得到的搜索结果是不同的。“Google Dance”会持续好几天，但是不会超过一个星期。除非Google要改变一些主要的规则，比如2003年4月份的更新。无论是在Google的每个数据库更新的时候还是在更新之后, 只要其中一个数据库进行更新，Google又会开始新一轮的“全面”检索。我们把它称做爬虫B。这次检索仍然包括数据库中所有已被收录站点和一些新发布的网站。GoogleBot的这次检索完成之后，就是Google下一轮更新的起点，意味着下个月的更新又全面开始了。在完美时间“捕捉”Googlebot