搜索引擎技术及趋势1-搜索引擎技术

搜索引擎走到今天，已经是一个结束过去，开辟未来的时候了。为了说清楚我所讲的第三定律，我们先来回顾一下第一和第二定律。
　
■ 第一定律 相关性定律
　听起来象是一篇学术论文，的确，就连第一，第二定律的提法以前也没有过，但是第一，第二定律的内容确早已在业界和学术界得到了公认。其实这第一定律是早在互联网出现之前就被学术界广泛研究过的，那就是所谓的相关性定律。这个领域那时叫情报检索，或信息检索，也有叫全文检索的。
　那时的相关性都是基于词频统计的，也就是说，当用户输入检索词时，搜索引擎去找那些检索词在文章（网页）中出现频率较高的，位置较重要的，再加上一些对检索词本身常用程度的加权，最后排出一个结果来(检索结果页面) 。早期的搜索引擎结果排序都是基于本文的第一定律的，如Infoseek，Excite，Lycos等，它们基本上是沿用了网络时代之前学术界的研究成果，工业界的主要精力放在处理大访问量和大数据量上，对相关性排序没有突破。
　词频统计其实根本没有利用任何跟网络有关的特性，是前网络时代的技术。然而，网络时代的主要文献是以网页的形式存在的，而几乎每个人都可以随心所欲地在网上发表各种内容，词频相同的两个网页，质量相差可以很远，可是按照搜索引擎的第一定律，对这两个网页的排序应该是一样的。为了能够派在某些检索结果的前几位，许多网页内容的制作者绞尽脑汁，在其页面上堆砌关键词，搜索引擎对此防不胜防，苦不堪言。这种情况到了 1996年开始有了改变。
　
■ 第二定律 人气质量定律
　1996年4月，我到赌城拉斯维加斯开一个有关信息检索方面的学术会议，会议的内容就象拉斯维加斯的天气一样，照例比较枯燥乏味。但远离公司的我，却难得有一个静下心来认真思考问题的机会。就在听一个毫不相干的论文演讲的时候，我突然把科学引文索引的机制跟Web上的超级链接联系起来了 - 感谢北大，她在我上大三的时候就教授了我科学引文索引的机制，美国恐怕没有一所大学会在你本科的时候教这玩艺儿。
　科学引文索引的机制，说白了就是谁的论文被引用次数多，谁就被认为是权威，论文就是好论文。这个思路移植到网上就是谁的网页被链接次数多，那个网页就被认为是质量高，人气旺。在加上相应的链接文字分析，就可以用在搜索结果的排序上了。这就引出了搜索引擎的第二定律：人气质量定律。根据这一定律，搜索结果的相关性排序，并不完全依赖于词频统计，而是更多地依赖于超链分析。