百度开始清理索引

Jan 23, 2008 -

前几天也发表了对百度最近表现的个人观点，这段时间通过使用工具和手动记录方式相结合，观察百度索引、排名上的一些变化。今天作了一些分析，樂思蜀感觉之前的猜想有那么一点真实可靠了，百度似乎准备启用新的存储机制，开始对目前索引的数据进行清理。

通过对近20个站的观察，最近百度平均收录数量下降，但与实际URL数越来越接近。我通常把高于实际URL数量以外的收录数称作“水份”，归纳为这3种：

百度水份：使用“site:域名”查询出来的搜索结果数，并不一定是真正的索引数，百度可能为了标榜其数据库，在索引数中注入了水份。检查的最简单方法就是翻页，翻到最后一页，如果出现“……点击这里可以看到所有搜索结果”，点击后看到的数字基本是准确的索引数。
技术水份：搜索引擎（不仅限于百度）毕竟是机器完成的，对“相似页面”或“重复页面”的处理仍不够完善，索引中可能包含一个页面的多个版本（如：很多论坛的无图版+完整版；使用URL不规范的程序，不同位置指向同一页面的链接URL版本不一致；等……）。
网站水份：已经失效的页面，搜索引擎会适当保留一定时间；并无实质性价值的功能页；用户上传的搜索引擎能够索引的附件等。

在观察的近20个网站中，这几天水份数量在急骤减少，约1/3的网站收录数几乎等于实际URL数。

个人猜测，可能是百度准备启用新的存储机制，或对索引处理上的一次改进，目前对已经索引的页面进行清理，为新的技术更新做准备。

如果这个猜测成为事实，樂思蜀倒是有点担心，这次清理的力度会不会有点过。

观察的网站中有1/3有不同版本URL，清理时，约15%包含多版本URL的页面直接被从索引中删除了，这就有些接近于“惩罚”了；另外，这次对带“采集”性质（实验站非真正的采集，只是大量转载）清理也有些过，有2个站直接被清空了，通过与几位朋友的交流中也证实了这一点。

按此清理的标准下去，这次对中文网站的冲击是相当大的；以目前的形势，对百度自身也不利。

作者：樂思蜀
原文：百度开始清理索引
版权所有，转载时必须以链接形式注明作者和原出处并保留本声明。