如何让百度将网页索引与收录2012/04/13

真正的索引与收录网页过程。从上面的介绍可以看出，FreshBot提交的url列表是相当庞大的，根据语言、网站位置等不同，对特定网站的索引工作将分配至不同的数据中心完成。 　　整个索引过程，由于庞大的数据量，可能需要几周甚至更长时间才能完成。 　　正如上文所言，DeepBot会首先索引优先级较高的网站/网页，优先级越高，出现在Google索引数据库及至最终出现在Google搜索结果页面中的速度便越快。 　　对新建网页而言，只要进入到这个阶段，即使整个索引过程没有完成，相应的网页便已具备出现在Google索引库中的可能，相信许多朋友在Google中使用“site”搜索时常常看到标注为补充结果只显示网页url或只显示网页标题与url但没有描述的页面，此即是处于这一阶段网页的正常结果。 　　当Google真正读取、分析、缓存了这个页面后，其便会从补充结果中逃出而显示正常的信息。 　　——当然，前提是该网页具有足够的链接，特别是来自权威网站的链接，并且，索引库中没有与该网页内容相同或近似的记录(DuplicateContent过滤)。 　　对动态url而言，虽然如今Google宣称在对其处理方面已不存在障碍，不过，可以观察到的事实仍然显示动态url出现在补充结果中的几率远大于使用静态url的网页，往往需要更多、更有价值的链接才能从补充结果中逸出。 　　而对于上文中之“F”类，即未更新的网页，DeepBot会将其时间戳与Google索引数据库中的日期比对，确认尽管可能搜索结果中相应页面信息未来得及更新但只要索引了最新版本即可——考虑网页多次更新、修改的情况——；至于“G”类即404url，则会查找索引库中是否存在相应的记录，如果有，将其删除。
3、数据中心间的同步
　　前文我们提到过，DeepBot索引某个网页时会由特定的数据中心完成，而不会出现多个数据中心同时读取该网页，分别获得网页最近版本的情况，这样，在索引过程完成后，便需要一个数据同步过程，将网页的最新版本在多个数据中心得到更新。 　　这就是之前著名的GoogleDance。不过，在BigDaddy更新后，数据中心间的同步不再象那样集中在特定的时间段，而是以一种连续的、时效性更强的方式进行。