这段时间,因为要推广中国GIS博客园(www.gisblogs.net)等网站,所以经常分析搜索引擎,收录速度、收录质量。
比较对象:GOOGLE,百度,搜狗,yahoo.cn,有道。
一、收录网站速度对比
通过在个搜索引擎,搜索(site:www.gisblogs.net)。在没有任何网站做外部链接的情况下,GOOGLE的网络爬虫竟然,找到并收录了G客园的首页等5个页面。而百度等其他网站没有收录。
之后,我到各大搜索引擎收录页面,提交了我们的网站链接。
只有百度收录首页,搜狗、有道没有反应。
在其他网站给G客园做了友情链接,PR都是3左右的网站,已经在做了一些宣传之后的一个星期。百度一次性收录了几十个页面。搜狗、有道仍没有反应。
由于一开始没有对雅虎,进行分析,也没有把网址提交给它,只是后面,发现中文搜索应该还有雅虎。在做好内容和外部链接之后,用雅虎搜了一下,已经收录了。
由次可以看出,GOOGLE的网络爬虫最牛,对新的网站能最早发现和找到。百度反应速度在GOOGLE之后,但在其他有外部链接的情况下,能迅速提高抓取量。至于搜狗号称更懂中文,我看多半吹牛了,有道的爬虫也够理想。
二、收录页面的数量和质量
GOOGLE的收录的页面是逐步增加,基本符合网站的更新速度。
百度这方面的,收录的速度和数量基本和GOOLE差不多,可见百度的技术与GOOGLE的差距在缩小。
雅虎的收录量是百度和GOOGLE的几倍,但是我查看了一下很多是重复的,对信息有效性不高,离GOOGLE和百度有一段的距离。但是比搜狗和有道要强。
综合性能,GOOGLE不愧为搜索引擎的老大,爬虫是最牛的
百度与GOOGLE的差距在缩小
雅虎,看的出马云他们确实花了心思,技术基础不弱,提升也比较快
搜狗,感觉还是张朝阳忽悠人的看门狗,叫的凶,但不咬人
有道,还没市场化,搜索尚未成功,同志还需努力