Baiduspider – 百度蜘蛛运行原理介绍

百度蜘蛛,英文名是“Baiduspider”是百度搜索引擎的一个自动程序。它的作用是访问互联网上的网页、图片、视频等内容,建立索引数据库,使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。

产品名称                 对应user-agent

网页搜索                Baiduspider
无线搜索                Baiduspider-mobile
图片搜索                Baiduspider-image
视频搜索                Baiduspider-video
新闻搜索                Baiduspider-news
百度搜藏                Baiduspider-favo
百度联盟                Baiduspider-cpro

百度蜘蛛的运行原理。

(1)通过百度蜘蛛下载回来的网页放到补充数据区,通过各种程序计算过后才放到检索区,才会形成稳定的排名,所以说只要下载回来的东西都可以通过指令找到,补充数据是不稳定的,有可能在各种计算的过程中给k掉,检索区的数据排名是相对比较稳定的,百度目前是缓存机制和补充数据相结合的,正在向补充数据转变,这也是目前百度收录困难的原因,也是很多站点今天给k了明天又放出来的原因。

(2)深度优先和广度优先,百度蜘蛛抓页面的时候从起始站点(即种子站点指的是一些门户站点)是广度优先抓取是为了抓取更多的网址,深度优先抓取的目的是为了抓取高质量的网页,这个策略是由调度来计算和分配的,百度蜘蛛只负责抓取,权重优先是指反向连接较多的页面的优先抓取,这也是调度的一种策略,一般情况下网页抓取抓到40%是正常范围,60%算很好,100%是不可能的,当然抓取的越多越好。

对于百度蜘蛛,刚接触seo的新手来说,只需要掌握上面的百度蜘蛛运行原理,以及相应百度蜘蛛名称即可。了解百度蜘蛛相关运行原理,让我们在网站布局设置、以及相关页面优化时合理的优化。同时,这也是为我们在阅读相关网站日志做准备,能从中分析更多有价值的信息。

如果你觉得此文章能够帮您解决问题,您可以点击右侧百度分享,让您的更多好朋友能够学到更多有关SEO知识的技巧。

作者:SEOiit@seo顾问 上海seo顾问修订 2013-07-08

SEOiit(企业seo顾问),专门研究百度seo(搜索引擎优化)技术,让更多喜欢seo的朋友,能从中学习有关seo知识,理解搜索引擎优化真谛。

本文伊利诺SEO研究中心版权所有,未经批准转载必究。

对此文章有什么疑问,可以直接在下面发表评论,如还有其他有关SEO疑问,可以去SEO问答里面发布你的问题。

微信关注

喜欢就分享给你的朋友:

共有 0 条评论

Top