该怎么查看网站被百度抓取的情况呢?对于这个问题,也许对刚接触seo的新手来说有点困难,百度用于抓取网页的程序叫做Baiduspider – 百度蜘蛛,我们查看网站被百度抓取的情况主要是分析,网站日志里百度蜘蛛Baiduspider的活跃性:抓取频率,返回的HTTP状态码。
对于怎么查看网站日志,一般都是通过FTP下载服务器上面以.log结尾的文件,这文件可以直接用记事本打开,你也可以网站日志查看工具,进行网站日志查看。
因为各个服务器和主机的情况不同,不同的主机日志功能记录的内容不同,有的甚至没有日志功能。
网站日志的格式:2013-05-03 02:13:29 W3SVC1003 61.188.39.79 GET /index.php – 80 – 117.28.255.42 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html) 200 0 0
GET /index.php代表百度蜘蛛访问了,网站首页这个页面。
200代表成功抓取了这个页面。
如果你下载下来的网站格式不是我这样的,肯定是你服务器上面日志格式设置的问题,可以更改。
抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知。抓取频率并没有一个规范的时间表或频率数字,我们一般通过多日的日志对比来判断。当然,我们希望百度蜘蛛每日抓取的次数越多越好。
=====这个时段的SEOer是“阅读者和分享者”,分享我的所知,收获我所不知====
如果你觉得此文章能够帮您解决问题,您可以点击右侧百度分享,让您的更多好朋友能够学到更多有关SEO知识的技巧。
作者:SEOiit@seo顾问 上海seo顾问修订 2013-06-04
SEOiit(企业seo顾问),专门研究百度seo(搜索引擎优化)技术,让更多喜欢seo的朋友,能从中学习有关seo知识,理解搜索引擎优化真谛。
本文伊利诺SEO研究中心版权所有,未经批准转载必究。
共有 0 条评论