百度关于百度蜘蛛抓取频率的说明

By | 2012/02/05

百度自己说:百度严格遵循搜索引擎Robots协议(详细内容,参见http://www.robotstxt.org/),其实很多对设置是没有效果的,如百度蜘蛛抓取频率的设置。对百度很无奈

百度蜘蛛抓取时间和频率限制,可以在robots中的crawl-delay中设置,这个参数是baidu spider对网站访问频率的重要参考信息之一,但spider系统会根据网站规模、质量、更新频度等多方面信息综合计算得出最终的执行压力,因此并不保 证严格遵守crawl-delay中的设置值。

2 thoughts on “百度关于百度蜘蛛抓取频率的说明

  1. dengor Post author

    事实上,百度蜘蛛对很多公用协议都支持的不是很好。

  2. Pingback: 百度蜘蛛抓取频率的说明 | Dengor's app

Comments are closed.