百度关于百度蜘蛛抓取频率的说明

百度自己说:百度严格遵循搜索引擎Robots协议(详细内容,参见http://www.robotstxt.org/),其实很多对设置是没有效果的,如百度蜘蛛抓取频率的设置。对百度很无奈

百度蜘蛛抓取时间和频率限制,可以在robots中的crawl-delay中设置,这个参数是baidu spider对网站访问频率的重要参考信息之一,但spider系统会根据网站规模、质量、更新频度等多方面信息综合计算得出最终的执行压力,因此并不保 证严格遵守crawl-delay中的设置值。