百度关于百度蜘蛛抓取频率的说明

百度自己说：百度严格遵循搜索引擎Robots协议（详细内容，参见http://www.robotstxt.org/），其实很多对设置是没有效果的，如百度蜘蛛抓取频率的设置。对百度很无奈

百度蜘蛛抓取时间和频率限制，可以在robots中的crawl-delay中设置，这个参数是baidu spider对网站访问频率的重要参考信息之一，但spider系统会根据网站规模、质量、更新频度等多方面信息综合计算得出最终的执行压力，因此并不保 证严格遵守crawl-delay中的设置值。