登高望远

百度自己说：百度严格遵循搜索引擎Robots协议（详细内容，参见http://www.robotstxt.org/），其实很多对设置是没有效果的，如百度蜘蛛抓取频率的设置。对百度很无奈 百度蜘蛛抓取时间和频率限制，可以在robots中的crawl-delay中设置，这个参数是baidu spider对网站访问频率的重要参考信息之一，但spider系统会根据网站规模、质量、更新频度等多方面信息综合计算得出最终的执行压力，因此并不保 证严格遵守crawl-delay中的设置值。

    本人的这个博客建起来已经半年多了, 百度从来没有好好的收录过. 记忆中最多的时候收录5页. 后来不收了,再后面就变少, 现在site看了一下, 只剩下首页了还在那里.  可能就是常说的进 了百度的沙盒.