最近在弄这个，不清楚有效果没有，故此来让各位大神帮助!

百度并不是去爬你网站的根目录。

robots协议是所有搜索引擎需要遵守的协议，因为网站是个人或者企业拥有的，所以就有属于个人或者企业私有的内容，所有权拥有者有权不对外开放。所以robots就是这样的规定，例如：支付宝页面，网银页面等等。

说这些只为证明，搜索引擎的抓取系统，例如百度蜘蛛就必须对任何一个域名的robots进行访问。

返回正题：百度只为了爬取，www。XXX。com/robots.txt这个URL。

网站地图也是一样，www。XXX。com/sitemap。html、txt、xml这3种形式的URL。

百度蜘蛛爬取并不是去爬根目录。其实目录结构也正是URL的结构。但是蜘蛛并不能进入网站空间

先遵守robots，然后才通过首页的url爬的吧，我想如果你的地图又不在robots里面说明，又没有链接指向它，而且也没有外部连接告诉蜘蛛你的地图位置。。。蜘蛛应该不会爬你的地图吧?