有一个困惑

有个站，蜘蛛到目前还在爬行这个网站改版前的ftp目录，理所当然的，返回的都是404.

神奇的是，怎么也找不到蜘蛛是从哪里进入这些目录的，因为这些目录已经不存在了。时间大约已经有4个月，百度的反应速度让人费解

想在此请教对蜘蛛爬行路径有研究的朋友们，怎么阻止蜘蛛爬行以前完全不同的一个ftp目录结构。以及怎么培养蜘蛛在自己网站的爬行情况，因为现在有的站遇到的一个情况是，蜘蛛喜欢爬图片。

求教

我之前也遇见过这种问题，只有两种可能，一是之前百度抓取了这个目录，到现在就算打不开了也一直没有删除;二就是这个目录在别的地方还有链接，就算你站内没有了，站外也有可能。

至于怎么阻止，两个办法，第一301跳转，第二就是将本目录写到robots里面去!