蜘蛛多次访问都是重复的页面，怎么就是重复的页面，如何引导蜘蛛爬取页面正常？为什么都是重复的多次，导致蜘蛛抓取不正常，怎么解决问题？为什么一次次的抓取重复的页面。

顺晟科技：

蜘蛛重复抓取页面是正常的，蜘蛛抓取页面的依据是看页面内容是否发生了变化，如果每次抓取页面都有变化，那么抓取就会更加频繁。如果多次抓取后发现页面都没有变化，就会减少抓取。所以不要刻意让蜘蛛不重复抓取某个正常的页面。