这个蜘蛛到底是怎么爬取的，啥机制的？

顺晟科技：

蜘蛛是抓页面的，这点从抓取诊断里就能看出来，如果网站前端只有一个页面，而且该页面没有其他页面的链接，那蜘蛛是抓不到其他页面的。

ps：蜘蛛爬的是页面，页面有URL通道会顺着爬和抓取，如果你前端啥都没，那么蜘蛛啥都抓取不到

2、搜索蜘蛛抓取不到内容，不会爬行的，你的内容在服务器里面，没通道是不好被抓取爬行。

1、只有前端有通道URL，蜘蛛才能去抓取爬行； 2、搜索蜘蛛抓取不到内容，不会爬行的，你的内容在服务器里面，没通道是不好被抓取爬行。ps：蜘蛛爬的是页面，页面有URL通道会顺着爬和抓取，如果你前端啥都没，那么蜘蛛啥都抓取不到