18910140161

蜘蛛获取物品的奖励方式:求助!!!蜘蛛抓取异常的问题! 推荐热议

顺晟科技

2023-02-23 10:01:24

99

同一个服务器上有2个网站:

a网站文章页链接格式:https://www.a.Com/post/1.html

b网站文章页链接格式:http://www.b.Com/news/1.html

a网站是新站,上线后蜘蛛来抓它内页的时候,抓的链接变成了:https://www.b.Com/post/1.html,这样,链接格式是对的,但是域名成了b网站的,关键是抓取状态有404也有200,这是什么情况?


顺晟科技:

具体情况需要了解,一般出现这样的问题都是由于网站服务器性能不足造成的,首先可以检查网站服务器的性能情况,看看服务器的IO、CPU、内存是否出现异常。如果未发现问题,可以采取的措施有:对网站爬虫的访问进行限制;使用代理ip等方式优化抓取效率;优化网站代码逻辑,更有效的管理网站服务器的性能。

好奇怪,觉得推背蛙说的有道理

应该是服务器设置的问题吧

你直接通过进入网站A看链接的是不是B站的。或者通过查询网站状态分析。

好奇怪,觉得推背蛙说的有道理

应该是服务器哪里设置问题

没遇到过,看推推蛙说的

应该是服务器哪里设置问题

数据库设置问题

大概率是数据库调取程序有问题

服务器问题,或者是配置问题,可以最近几天抓取试试

应该是服务器哪里设置问题

同意楼上的观点

应该是服务器哪里设置问题

1、同服务器,2个域名,蜘蛛抓取错误,可服务器提交工单看是否是解析出现问题或者其他服务器设置出现问题导致,请求专人处理;

2、百度站长抓取诊断,正常URL能否提交抓取成功,错误的也去提交下,报错更新抓取ip。

相关文章
我们已经准备好了,你呢?
2024我们与您携手共赢,为您的企业形象保驾护航