可以把网站日志中蜘蛛反馈过来的404过错页面写入robots.txt文件吗?Disallow:掉吗?

降龙(北京网站建设)回答：

数量多的话 不太好屏蔽，效果也不是很大，如果数量不是很多的话 可以手工屏蔽，做好过错页面跳转就可以。

最佳别这样做。是因为一个页面没有了，才会呈现404页面，所以，所有不存在的URL都会跳转到404页面，你把这个页面屏蔽了，这让搜索引擎很难理解网站。不存在的URL，最佳还是让搜索引擎能够辨认出来，然后慢慢删除这种页面的快照。

日志发现404过错，然后对这些过错进行相应的核实和处置。

实际检查一下这写404过错内容，是什么原因致使的?是需求康复还是没法康复的死链接?

需求康复的康复，康复正常访问就不需做其他操作。

因为某些过错，致使的无法康复的死链接，建议可以采取以下三个操作：

1、做好404页面

2、robots屏蔽之(今后调查日志，不再继续抓取后可以删除)

3、百度站长工具提交