为什么要模拟搜索引擎爬虫呢? 网站站长要在搜索引擎上获得比较好的表现，搜索引擎必须要经历三个过程：抓取、索引、排名。也就是上次写的一篇文章：抓取、索引、排名-搜索引擎工作原理。第一步是要抓取网站的页面，搜索引擎必须依靠抓取工具(蜘蛛、爬虫、漫游器或采集软件)，正常抓取的页面返回码是200，判断一个页面的状态码，可以用很多站长工具，但是如何快速得到一个网站所有页面的状态码以及页面标题、描述、H1、H2、图片等信息呢?下面介绍下这个工具：

Screaming Frog SEO Spider工具介绍：

Screaming Frog SEO Spider工具是国外开发出来的一个电脑程序软件，可以应用在Windows、MAC、Ubuntu等系统。可以快速分析一个网站的链接、图片、CSS、Script等元素。可以免费下载安装，免费版可以分析500个链接，付费版没有限制。

Screaming Frog SEO Spider使用：

Screaming Frog SEO Spider Tool

Screaming Frog SEO Spider安装：

1.下载程序：http://www.screamingfrog.co.uk/seo-spider/

2.下载java程序

http://java.com/zh_CN/download/help/windows_manual_download.xml

3.验证是否安装成功

http://java.com/zh_CN/download/installed.jsp

详细介绍见官方说明：http://www.screamingfrog.co.uk/seo-spider/

更好模拟搜索引擎爬虫是HTTrack模拟搜索引擎爬虫免费工具，接下去分享给大家!