Robot.txt文件

大部分网站包含的问题是被robot.txt文件阻止而产生的。

Robots.txt是纯文本文件，站点管理员可以声明不希望在Robots中访问的站点的一部分，或指定只包含搜索引擎中指定的内容。

搜索机器人(也称为搜索蜘蛛)访问站点时，首先检查站点根目录下是否存在robots.txt，如果存在，搜索机器人将根据文件的内容确定访问范围。没有这个文件，搜索机器人就会跟随链接。

格式：

1.用户代理：

可以指定搜索引擎的名称。例如，谷歌是User-agent 3360 Google bot，*表示所有搜索引擎

2.Disallow:

表示禁止蜘蛛访问的文件

用户-代理： *

Disallow:

显示：允许所有搜索引擎访问网站下的所有内容。

用户-代理： *

Disallow:/

表示所有搜索引擎无法访问站点下的所有网页。

用户-代理： *

Disallow 3360/CGI-bin/

禁止所有搜索引擎进入网站的cgi-bin目录及其下的所有子目录。请注意，必须为每个目录单独声明。

User-agent: Roverdog

Disallow:/

表示Roverdog无法访问网站上的所有文件。

User-agent: Googlebot

Disallow3360cheese.htm

表明谷歌的Google boot无法访问该网站下的cheese.htm文件。

3.注释

以“#”开头的行被视为注释内容，注释必须显示为单独的行

Disallow: bob # comment无效

4.Allow线

Allow行尚未被广泛使用。对于网站地图，直接记录为Sitemap:

编辑模式：

在UNIX模式下，编辑robots.txt文件，然后以ASCII代码格式上传。并非所有FTP客户端软件都可以将文件格式完全转换为UNIX命令行终端，因此编辑robots.txt文件时，请确保文本编辑器处于UNIX模式。

或者，使用爱站工具等工具生成robots，直接粘贴并复制到网站背景中。

机器人验证：

在百度站长后台探测罗伯茨

易洛艇和诺波罗有什么不同？

机器人仅用于工作站内的链接。禁止蜘蛛收集

Nofollow的链接蜘蛛仍然可以被收录，但不传递权重。通常用于域外链接或公司电话。地址的页面有助于网站权重的集中。

3个网站误封罗伯茨后的处理。

1.解封机器人后，在百度站长后台检测并更新机器人。

2.百度站长身后检测逮捕，此时显示逮捕失败。通常变更机器人后不会立即生效。要等几天再按几次就可以触发蜘蛛逮捕网站。(阿尔伯特爱因斯坦，北方执行)。

3.在百度站长后台抓住频率，申请提高捕捉频率。

4.百度反馈中心，反馈是因为误操作导致了这种情况。

5.百度站长后台链接提交处，设置数据字典推送(实时)。

6.更新网站地图，重新提交百度，每天手动提交一次。

四。设置新的车站罗伯茨

对于已经在线但尚未安装的新工作站，由robots使用。

用户代理：*

Disallow:/

为了禁止蜘蛛的访问

meta标签

Meta robots标签是页面head部分中的Meta标签之一，用于指示搜索引擎禁止对页面内容进行索引(包括)。

标记meta机器人标签:

元名称="robots" content="noindex，nofollow "

标签的意义：禁止所有搜索引擎对该页编制索引，并禁止跟踪该页上的链接。

Noindex:搜索引擎不索引此页面(可以捕获，但不会出现在搜索结果中)。

Nofollow:搜索引擎不会通过该网页的链接索引继续搜索其他网页。

元名称="robots" content="noindex "

标签的意义：禁止对此页面进行索引，但可以允许蜘蛛跟踪页面上的链接，也可以传递权重。

使用Noindex meta robots标记的页面将被捕获，但不会被索引。也就是说，搜索结果中不显示页面URL。这与机器人文件不同。

meta机器人标签的作用：

1.网站上不包含meta机器人标签，禁止搜索引擎索引页，不禁止跟踪页上的链接。

2.虽然禁止对该页面编制索引，但可以允许蜘蛛跟踪页面链接，并传递权重。

meta机器人标记很多搜索引擎不受支持，只有少数搜索引擎能够识别和捕获指定值。因此，建议使用robots.txt文件限制捕获。

有违规记录的域名

一些站长选择购买有一定注册年的域名，但要注意这些域名是否被搜索引擎处罚过，如果是这样的话，网站也很难收录。

在这种情况下，Web Master可以查看网站日志，如果蜘蛛不爬上去，只需要到Web Master提交后天就可以了。蜘蛛有爬行记录，但未被收录，可能是域名问题。当然，也不排除网站本身有问题。例如镜像站点等。

如何在网站上收录？

熊账号后台提交：熊账号对原版文章的收录要求很高，但通常主页的收录速度很快，第二天就能收到效果。而且，“熊掌号”将展示未收录的理由，让站长进行整备。