网站首页
关于我们
网站建设
网站优化
客户案例
新闻动态
联系我们
首页 >> TAG >> robots
1. 什么是robots.txt? robots.txt 是网站和搜索引擎的协议的纯文本文件。当一个搜索引擎蜘蛛来访问站点时，它首先爬行来检查该站点根目录下是否存在robots.txt，如果存在，根
顺晟科技
2020-10-17
178
问：一站多用robots.txt，会有那些影响 如主站robots与二级点通用一个robots.txt文件，对搜索引擎有何影响 答：不可以。 主站和二级域名不能通用robots的，应放到各自的根目录下。 但如果在二级域名里，蜘蛛是通过 xx.abc.com/robots.txt 的路径来访问的。
2019-08-16
227
最近在弄这个，不清楚有效果没有，故此来让各位大神帮助! 百度并不是去爬你网站的根目录。 robots协议是所有搜索引擎需要遵守的协议，因为网站是个人或者企业拥有的，所以就有属于个人或者企业私有的内容，所有权拥有者有权不对外开放。所以robots就是这样的
162
求助：栏目名称与所优化的主页关键词不相关，比如：我在首页要优化seo技术，而栏目的名称为dedecms文章，想采用nofollow，不给这个栏目传递权重，使权重集中在首页，各位高人看看，是否可行 核心意思是给不相关的栏目，做nofollow。是否可行(关于我们，公
170
通过robots.txt写法了解到我们在做 网站优化 时，可以通过robots.txt给网站进行加分，不但将网站的隐私保护起来，而且可以帮助百度蜘蛛更高效地工作，貌似有点我为搜索引擎，搜索引擎为我的意思。 作为 北京SEO 达人，是不是只要做到网站上添加个robots.txt
215