顺晟科技：

你这个Robots写了等于没写，Sitemap很有必要也稍微麻烦一点

能加Sitemap好，不需要写那么麻烦，全部搜索引擎抓取就可以了

目前是这样写的，可以吗？然后我看有的人写的里面有sitemap，这个有必要添加吗

不同重复允许抓取所有，但是你还要禁止抓取你的后台等文件，可以设置一个允许抓取Sitemap

用 * 泛指 代替那些浏览器不简单点吗 我没有加地图 你可以 直接参考下 百度站长平台的Robots 规范