虽然当前主流的搜索引擎算法都在不断地更新改进自己的算法来帮助搜索用户寻找到更为优秀的网站内容，但对于大多数网站来说，有些针对搜索引擎来说的技术性的东西还是需要刻意地去避免，这就是今天要说到的哪些算是网站中常见的蜘蛛(爬虫)陷阱。

框架(Frame)

框架这技术现在用的越来越少了，一是因为有了更好的技术能够代替，二是这种技术构造的网站让搜索引擎无法分析出网站的内容是什么。在前几年，使用框架来做网站非常流行，最主要的原因是因为它使用和维护起来比较方便，能够帮助开发人员省很多精力。但随着搜索引擎排名在网站营销推广中的重要性愈加明显，更多有意识的站长和运营人员都开始对框架都避而远之。

Flash和图片

Flash和图片的内容一般来说也是搜索引擎爬虫无法分析得到的。如果一个网站只是局部使用少量的Flash，这对于网站收录和排名基本上都是没影响的，但怕的是为了追求美观和潮流，整个页面甚至整个网站都使用Flash这就惨了。因为搜索引擎爬虫无法得到Flash代码中的文字和链接，所以收录和排名都成了“浮云”。图片也是一样，爬虫毕竟只是一段程序，怎么可能知道图片的内容是什么。所以对于图片来说，图片文件的名称、图片ALT属性已经图片周围的文字就成了搜索引擎判断该图片内容的主要标准了。

Javascript技术

Javascript(JS)技术写的代码中的内容一般来说是不会被搜索引擎分析抓取的。虽然最近对于一些权重比较高的网站来说，JS中的内容也有被搜索引擎分析得到的情况发生，但毕竟还是少数，而且权重较高也是一个必要条件。所以，对于新站或者权重一般的网站来说，还是尽量避免让一些重要内容(文字和链接)出现在JS里面，除非这些内容你是不想让搜索引擎知道的。

URL标准化

个人建议网站URL最好全部标准化，URL标准化主要包括URL静态化和URL唯一化两种。URL静态化(伪静态)这里不想多说了，不了解的可以查看《URL静态化是什么》一文。URL唯一化其实是URL标准化的最终目的，就是实现网站中的页面和URL一对一的关系。这样有利于页面权重的集中从而更好地获取关键词排名。

以上建议是针对权重不是特别高的网站来说的，像京东、赶集和蘑菇街这类的网站来说就显得不是那么重要了，而且人家估计也不会刻意地去做SEO了吧。