网站管理员以及网络内容提供者在90年代中期开始使用搜索引擎来优化网站。

此时代搜索引擎开始对互联网分门别类。

一开始，所有网站管理员能做的事只有提交所属网站到各家搜索引擎。

这些引擎运行一些蜘蛛机器人（spider）──t他们会在网页程序中找到连至其他网页的超链接──并且存储所找到的资料。

过程中同时包含了将网页下载并存储至搜索引擎拥有者的服务器中，这时有另外一个软件称为Indexer来截取页面中不同的信息——页面中的文字、文字的位置、文字的重要性以及页面所包含的任何链接，之后将页面置入清单中等待过些时日后，再来截取一次。随着在线文件数目日积月累，越来越多网站员意识到自然搜索 （有机搜索） 条目的重要性，所以较普及的搜索引擎公司开始整理他们的列表，以显示最恰当适合的网页为优先。搜索引擎与网站管理员的战争就此开始，并延续至今。