1990年，加拿大蒙特利尔大学艾伦伊米杰三个学生在查询文件的时候感到非常不便，当时需要到散布在各个分散的FTP主机中去搜索，于是他们三人发了用文件名称查找文件系统的设想。经过精心设计，终于开发出了Archie程序。Archie是第一个自动搜索互联网上匿名FTP网站文件的程序。Archie是一个可搜索的FTP文件名称排列表，当用户输入精确的文件名称时，Archie就会告诉用户哪一个FTP地址可以下载该文件。由此可见，Archie已具备了现代搜索引擎的雏形。
1993年，美国内华达州系统计算机服务大学开发了地鼠搜索工具Veronica。显然，Archie是受Archie启发而开发出来的。由于专门来检索信息的机器人程序像蜘蛛一样在网络间爬来爬去，因此，Robot程序又被称之为Spider程序，世界上第一个Spider程序是由1993年6月美国麻省理工学院学生马杰，杰瑞开发出来的World Wide Web Wanderer.它可以用来捕捉互联网上的网址。虽然它还不是真正意义上的搜索引擎，但WWW Wanderer的原理与技术被今天的搜索引擎广泛采用。
1993年10月，英国Nexor公司的马丁科斯创建了Aliweb，它是Archie的HTTP版本，由于互联网的发展，搜索新网页越来越困难，因此，一些编程人员在Wanderer基础上，将Spider程序工作原理进行了改进。于是到了1993年底，一些被称为现代的搜索引擎开始出现了。
