我们在第二章已经说过,传统的搜索引擎的核心由三部分组成。首先是网页捕获装置(或者网络爬虫),它尽可能地收集网络上的每一张网页。然后是索引,也就是根据被捕获网页生成的巨型数据库。最后是用户界面和搜索软件,它们共同以智能化的方式为终端用户提供索引中相关的内容。
1994~1995年间,互联网还是新生事物,没有人真正知道它到底有多大以及它成长得有多么快。但是,这个行业中的人都知道它大极了,而且它正在以一种令工程师和数学家们心悸的速度发展壮大。网络信息的数量在非常短的时间里就不断翻番,直至无穷大。莫尼尔觉得,如果可以发明一种机器来权威地为因特网的大小做个结论,那么他就可以名垂青史了。
当时已经存在十几种搜索引擎了,但是它们都存在这样或那样的缺陷。有的用户界面非常糟糕,有的则缺少强有力的查询语言。大部分只索引URL,而不是网站的所有基本内容。莫尼尔利用阿尔法计算机强大的处理能力发明出一种新式的网页捕获装置。这一点对实现莫尼尔完整性的目标非常关键,他的目标是要建立整个网络的索引,而不仅仅限于URL。
网页捕获以线形方式工作,也就是说,一个接一个地发现网站并储存它一路上找到的所有网页。如果局限于单一的查找链,一个网页捕获器永远也不能穷尽整个网络它需要花费太多时间来收集所有这些不计其数的链接。远在它完成这些工作之前,互联网已经又明显地长大了许多,收集所有网页的工作根本就没有可能了。
要解决这个问题,就要求许多个网页捕获器同时作业,共同建立网络索引。仰仗阿尔法64位的内存,莫尼尔可以同时派出1000个网络捕获器,这是前所未闻的数量。它们所带回来的东西是在网络短暂的历史上所能见到的最接近完整的索引包含数十亿单词的1000万个文件。
第12节:莫尼尔描绘互联网2
作者:'美'约翰·巴特利
莫尼尔还为这个新的索引设计了一个用户界面,在DEC内部进行了为期两个月的测试。每一个使用它的人都爱上了它。但是当莫尼尔寻求将他的引擎向公众开放的许可时,DEC的经营者们挠头了。搜索引擎对销售硬件设备有什么意义呢?
要是当初莫尼尔没有成功打动DEC的话,那么他也就没有什么了不起了。他向公司保证AltaVista会为公司建立良好的公众形象,而这恰恰是DEC非常缺乏的东西。1995年12月15日,莫尼尔关闭了DEC公司的防火墙,向公众开放了altavista。digital。网站。当时,这个网站已经索引了1600多万个文件。
但是我们是经营微型机的!
1995年对搜索而言是关键的一年。这一年新成立了十几家搜索公司。可是,对微型机经营企业来说,这是灾难性的一年。仅仅五年之前,DEC还处在鼎盛时期,拥有140亿美元的收入和13万名雇员。绝大多数公司的数据中心都是由DEC公司生产的VAX系列微型机来管理的。而正是这些数据中心推动了20世纪90年代末的因特网革命。
20世纪90年代中期,公司开始赔钱了,一年要赔20亿美元。在80年代末的繁荣时期,公司规模过度膨胀,而且(尽管也尝试过)他还是没有准备好迎接个人电脑时代的新挑战。在个人电脑时代,服务器和台式电脑都是基于个人电脑技术的。DEC公司习惯于纵横微型机市场,它的管理层完全应付不了来自康柏(paq)或戴尔(Dell)这类公司的竞争。
在DEC日渐衰败的时期,公司的领导者们疲于奔命,匆忙出台一项又一项新举措,裁员数万。今天设立一个软件部门,明天又建立一条新的个人电脑生产线。最后,公司又试图从因特网市场中捞到救命稻草,因为他们发现竞争对手硅谷图形公司(SGI)和太阳公司在销售高性能网络服务器,也许DEC也可以走这条路。为了推动需求,DEC软件开发的重点放在因特网网络连接和网络安全组件上。这是公司短视症的典型案例DEC的管理者们企图将全新的生机勃勃的计算机产业模式硬塞进DEC公司老旧过时的生产线中。他们期待网络的发展能够迫使顾客去购买微型机。恰恰相反,网络促成并推动了个人电脑革命,也带来了DEC旧式经营的覆灭。
可是,DEC其实可以说是因特网的先驱之一。如果说DEC曾经发掘过因特网这座金矿,那么所以这些探索都发生在Western实验室。这所实验室拥有当时全世界最大的因特网内容的宝库一台被称为Gatekeeper的计算机。Gatekeeper是一台拥有闻所未闻的超大容量的大型计算机。它可是连接早期因特网的一条宽阔的渠道。
布赖恩·里德回忆说,科研人员创造Gatekeeper时期待它可以〃造福大众〃。它起到了公共空间的作用,任何人都可以在上面存储和共享各种数字文件。当时,许多早期的因特网技术开发人员都在使用它提供的空间。也许当时DEC在商用微型机市场已经施展不开拳脚了,不过,在初生的因特网行业里,他还是很有号召力的。
第13节:最早的Google
作者:'美'约翰·巴特利
最早的Google
回顾起AltaVista发布以来所发生的事情,莫尼尔不禁摇头叹息。果然不出他所料,AltaVista面世之后非常受欢迎,然而〃我们过分成功了,以至于搬起石头砸了自己的脚,〃他懊悔地说。没有任何市场推广也没有正式的发布会,然而AltaVsita仅仅在发布的第一天就接待了30万名访客。一年之内,这个站点就完成了40多亿次的查询。40亿!几乎跟地球上的总人口一样多的查询啊!这的确非常了不起。
AltaVista所带来的媒体关注让莫尼尔DEC的老板们乐昏了头。莫尼尔回忆说:〃整个管理层都大吃一惊。他们还是不能理解这其中蕴藏的机遇,不过爱极了它带来公众效应。〃
他们简直爱死了它的公众效应。事实上,在一次会议中,一位DEC的公共关系主管还整理了厚厚一叠媒体对这个网站的报道的剪报集。作为庆祝,这些战利品还在董事会议上被郑重其事地传阅了。可是,当莫尼尔回顾这次称得上是非常成功的产品发布时,他的心情还是非常沉重的。他说:〃这些人还是习惯于硬件产品。〃当他说〃硬件〃这个词的时候仍带着轻蔑之意。〃请记住,这就是那家仅仅因为他们不喜欢任何不是微型机的东西就将阿尔法计算机搁置了18个月的公司。因此,当媒体开始不停地发问的时候,他们匆匆编造了一个'显示新硬件的优越性'的理由,教我这样应付媒体。〃
AltaVista的第一位首席执行官艾琳·兰(IlenLang)是一个比莫尼尔更懂得外交技巧的人,当我给她机会让她批驳莫尼尔的说法时,她没有上钩。1995年,兰从莲花公司(Lotus)的一个高级职位被挖角到DEC公司,领导软件集团。她加入不久,AltaVista就发布了。她告诉我:〃我们那时候就知道一件大事,其意义绝不仅仅是炫耀DEC公司的硬件实力。〃
在Western实验室看到AltaVista以及其他几样同因特网相关的好东西之后,兰迅速重组了新建的软件部门,率领它加入因特网市场的争夺,而AltaVista就是它王冠上的宝石。但是兰和莫尼尔很快就因为DEC公司的内部政策而受挫。炙手可热的AltaVista得不到资源支持,得不到关?