● 搜索引擎歷史 |前生今世——搜索引擎發(fā)展史
前生今世——搜索引擎發(fā)展史
1990年以前，沒有任何人能搜索互聯(lián)網(wǎng)。
所有搜索引擎的祖先，是1990年由Montreal的McGill University學(xué)生Alan Emtage、Peter Deutsch、Bill Wheelan發(fā)明的Archie(Archie FAQ)。當(dāng)時(shí)World Wide Web還未出現(xiàn)。Archie是第一個(gè)自動(dòng)索引互聯(lián)網(wǎng)上匿名FTP網(wǎng)站文件的程序，但它還不是真正的搜索引擎。Archie是一個(gè)可搜索的FTP文件名列表，用戶必須輸入精確的文件名搜索，然后Archie會告訴用戶哪一個(gè)FTP地址可以下載該文件。
由于Archie深受歡迎，受其啟發(fā)，Nevada System Computing Services大學(xué)于1993年開發(fā)了一個(gè)Gopher（Gopher FAQ）搜索工具Veronica（Veronica FAQ）。Jughead是后來另一個(gè)Gopher搜索工具。
由于專門用于檢索信息的Robot程序象蜘蛛(spider)一樣在網(wǎng)絡(luò)間爬來爬去，因此，搜索引擎的Robot程序被稱為spider(Spider FAQ)程序。世界上第一個(gè)Spider程序，是MIT Matthew Gray的World wide Web Wanderer，用于追蹤互聯(lián)網(wǎng)發(fā)展規(guī)模。剛開始它只用來統(tǒng)計(jì)互聯(lián)網(wǎng)上的服務(wù)器數(shù)量，后來則發(fā)展為也能夠捕獲網(wǎng)址（URL）。
與Wanderer相對應(yīng)，1993年10月Martijn Koster創(chuàng)建了ALIWEB（Martijn Koster Annouces the Availability of Aliweb），它相當(dāng)于Archie的HTTP版本。ALIWEB不使用網(wǎng)絡(luò)搜尋Robot，如果網(wǎng)站主管們希望自己的網(wǎng)頁被ALIWEB收錄，需要自己提交每一個(gè)網(wǎng)頁的簡介索引信息，類似于后來大家熟知的Yahoo。
1993年底，一些基于此原理的搜索引擎開始紛紛涌現(xiàn)，其中最負(fù)盛名的三個(gè)是：Scotland的JumpStation、Colorado 大學(xué)Oliver McBryan的The World Wide Web Worm（First Mention of McBryan’s World Wide Web Worm）、NASA的Repository-Based Software Engineering (RBSE) spider。
1993年2月，6個(gè)Stanford（斯坦福）大學(xué)生的想法是分析字詞關(guān)系，以對互聯(lián)網(wǎng)上的大量信息作更有效的檢索。這就是Excite。后來曾以概念搜索聞名，2002年5月，被Infospace收購的Excite停止自己的搜索引擎，改用元搜索引擎Dogpile
1994年1月，第一個(gè)既可搜索又可瀏覽的分類目錄EINet Galaxy（Tradewave Galaxy）上線。除了網(wǎng)站搜索，它還支持Gopher和Telnet搜索�！�
1994年4月，Stanford兩名博士生，美籍華人Jerry Yang（楊致遠(yuǎn)）和David Filo共同創(chuàng)辦了Yahoo。隨著訪問量和收錄鏈接數(shù)的增長，Yahoo目錄開始支持簡單的數(shù)據(jù)庫搜索。因?yàn)閅ahoo!的數(shù)據(jù)是手工輸入的，所以不能真正被歸為搜索引擎，事實(shí)上只是一個(gè)可搜索的目錄。搜索效率明顯提高。（Yahoo以后陸續(xù)使用Altavista、Inktomi、Google提供搜索引擎服務(wù)）
1994年初，Washington大學(xué)CS學(xué)生Brian Pinkerton開始了他的小項(xiàng)目WebCrawler（Brian Pinkerton Announces the Availability of Webcrawler）。1994年4月20日，WebCrawler正式亮相時(shí)僅包含來自6000個(gè)服務(wù)器的內(nèi)容。WebCrawler是互聯(lián)網(wǎng)上第一個(gè)支持搜索文件全部文字的全文搜索引擎，在它之前，用戶只能通過URL和摘要搜索，摘要一般來自人工評論或程序自動(dòng)取正文的前100個(gè)字。（后來webcrawler陸續(xù)被AOL和Excite收購，現(xiàn)在和excite一樣改用元搜索引擎Dogpile）
Lycos（Carnegie Mellon University Center for Machine Translation Announces Lycos ）是搜索引擎史上又一個(gè)重要的進(jìn)步。Carnegie Mellon University的Michael Mauldin將John Leavitt的spider程序接入到其索引程序中，創(chuàng)建了Lycos。1994年7月20日，數(shù)據(jù)量為54,000的Lycos正式發(fā)布。除了相關(guān)性排序外，Lycos還提供了前綴匹配和字符相近限制，Lycos第一個(gè)在搜索結(jié)果中使用了網(wǎng)頁自動(dòng)摘要，而最大的優(yōu)勢還是它遠(yuǎn)勝過其它搜索引擎的數(shù)據(jù)量：1994年8月－－394,000 documents；1995年1月－－1.5 million documents；1996年11月－－over 60 million documents。（注：1999年4月，Lycos停止自己的Spider，改由Fast提供搜索引擎服務(wù)）
Infoseek（Steve Kirsch Announces Free Demos Of the Infoseek Search Engine）是另一個(gè)重要的搜索引擎，雖然公司聲稱1994年1月已創(chuàng)立，但直到年底它的搜索引擎才與公眾見面。起初，Infoseek只是一個(gè)不起眼的搜索引擎，它沿襲Yahoo!和Lycos的概念，并沒有什么獨(dú)特的革新。但是它的發(fā)展史和后來受到的眾口稱贊證明，起初第一個(gè)登臺并不總是很重要。Infoseek友善的用戶界面、大量附加服務(wù)（such as UPS tracking, News, a directory, and the like) 使它聲望日隆。而1995年12月與Netscape的戰(zhàn)略性協(xié)議，使它成為一個(gè)強(qiáng)勢搜索引擎：當(dāng)用戶點(diǎn)擊Netscape瀏覽器上的搜索按鈕時(shí)，彈出Infoseek的搜索服務(wù)，而此前由Yahoo!提供該服務(wù)。（注：Infoseek后來曾以相關(guān)性聞名，2001年2月，Infoseek停止了自己的搜索引擎，開始改用Overture的搜索結(jié)果）
1995年，一種新的搜索引擎形式出現(xiàn)了——元搜索引擎（A Meta Search Engine Roundup）。用戶只需提交一次搜索請求，由元搜索引擎負(fù)責(zé)轉(zhuǎn)換處理后提交給多個(gè)預(yù)先選定的獨(dú)立搜索引擎，并將從各獨(dú)立搜索引擎返回的所有查詢結(jié)果，集中起來處理后再返回給用戶。第一個(gè)元搜索引擎，是Washington大學(xué)碩士生 Eric Selberg 和 Oren Etzioni 的 Metacrawler。元搜索引擎概念上好聽，但搜索效果始終不理想，所以沒有哪個(gè)元搜索引擎有過強(qiáng)勢地位�！�
DEC的AltaVista(2001年夏季起部分網(wǎng)友需通過p-roxy訪問，無p-roxy可用qbseach單選altavista搜索，只能顯示第一頁搜索結(jié)果)是一個(gè)遲到者，1995年12月才登場亮相（AltaVista Public Beta Press Release ）。但是，大量的創(chuàng)新功能使它迅速到達(dá)當(dāng)時(shí)搜索引擎的頂峰。Altavista最突出的優(yōu)勢是它的速度（搜索引擎9238：比較搞笑，設(shè)計(jì)altavista的目的，據(jù)說只是為了展示DEC Alpha芯片的強(qiáng)大運(yùn)算能力）�！ 《鳤ltavista的另一些新功能，則永遠(yuǎn)改變了搜索引擎的定義。AltaVista是第一個(gè)支持自然語言搜索的搜索引擎，AltaVista是第一個(gè)實(shí)現(xiàn)高級搜索語法的搜索引擎（如AND, OR, NOT等)。用戶可以用AltaVista搜索Newsgroups（新聞組）的內(nèi)容并從互聯(lián)網(wǎng)上獲得文章，還可以搜索圖片名稱中的文字、搜索Titles、搜索Java applets、搜索ActiveX objects。AltaVista也聲稱是第一個(gè)支持用戶自己向網(wǎng)頁索引庫提交或刪除URL的搜索引擎，并能在24小時(shí)內(nèi)上線。AltaVista最有趣的新功能之一，是搜索有鏈接指向某個(gè)URL的所有網(wǎng)站。在面向用戶的界面上，AltaVista也作了大量革新。它在搜索框區(qū)域下放了“tips”以幫助用戶更好的表達(dá)搜索式，這些小tip經(jīng)常更新，這樣，在搜索過幾次以后，用戶會看到很多他們可能從來不知道的的有趣功能。這系列功能，逐漸被其它搜索引擎廣泛采用。1997年，AltaVista發(fā)布了一個(gè)圖形演示系統(tǒng)LiveTopics，幫助用戶從成千上萬的搜索結(jié)果中找到想要的。
然后到來的是HotBot。1995年9月26日，加州伯克利分校CS助教Eric Brewer、博士生Paul Gauthier創(chuàng)立了Inktomi（UC Berkeley Announces Inktomi），1996年5月20日，Inktomi公司成立，強(qiáng)大的HotBot出現(xiàn)在世人面前。聲稱每天能抓取索引1千萬頁以上，所以有遠(yuǎn)超過其它搜索引擎的新內(nèi)容。HotBot也大量運(yùn)用cookie儲存用戶的個(gè)人搜索喜好設(shè)置。（Hotbot曾是隨后幾年最受歡迎的搜索引擎之一，后被Lycos收購）
Northernlight 公司于1995年9月成立于馬薩諸塞州劍橋，1997年8月，Northernlight搜索引擎正式現(xiàn)身。它曾是擁有最大數(shù)據(jù)庫的搜索引擎之一，它沒有Stop Words，它有出色的Current News、7,100多出版物組成的Special Collection、良好的高級搜索語法，第一個(gè)支持對搜索結(jié)果進(jìn)行簡單的自動(dòng)分類。（2002年1月16日，Northernlight公共搜索引擎關(guān)閉，隨后被divine收購，但在Nlresearch，選中"World Wide Web only"，仍可使用Northernlight搜索引擎）
1998年10月之前，Google只是Stanford大學(xué)的一個(gè)小項(xiàng)目BackRub。1995年博士生Larry Page開始學(xué)習(xí)搜索引擎設(shè)計(jì)，于1997年9月15日注冊了google.com的域名，1997年底，在Sergey Brin和Scott Hassan、Alan Steremberg的共同參與下，BachRub開始提供Demo。1999年2月，Google完成了從Alpha版到Beta版的蛻變。Google公司則把1998年9月27日認(rèn)作自己的生日。
Google在Pagerank、動(dòng)態(tài)摘要、網(wǎng)頁快照、DailyRefresh、多文檔格式支持、地圖股票詞典尋人等集成搜索、多語言支持、用戶界面等功能上的革新，象Altavista一樣，再一次永遠(yuǎn)改變了搜索引擎的定義。
在2000年中以前，Google雖然以搜索準(zhǔn)確性備受贊譽(yù)，但因?yàn)閿?shù)據(jù)庫不如其它搜索引擎大，缺乏高級搜索語法，所以使用價(jià)值不是很高，推廣并不快。直到2000年中數(shù)據(jù)庫升級后，又借被Yahoo選作搜索引擎的東風(fēng)，才一飛沖天。
Fast（Alltheweb）公司創(chuàng)立于1997年，是挪威科技大學(xué)(NTNU)學(xué)術(shù)研究的副產(chǎn)品。1999年5月，發(fā)布了自己的搜索引擎AllTheWeb。Fast創(chuàng)立的目標(biāo)是做世界上最大和最快的搜索引擎，幾年來庶幾近之。Fast（Alltheweb）的網(wǎng)頁搜索可利用ODP自動(dòng)分類，支持Flash和pdf搜索，支持多語言搜索，還提供新聞搜索、圖像搜索、視頻、MP3、和FTP搜索，擁有極其強(qiáng)大的高級搜索功能。
Teoma 起源于1998年Rutgers大學(xué)的一個(gè)項(xiàng)目。Apostolos Gerasoulis教授帶領(lǐng)華裔Tao Yang教授等人創(chuàng)立Teoma于新澤西Piscataway，2001年春初次登場，2001年9月被提問式搜索引擎Ask Jeeves收購，2002年4月再次發(fā)布。Teoma的數(shù)據(jù)庫目前仍偏小，但有兩個(gè)出彩的功能：支持類似自動(dòng)分類的Refine；同時(shí)提供專業(yè)鏈接目錄的Resources。
Wisenut 由韓裔Yeogirl Yun創(chuàng)立。2001年春季發(fā)布Beta版，2001年9月5日發(fā)布正式版，2002年4月被分類目錄提供商looksmart收購。wisenut也有兩個(gè)出彩的功能：包含類似自動(dòng)分類和相關(guān)檢索詞的WiseGuide；預(yù)覽搜索結(jié)果的Sneak-a-Peek。
Gigablast 由前Infoseek工程師Matt Wells創(chuàng)立，2002年3月展示pre-beta版，2002年7月21日發(fā)布Beta版。Gigablast的數(shù)據(jù)庫目前仍偏小，但也提供網(wǎng)頁快照，一個(gè)特色功能是即時(shí)索引網(wǎng)頁，你的網(wǎng)頁剛提交它就能搜索（注：這個(gè)spammers的肉包子功能暫已關(guān)閉）。
Openfind 創(chuàng)立于1998年1月，其技術(shù)源自臺灣中正大學(xué)吳升教授所領(lǐng)導(dǎo)的GAIS實(shí)驗(yàn)室。Openfind起先只做中文搜索引擎，曾經(jīng)是最好的中文搜索引擎，鼎盛時(shí)期同時(shí)為三大著名門戶新浪、奇摩、雅虎提供中文搜索引擎，但2000年后市場逐漸被Baidu和Google瓜分。2002年6月，Openfind重新發(fā)布基于GAIS30 Project的Openfind搜索引擎Beta版，推出多元排序(PolyRankTM)，宣布累計(jì)抓取網(wǎng)頁35億，開始進(jìn)入英文搜索領(lǐng)域，此后技術(shù)升級明顯加快。
北大天網(wǎng) 是國家"九五"重點(diǎn)科技攻關(guān)項(xiàng)目"中文編碼和分布式中英文信息發(fā)現(xiàn)"的研究成果，由北大計(jì)算機(jī)系網(wǎng)絡(luò)與分布式系統(tǒng)研究室開發(fā)，于1997年10月29日正式在CERNET上提供服務(wù)。2000年初成立天網(wǎng)搜索引擎新課題組，由國家973重點(diǎn)基礎(chǔ)研究發(fā)展規(guī)劃項(xiàng)目基金資助開發(fā)，收錄網(wǎng)頁約6000萬，利用教育網(wǎng)優(yōu)勢，有強(qiáng)大的ftp搜索功能。
Baidu 2000年1月，超鏈分析專利發(fā)明人、前Infoseek資深工程師李彥宏與好友徐勇（加州伯克利分校博士）在北京中關(guān)村創(chuàng)立了百度（Baidu）公司。2001年8月發(fā)布Baidu.com搜索引擎Beta版（此前Baidu只為其它門戶網(wǎng)站搜狐新浪Tom等提供搜索引擎），2001年10月22日正式發(fā)布Baidu搜索引擎。Baidu雖然只提供中文搜索，但目前收錄中文網(wǎng)頁超過9000萬，可能是最大的的中文數(shù)據(jù)庫。Baidu搜索引擎的其它特色包括：網(wǎng)頁快照、網(wǎng)頁預(yù)覽/預(yù)覽全部網(wǎng)頁、相關(guān)搜索詞、錯(cuò)別字糾正提示、新聞搜索、Flash搜索、信息快遞搜索。2002年3月閃電計(jì)劃（Blitzen Project）開始后，技術(shù)升級明顯加快。
他們?nèi)缡钦f搜索（穿插）
l 雅虎搜索業(yè)務(wù)主管杰夫·維納：“搜索業(yè)務(wù)是我們更廣泛的經(jīng)營戰(zhàn)略中的一個(gè)組成部分，并非所有的搜索服務(wù)都是同樣好的，只有幾家搜索網(wǎng)站能夠?yàn)橛脩籼峁┮徽臼剿阉鞣⻊?wù)。現(xiàn)在有產(chǎn)品搜索網(wǎng)站，也有產(chǎn)品對比搜索網(wǎng)站，我們意識到將搜索與公司的其他業(yè)務(wù)融為一體至關(guān)重要�！�
l “搜索是百度成功的所有秘密，”百度總裁李彥宏說：“這是互聯(lián)網(wǎng)用戶最常用的服務(wù)之一，而且可以對用戶形成很多的影響力。越來越多的影響著互聯(lián)網(wǎng)產(chǎn)業(yè)，百度就是一個(gè)明證�！�
重要參考文章：http://www.ciweekly.com/article/20031114/20031114272124_1.xml
搜索百科知識（穿插）
參考：http://www.sowang.com/sousuo/20031008-4.htm
（需要補(bǔ)充）
搜索引擎的原理，可以看做三步：從互聯(lián)網(wǎng)上抓取網(wǎng)頁→建立索引數(shù)據(jù)庫→在索引數(shù)據(jù)庫中搜索排序。從互聯(lián)網(wǎng)上抓取網(wǎng)頁——利用能夠從互聯(lián)網(wǎng)上自動(dòng)收集網(wǎng)頁的Spider系統(tǒng)程序，自動(dòng)訪問互聯(lián)網(wǎng)，并沿著任何網(wǎng)頁中的所有URL爬到其它網(wǎng)頁，重復(fù)這過程，并把爬過的所有網(wǎng)頁收集回來。建立索引數(shù)據(jù)庫——由分析索引系統(tǒng)程序?qū)κ占貋淼木W(wǎng)頁進(jìn)行分析，提取相關(guān)網(wǎng)頁信息（包括網(wǎng)頁所在URL、編碼類型、頁面內(nèi)容包含的關(guān)鍵詞、關(guān)鍵詞位置、生成時(shí)間、大小、與其它網(wǎng)頁的鏈接關(guān)系等），根據(jù)一定的相關(guān)度算法進(jìn)行大量復(fù)雜計(jì)算，得到每一個(gè)網(wǎng)頁針對頁面內(nèi)容中及超鏈中每一個(gè)關(guān)鍵詞的相關(guān)度（或重要性），然后用這些相關(guān)信息建立網(wǎng)頁索引數(shù)據(jù)庫。在索引數(shù)據(jù)庫中搜索排序——當(dāng)用戶輸入關(guān)鍵詞搜索后，由搜索系統(tǒng)程序從網(wǎng)頁索引數(shù)據(jù)庫中找到符合該關(guān)鍵詞的所有相關(guān)網(wǎng)頁。因?yàn)樗邢嚓P(guān)網(wǎng)頁針對該關(guān)鍵詞的相關(guān)度早已算好，所以只需按照現(xiàn)成的相關(guān)度數(shù)值排序，相關(guān)度越高，排名越靠前。最后，由頁面生成系統(tǒng)將搜索結(jié)果的鏈接地址和頁面內(nèi)容摘要等內(nèi)容組織起來返回給用戶。
全球搜索引擎市場近期大事記
2002年12月24日，雅虎稱公司同意以大約2.35億美元的價(jià)格收購搜索軟件公司Inktomi。
2003年1月18日，Google收購博客網(wǎng)站Blogger.com開發(fā)團(tuán)隊(duì)——網(wǎng)上出版軟件開發(fā)商Pyra Labs。
2003年2月19日，Overture服務(wù)公司表示，計(jì)劃以1.4億美元現(xiàn)金加股票從CMGI公司手中收購門戶網(wǎng)站AtaVista。
2003年2月26日， Overture同意以1億美元收購位于挪威的Fast Search and Transfer公司的網(wǎng)絡(luò)搜索部門。
2003年4月15日，新浪與中國搜索聯(lián)盟結(jié)成戰(zhàn)略同盟，至此，中國已有數(shù)百家網(wǎng)站結(jié)成搜索聯(lián)盟，以迎接國際巨頭Google挺進(jìn)國內(nèi)市場后的巨大壓力。
2003年4月21日,第二大互聯(lián)網(wǎng)搜索引擎提供商Ask Jeeves公司宣布對其Ask.com網(wǎng)站進(jìn)行升級。Ask Jeeves是僅次于Google的第二大搜索引擎，也是互聯(lián)網(wǎng)上第五大搜索基地 (Google、雅虎、微軟、AOL、Askjeeves) 。
2003年6月18日，微軟公司表示其正在加大研發(fā)新型互聯(lián)網(wǎng)搜索引擎技術(shù)的力度，包括對一款功能更先進(jìn)的技術(shù)原型進(jìn)行測試。
2003年7月12日，從加利福里亞傳來消息，Google即將把總部從Bayshore Parkway搬遷至半里之遙的一個(gè)有四棟樓房的復(fù)式結(jié)構(gòu)建筑中去，而這個(gè)建筑是由鼎鼎大名但目前卻陷入困境的硅谷圖象（Silicon Graphics）公司騰出來的。大衛(wèi).奎恩（David Krane）證實(shí)了這個(gè)消息，并解釋說，這樣能讓公司現(xiàn)有的800多員工更好的分工合作和管理。
2003年7月13日，百度推出圖象搜索，新聞搜索兩大搜索功能，以此來帶動(dòng)搜索流量。同時(shí)，輔以百度的搜索風(fēng)云榜，使得百度的信息搜索及信息評估的作用更加突出
2003年7月15日，全球最大的互聯(lián)網(wǎng)公司雅虎宣布，以16．3億美元收購在網(wǎng)絡(luò)搜索服務(wù)上的競爭對手—Overture公司，以期在同Google的競爭中取得優(yōu)勢。
參考文章：
搜索引擎技術(shù)及趨勢：
http://www.webrank.cn/search_cyclopaedia/search_articles/se-jishuqushi.htm
他們?nèi)缡钦f搜索（穿插）
l 雅虎搜索業(yè)務(wù)主管杰夫·維納：“搜索業(yè)務(wù)是我們更廣泛的經(jīng)營戰(zhàn)略中的一個(gè)組成部分，并非所有的搜索服務(wù)都是同樣好的，只有幾家搜索網(wǎng)站能夠?yàn)橛脩籼峁┮徽臼剿阉鞣⻊?wù)�，F(xiàn)在有產(chǎn)品搜索網(wǎng)站，也有產(chǎn)品對比搜索網(wǎng)站，我們意識到將搜索與公司的其他業(yè)務(wù)融為一體至關(guān)重要�！�
l “搜索是百度成功的所有秘密，”百度總裁李彥宏說：“這是互聯(lián)網(wǎng)用戶最常用的服務(wù)之一，而且可以對用戶形成很多的影響力。越來越多的影響著互聯(lián)網(wǎng)產(chǎn)業(yè)，百度就是一個(gè)明證�！�
重要參考文章：http://www.ciweekly.com/article/20031114/20031114272124_1.xml
搜索百科知識（穿插）
參考：http://www.sowang.com/sousuo/20031008-4.htm
