計(jì)世網(wǎng) 評(píng)估搜索引擎背后的信息檢索技術(shù)的先進(jìn)性，驗(yàn)證互聯(lián)網(wǎng)環(huán)境下大規(guī)模數(shù)據(jù)的信息檢索技術(shù)的系統(tǒng)有效性,，推動(dòng)檢索技術(shù)的進(jìn)步和成果轉(zhuǎn)化,，這是信息檢索技術(shù)評(píng)測(cè)的主要目標(biāo)。

　　互聯(lián)網(wǎng)蓬勃興起使人們擺脫了信息貧乏的桎梏,，進(jìn)入了一個(gè)信息極度豐富的時(shí)代,。比如，今天僅Google能索引到的網(wǎng)頁(yè)就超過(guò)80億個(gè),，圖片超過(guò)10億張,。當(dāng)信息的來(lái)源不再是問(wèn)題時(shí)，如何快捷準(zhǔn)確地獲取感興趣的信息就成為人們關(guān)注的主要問(wèn)題,。因此,，以Web搜索引擎為代表的 Google、百度,、Yahoo都取得了很大成功,。然而，基于不同的信息檢索技術(shù)發(fā)展而來(lái)的搜索引擎系統(tǒng),，對(duì)于同一個(gè)用戶(hù)查詢(xún)其結(jié)果往往存在差異,，由此產(chǎn)生了比較結(jié)果的需求,。而基于主觀使用感受的評(píng)價(jià)既不客觀也不可靠，因此,，必須提出一套客觀的評(píng)測(cè)體系,，這種評(píng)測(cè)不受個(gè)別人主觀感覺(jué)的影響，并且所做出的評(píng)價(jià)在通常情況下都成立,。這種評(píng)測(cè)研究的方法具有以下特點(diǎn)：明確的形式化研究任務(wù),、公開(kāi)的訓(xùn)練與測(cè)試數(shù)據(jù)、公開(kāi)的評(píng)測(cè)比較,。它使得研究之間的比較更加客觀,，從而讓研究者認(rèn)清各種技術(shù)的優(yōu)劣，起到正確引導(dǎo)研究發(fā)展方向的目的,。

信息檢索技術(shù)的現(xiàn)狀

提及信息檢索,，大家往往馬上會(huì)想起Google、Yahoo等搜索引擎公司,?？梢哉f(shuō)，Web搜索引擎與大家的日常生活最為密切,，在某種程度上成了信息檢索技術(shù)的代稱(chēng),。但作為實(shí)用化的系統(tǒng)，搜索引擎一般采用比較成熟的技術(shù),，并對(duì)穩(wěn)定性、反映速度,、界面等工程化問(wèn)題更為關(guān)注,。因此，這些系統(tǒng)并不完全代表信息檢索技術(shù)的發(fā)展水平,。

　　由于人們對(duì)于各種粒度的信息獲取的需求不斷增長(zhǎng),，國(guó)外的學(xué)術(shù)界和企業(yè)界對(duì)為此投入了相當(dāng)大的力量進(jìn)行前瞻性研究，這方面比較有代表性的機(jī)構(gòu)是馬薩諸塞大學(xué),、卡耐基梅隆大學(xué),、倫敦城市大學(xué)、IBM,、微軟研究院,、滑鐵盧大學(xué)等。

　　總的來(lái)看,，早期以O(shè)kapi,、Smart、查詢(xún)擴(kuò)展,、相關(guān)反饋為代表的內(nèi)容分析技術(shù),，后來(lái)以Pagerank,、HITS為代表的鏈接分析技術(shù)，以及近年來(lái)的語(yǔ)言模型,，都曾在信息檢索發(fā)展過(guò)程中掀起研究熱潮,，但近年來(lái)卻少有激動(dòng)人心的新技術(shù)出現(xiàn)。2005年,，TREC在其總結(jié)報(bào)告指出現(xiàn)在“信息檢索性能已進(jìn)入平臺(tái)期”,。這表明，用戶(hù)無(wú)關(guān)的傳統(tǒng)信息檢索技術(shù)已相對(duì)成熟,。這些技術(shù)已經(jīng)被商用搜索引擎廣泛應(yīng)用,，并在一定程度上解決了用戶(hù)在粗粒度（文檔級(jí)）上的信息獲取需求。

　　從TREC來(lái)看,，現(xiàn)在的任務(wù)設(shè)置向高精度,、細(xì)粒度和大規(guī)模三個(gè)方向傾斜，比較有代表性的有高精度文檔檢索任務(wù)（HARD）,、新信息檢測(cè)任務(wù)（Novelty）,、問(wèn)答任務(wù)（QA）、TB級(jí)檢索（Terabyte）等,。其中前三個(gè)任務(wù)要求返回的結(jié)果不再是簡(jiǎn)單的一篇篇文檔,，而是信息片斷，而TB級(jí)檢索則是把測(cè)試集的規(guī)模提高到了TB級(jí),，其他不變,。從評(píng)測(cè)結(jié)果來(lái)看，這些任務(wù)已經(jīng)取得了很大進(jìn)展,。但相對(duì)于目前的技術(shù)而言,，這些任務(wù)還是相當(dāng)困難的，與實(shí)用還有一段距離,。

　　總的來(lái)看,，國(guó)外主流的Web檢索技術(shù)已比較成熟，無(wú)論從結(jié)果,、性能還是穩(wěn)定性來(lái)看,，都能提供令人滿(mǎn)意的結(jié)果，并且已經(jīng)在人們的日常信息獲取中發(fā)揮作用,。更高精度和更細(xì)粒度的檢索技術(shù)仍處于實(shí)驗(yàn)室階段,，但這方面的研究方興未艾。也許在不遠(yuǎn)的將來(lái),，我們就能看到基于這些新技術(shù)的搜索引擎的出現(xiàn),。而推動(dòng)信息檢索技術(shù)的不斷進(jìn)步正是信息檢索評(píng)測(cè)索要達(dá)到的目標(biāo)。

信息檢索評(píng)測(cè)

　　作為扶持科技發(fā)展的重要措施之一，863國(guó)家高技術(shù)研究發(fā)展計(jì)劃一直對(duì)國(guó)內(nèi)的研究有著重要影響,。而規(guī)范化評(píng)測(cè)作為檢驗(yàn)系統(tǒng)性能的可信機(jī)制,，逐漸成為 863關(guān)注的重點(diǎn)之一。2003年,，國(guó)家863計(jì)劃軟硬件主題設(shè)立了“中文信息處理和智能人機(jī)接口技術(shù)評(píng)測(cè)”專(zhuān)項(xiàng)課題,，對(duì)包括機(jī)器翻譯、語(yǔ)音識(shí)別,、信息檢索在內(nèi)的中文信息處理關(guān)鍵技術(shù)進(jìn)行評(píng)測(cè),。信息檢索評(píng)測(cè)的目的并不僅僅定位為863課題驗(yàn)收或資格認(rèn)證，而是要了解國(guó)內(nèi)在中文信息檢索技術(shù)領(lǐng)域的研究現(xiàn)狀,，驗(yàn)證互聯(lián)網(wǎng)環(huán)境下大規(guī)模數(shù)據(jù)的中文信息檢索技術(shù)的系統(tǒng)有效性,，推動(dòng)技術(shù)進(jìn)步和成果的應(yīng)用和轉(zhuǎn)化，成為這個(gè)領(lǐng)域技術(shù)評(píng)價(jià)和交流的平臺(tái),。

從2003年開(kāi)始,，連續(xù)三屆信息檢索評(píng)測(cè)在任務(wù)設(shè)置和組織形式上有所不同，如表1所示：
時(shí)間 評(píng)測(cè)任務(wù) 評(píng)測(cè)形式 參加單位
2003.10.28 全文檢索 現(xiàn)場(chǎng)評(píng)測(cè) 北京語(yǔ)言大學(xué)語(yǔ)言信息處理研究所
復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)與工程系
清華大學(xué)智能技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室

2004.10.19 文檔檢索 現(xiàn)場(chǎng)評(píng)測(cè) 北京語(yǔ)言文化大學(xué)
段落檢索 哈爾濱工業(yè)大學(xué)檢索組
哈爾濱工業(yè)大學(xué)語(yǔ)言組
南京大學(xué)
清華大學(xué)智能技術(shù)與系統(tǒng)實(shí)驗(yàn)室