|
閑著無事,，想寫點(diǎn)一些我所了解的machine learning大家。由于學(xué)識(shí)淺薄,，見識(shí)有限,，并且僅局限于某些領(lǐng)域，一些在NLP及最近很熱的生物信息領(lǐng)域活躍的學(xué)者我就淺陋無知,，所以不對(duì)的地方大家僅當(dāng)一笑,。 Machine Learning 大家(1)：M. I. Jordan 在我的眼里，M Jordan無疑是武林中的泰山北斗,。他師出MIT,，現(xiàn)在在berkeley坐鎮(zhèn)一方，在附近的兩所名校（加stanford）中都可以說無出其右 者,，stanford的Daphne Koller雖然也聲名遐邇,，但是和Jordan比還是有一段距離。 Jordan身兼stat和cs兩個(gè)系的教授,，從他身上可以看出Stat和ML的融合,。 Jordan 最先專注于mixtures of experts，并迅速奠定了自己的地位,，我們哈爾濱工業(yè)大學(xué)的校友徐雷跟他做博后期間,，也在這個(gè)方向上沾光不少。Jordan和他的弟子在很多方面作出 了開創(chuàng)性的成果,，如spectral clustering,， Graphical model和nonparametric Bayesian。現(xiàn)在后兩者在ML領(lǐng)域是非常炙手可熱的兩個(gè)方向,，可以說很大程度上是Jordan的lab一手推動(dòng)的,。 更難能 可貴的是， Jordan不僅自己武藝高強(qiáng),，并且攬錢有法,，教育有方，手下門徒眾多且很多人成了大器,，隱然成為江湖大幫派,。他的弟子中有10多人任教授，個(gè)人認(rèn)為他現(xiàn) 在的弟子中最出色的是stanford的Andrew Ng,，不過由于資歷原因,，現(xiàn)在還是assistant professor,，不過成為大教授指日可待；另外Tommi Jaakkola和David Blei也非常厲害,，其中Tommi Jaakkola在mit任教而David Blei在cmu做博后,，數(shù)次獲得NIPS最佳論文獎(jiǎng)，把SVM的最大間隔方法和Markov network的structure結(jié)構(gòu)結(jié)合起來,，赫赫有名,。還有一個(gè)博后是來自于toronto的Yee Whye Teh，非常不錯(cuò),，有幸跟他打過幾次交道,，人非常nice,。另外還有一個(gè)博后居然在做生物信息方面的東西,，看來jordan在這方面也撈了錢。這方面他有 一個(gè)中國學(xué)生Eric P. Xing(清華大學(xué)校友),，現(xiàn)在在cmu做assistant professor,。 總的說來，我 覺得 Jordan現(xiàn)在做的主要還是graphical model和Bayesian learning,，他去年寫了一本關(guān)于graphical model的書,，今年由mit press出版，應(yīng)該是這個(gè)領(lǐng)域里程碑式的著作,。3月份曾經(jīng)有人答應(yīng)給我一本打印本看看,，因?yàn)镴ordan不讓他傳播電子版，但后來好像沒放在心上（可見 美國人也不是很守信的）,，人不熟我也不好意思問著要,，可以說是一大遺憾. 另外發(fā)現(xiàn)一個(gè)有趣的現(xiàn)象就是Jordan對(duì)hierarchical情有獨(dú)鐘，相當(dāng)多的文章都是關(guān)于hierarchical的,，所以能 hierarchical大家趕快hierarchical,，否則就讓他給搶了。 用我朋友話說看jordan牛不牛,，看他主頁下面的Past students and postdocs就知道了,。 Machine Learning大家（2）：D. Koller D. Koller是1999年美國青年科學(xué)家總統(tǒng)獎(jiǎng)(PECASE)得主，IJCAI 2001 Computers and Thought Award(IJCAI計(jì)算機(jī)與思維獎(jiǎng),，這是國際人工智能界35歲以下青年學(xué)者的最高獎(jiǎng))得主,，2004 World Technology Award得主。 最先知道D koller是因?yàn)樗昧艘粋€(gè)大獎(jiǎng),，2001年IJCAI計(jì)算機(jī)與思維獎(jiǎng),。Koller因她在概率推理的理論和實(shí)踐、機(jī)器學(xué)習(xí),、計(jì)算博弈論等領(lǐng)域的重要貢 獻(xiàn),，成為繼Terry Winograd,、David Marr、Tom Mitchell,、Rodney Brooks等人之后的第18位獲獎(jiǎng)?wù)?。說起這個(gè)獎(jiǎng)挺有意思的，IJCAI終身成就獎(jiǎng)（IJCAI Award for Research Excellence）,，是國際人工智能界的最高榮譽(yù); IJCAI計(jì)算機(jī)與思維獎(jiǎng)是國際人工智能界35歲以下青年學(xué)者的最高榮譽(yù),。早期AI研究將推理置于至高無上的地位; 但是1991年牛人Rodney Brooks對(duì)推理全面否定，指出機(jī)器只能獨(dú)立學(xué)習(xí)而得到了IJCAI計(jì)算機(jī)與思維獎(jiǎng); 但是koller卻因提出了Probabilistic Relational Models 而證明機(jī)器可以推理論知而又得到了這個(gè)獎(jiǎng),，可見世事無絕對(duì),，科學(xué)有輪回。 D koller的Probabilistic Relational Models在nips和icml等各種牛會(huì)上活躍了相當(dāng)長的一段時(shí)間,，并且至少在實(shí)驗(yàn)室里證明了它在信息搜索上的價(jià)值,，這也導(dǎo)致了她的很多學(xué)生進(jìn)入了 google。雖然進(jìn)入google可能沒有在牛校當(dāng)faculty名聲響亮,，但要知道google的很多員工現(xiàn)在可都是百萬富翁,，在全美大肆買房買車的 主。 Koller的研究主要都集中在probabilistic graphical model,，如Bayesian網(wǎng)絡(luò),，但這玩意我沒有接觸過，我只看過幾篇他們的markov network的文章,，但看了也就看了,，一點(diǎn)想法都沒有，這灘水有點(diǎn)深,，不是我這種非科班出身的能趟的,，并且感覺難以應(yīng)用到我現(xiàn)在這個(gè)領(lǐng)域中。 Koller 才從教10年,，所以學(xué)生還沒有涌現(xiàn)出太多的牛人,，這也是她不能跟Jordan比擬的地方，并且由于在stanford的關(guān)系,，很多學(xué)生直接去硅谷賺大錢去 了,，而沒有在學(xué)術(shù)界開江湖大幫派的影響，但在stanford這可能太難以辦到,，因?yàn)榻疱X的誘惑實(shí)在太大了,。不過Koller的一個(gè)學(xué)生我非常崇拜，叫 Ben Taskar,，就是我在（1）中所提到的Jordan的博后,，是好幾個(gè)牛會(huì)的最佳論文獎(jiǎng)，他把SVM的最大間隔方法和Markov network結(jié)合起來,，可以說是對(duì)structure data處理的一種標(biāo)準(zhǔn)工具,，也把最大間隔方法帶入了一個(gè)新的熱潮,，近幾年很多牛會(huì)都有這樣的workshop。 我最開始上Ben Taskar的在stanford的個(gè)人網(wǎng)頁時(shí),，正趕上他剛畢業(yè),，他的頂上有這么一句話：流言變成了現(xiàn)實(shí)，我終于畢業(yè)了,！可見Koller是很變態(tài)的,，把 自己的學(xué)生關(guān)得這么郁悶，這恐怕也是大多數(shù)女faculty的通病吧,，并且估計(jì)還非常的push,！ Machine learning 大家（3）:J. D. Lafferty 大家都知道NIPS和ICML向來都是由大大小小的山頭所割據(jù)，而John Lafferty無疑是里面相當(dāng)高的一座高山,，這一點(diǎn)可從他的publication list里的NIPS和ICML數(shù)目得到明證,。雖然江湖傳說計(jì)算機(jī)重鎮(zhèn)CMU現(xiàn)在在走向衰落，但這無礙Lafferty擁有越來越大的影響力,，翻開AI兵 器譜排名第一的journal of machine learning research的很多文章,，我們都能發(fā)現(xiàn)author或者editor中赫然有Lafferty的名字。 Lafferty給人 留下的最大的印象似乎是他2001年的conditional random fields,，這篇文章后來被瘋狂引用，廣泛地應(yīng)用在語言和圖像處理,，并隨之出現(xiàn)了很多的變體,，如Kumar的discriminative random fields等。雖然大家都知道discriminative learning好,，但很久沒有找到好的discriminative方法去處理這些具有豐富的contextual inxxxxation的數(shù)據(jù),，直到Lafferty的出現(xiàn)。 而現(xiàn)在Lafferty做的東西好像很 雜,，semi－supervised learning,， kernel learning，graphical models甚至manifold learning都有涉及,，可能就是像武俠里一樣只要學(xué)會(huì)了九陽神功,，那么其它的武功就可以一窺而知其精髓了。這里面我最喜歡的是semi－ supervised learning,，因?yàn)殡S著要處理的數(shù)據(jù)越來越多,，進(jìn)行全部label過于困難，而完全unsupervised的方法又讓人不太放心,，在這種情況下 semi－supervised learning就成了最好的,。這沒有一個(gè)比較清晰的認(rèn)識(shí)，不過這也給了江湖后輩成名的可乘之機(jī),。到現(xiàn)在為止,，我覺得cmu的semi－ supervised是做得最好的,，以前是KAMAL NIGAM做了開創(chuàng)性的工作，而現(xiàn)在Lafferty和他的弟子作出了很多總結(jié)和創(chuàng)新,。 Lafferty 的弟子好像不是很多,，并且好像都不是很有名。不過今年畢業(yè)了一個(gè)中國人,，Xiaojin Zhu(上海交通大學(xué)校友),，就是做semi－supervised的那個(gè)人，現(xiàn)在在wisconsin-madison做assistant professor,。他做了迄今為止最全面的Semi-supervised learning literature survey,，大家可以從他的個(gè)人主頁中找到。這人看著很憨厚,，估計(jì)是很好的陶瓷對(duì)象,。另外我在（1）中所說的Jordan的牛弟子D Blei今年也投奔Lafferty做博后，就足見Lafferty的牛了,。 Lafferty做NLP是很好的,，著名的Link Grammar Parser還有很多別的應(yīng)用。其中l(wèi)anguage model在IR中應(yīng)用,，這方面他的另一個(gè)中國學(xué)生ChengXiang Zhai(南京大學(xué)校友,，2004年美國青年科學(xué)家總統(tǒng)獎(jiǎng)(PECASE)得主)，現(xiàn)在在uiuc做assistant professor,。 Machine learning 大家（4):Peter L. Bartlett 鄙人淺薄之見,，Jordan比起同在berkeley的Peter Bartlett還是要差一個(gè)層次。Bartlett主要的成就都是在learning theory方面,，也就是ML最本質(zhì)的東西,。他的幾篇開創(chuàng)性理論分析的論文，當(dāng)然還有他的書Neural Network Learning: Theoretical Foundations,。 UC Berkeley的統(tǒng)計(jì)系在強(qiáng)手如林的北美高校中一直是top3,，這就足以證明其肯定是群星薈萃，而其中,，Peter L. Bartlett是相當(dāng)亮的一顆星,。關(guān)于他的研究，我想可以從他的一本書里得到答案：Neural Network Learning: Theoretical Foundations,。也就是說,，他主要做的是Theoretical Foundations?；A(chǔ)理論雖然沒有一些直接可面向應(yīng)用的算法那樣引人注目,，但對(duì)科學(xué)的發(fā)展實(shí)際上起著更大的作用。試想vapnik要不是在VC維 的理論上辛苦了這么多年，怎么可能有SVM的問世,。不過陽春白雪固是高雅,，但大多數(shù)人只能聽懂下里巴人，所以Bartlett的文章大多只能在做理論的那 個(gè)圈子里產(chǎn)生影響,，而不能為大多數(shù)人所廣泛引用,。 Bartlett在最近兩年做了大量的Large margin classifiers方面的工作，如其convergence rate和generalization bound等,。并且很多是與jordan合作,，足見兩人的工作有很多相通之處。不過我發(fā)現(xiàn)Bartlett的大多數(shù)文章都是自己為第一作者,，估計(jì)是在教育 上存在問題吧,，沒帶出特別牛的學(xué)生出來。 Bartlett的個(gè)人主頁的talk里有很多值得一看的slides,如Large Margin Classifiers: Convexity and Classification,；Large Margin Methods for Structured Classification: Exponentiated Gradient Algorithms,。大家有興趣的話可以去下來看看。 Machine learning 大家（5): Michael Collins Michael Collins (http://people.csail./mcollins/ 自然語言處理(NLP)江湖的第一高人,。出身Upenn,，靠一身叫做Collins Parser的武功在江湖上展露頭腳。當(dāng)然除了資質(zhì)好之外,，其出身也幫了不少忙,。早年一個(gè)叫做Mitchell P. Marcus的師傅傳授了他一本葵花寶典-Penn Treebank。從此,，Collins整日沉迷于此,，終于練成蓋世神功。 學(xué)成之后,，Collins告別師傅開始闖蕩江湖，投入了一個(gè)叫AT&T Labs Research的幫會(huì),，并有幸結(jié)識(shí)了Robert Schapire,、Yoram Singer等眾多高手。大家不要小瞧這個(gè)叫AT&T Labs Research的幫會(huì),，如果誰沒有聽過它的大名總該知道它的同父異母的兄弟Bell Labs吧,。 言歸正傳，話說 Collins在這里度過了3年快樂的時(shí)光,。其間也奠定了其NLP江湖老大的地位,。并且練就了Discriminative Reranking， Convolution Kernels,，Discriminative Training Methods for Hidden Markov Models等多種絕技,。然而，世事難料，怎奈由于幫會(huì)經(jīng)營不善,，這幫大牛又不會(huì)為幫會(huì)拼殺,，終于被一腳踢開，大家如鳥獸散了,。Schapire去了 Princeton,， Singer 也回老家以色列了。Collins來到了MIT,，成為了武林第一大幫的六袋長老,，并教授一門叫做的Machine Learning Approaches for NLP (http://www.ai./courses/6.891-nlp/ 的功夫。雖然這一地位與其功力極不相符,，但是這并沒有打消Collins的積極性,，通過其刻苦打拼，終于得到了一個(gè)叫Sloan Research Fellow的頭銜,，并于今年7月,，光榮的升任7袋Associate Professor。 在其下山短短7年時(shí)間內(nèi),，Collins共獲得了4次世界級(jí)武道大會(huì)冠軍(EMNLP2002, 2004, UAI2004, 2005),。相信年輕的他，總有一天會(huì)一統(tǒng)丐幫,，甚至整個(gè)江湖,。 看過Collins和別人合作的一篇文章，用conditional random fields 做object recogntion,。還這么年輕,，admire to death！ |
|
|
