作者 | 楊曉凡編輯 | Camel

最近一陣子,，NeurIPS 2019 放榜了、ICLR 2020 截稿了,，為論文沒中而悶悶不樂,、為投稿（或者改稿重投）而郁悶頭大的同學(xué)肯定不少。不過,，在乎真正的學(xué)術(shù)貢獻(xiàn)的同學(xué)也不用著急,，論文中了頂會最主要還是說明符合流行風(fēng)向+運(yùn)氣好，就像每年頂會的最佳論文過十年再來看往往并不是真正推動領(lǐng)域進(jìn)步的論文一樣,。

其實(shí),，豈止「頂會最佳論文往往不是真正推動領(lǐng)域進(jìn)步的論文」，有很多重要的、推動進(jìn)步的論文都沒投頂會,，甚至是投了然后被拒稿,。谷歌大腦研究員 Colin Raffel 在推特上發(fā)帖討論了這事，和其它幾位學(xué)者共同列舉了一批重要的,、推動了領(lǐng)域進(jìn)步的,、但并不屬于任何頂會的論文。

1,、用 RNN 生成序列

Generating Sequences With Recurrent Neural Networks

論文鏈接：https:///abs/1308.0850

這篇論文發(fā)布時(shí)是相當(dāng)驚人的,，首次表明了可以直接用 RNN 生成令人滿意的文本段落或者手寫文字（具體來說是用 LSTM 捕捉離散長序列的結(jié)構(gòu)，每次預(yù)測下一個(gè)緊接著的元素）,。而且這篇論文里還出現(xiàn)了注意力機(jī)制,、Adam 等等后來廣為使用的技巧的雛形,。

2,、WaveNet：一個(gè)原始音頻信號的生成模型

WaveNet: A Generative Model for Raw Audio

論文鏈接：https:///abs/1609.03499

來自 DeepMind 的大名鼎鼎的 WaveNet 論文可以說開創(chuàng)了一個(gè)新的時(shí)代。在此之前的語音生成模型都是先生成“聲碼”,，然后用單獨(dú)的發(fā)聲模型把聲碼變成音頻波形信號。WaveNet 直接表明了我們現(xiàn)在（2016 年）就可以直接用深度神經(jīng)網(wǎng)絡(luò)生成音頻波形信號,，跳過聲碼這一環(huán),，生成效果也有極大的提升。沿著這個(gè)方向,，后來的研究人員們還做了很多改進(jìn)和新的探索,，大幅提高語音生成速度的并行 WaveNet （Parallel WaveNet，/abs/1711.10433）也很快就進(jìn)入了谷歌的商用系統(tǒng),。

3,、學(xué)習(xí)生成評論并發(fā)掘情感

Learning to Generate Reviews and Discovering Sentiment

論文鏈接：https:///abs/1704.01444

這篇論文用了簡單的無監(jiān)督預(yù)訓(xùn)練方法學(xué)習(xí)文本表征,，然后得到了驚喜的結(jié)果：根據(jù)學(xué)習(xí)到的無監(jiān)督語言模型中的單個(gè)神經(jīng)元的閾值就可以準(zhǔn)確地判斷文本的情感,。這項(xiàng)研究也助推了遷移學(xué)習(xí)的方法在 NLP 領(lǐng)域的流行。

4,、隱式自動編碼器

Implicit Autoencoders

論文鏈接：https:///abs/1805.09804

可變自動編碼器（VAE）的概念提出了挺久了,，而這篇論文討論了一種新的自動編碼器形式：編碼器中的重建項(xiàng)和正則化項(xiàng)都是用對抗損失表示的,，也就是隱式地參數(shù)化,。相比于之前的顯式的做法，隱式參數(shù)化,、隱式的數(shù)據(jù)分布可以讓自動編碼器學(xué)習(xí)到更強(qiáng)有表現(xiàn)力的先驗(yàn)知識和條件似然分布,，從而，自動編碼器中的隱含空間可以更專注捕捉數(shù)據(jù)中的抽象,、高維信息,，同時(shí)其余的低維信息都已經(jīng)被隱含的條件似然分布包括了。作者們的風(fēng)格,、內(nèi)容解耦等實(shí)驗(yàn)中模型都發(fā)揮了優(yōu)秀的表現(xiàn),。

5、學(xué)習(xí)靈活的機(jī)械手控制

Learning Dexterous In-Hand Manipulation

論文鏈接：https:///abs/1808.00177

這篇出自 OpenAI 的論文從發(fā)布以后就是機(jī)器人控制領(lǐng)域的熱門論文,，實(shí)際上AI 科技評論也做過詳細(xì)的解讀。OpenAI 不僅提出了兩組,、八個(gè)高難度問題（機(jī)械臂末端控制,、機(jī)械手拿取以及玩弄物體，都難以用早期強(qiáng)化學(xué)習(xí)算法直接解決）,，也用新的強(qiáng)化學(xué)習(xí)在模擬環(huán)境中訓(xùn)練了能完成這些任務(wù)的智能體,；最驚人的是，即便是完全在模擬器中訓(xùn)練的,，這個(gè)模型也可以不需任何微調(diào)就直接遷移到真實(shí)的機(jī)械手上,，同樣優(yōu)美地完成了任務(wù)。這不僅是強(qiáng)化學(xué)習(xí)機(jī)器人控制的一個(gè)突破,，在別的任務(wù)中使用強(qiáng)化學(xué)習(xí)的時(shí)候也可以參考他們的技巧,。

6、演化策略是一個(gè)強(qiáng)化學(xué)習(xí)的可拓展的的備選方案

Evolution Strategies as a Scalable Alternative to Reinforcement Learning

論文鏈接：https:///abs/1703.03864

這篇論文是演化策略 Evolution Strategies 這個(gè)研究方向的開創(chuàng)性論文,。演化策略提出時(shí)是作為當(dāng)時(shí)熱門的基于馬爾科夫決策過程的 Q-learning、策略梯度之類的強(qiáng)化學(xué)習(xí)方法的補(bǔ)充,，但是實(shí)際上即便演化策略是個(gè)黑盒優(yōu)化模型,，它仍然有許多優(yōu)點(diǎn)：它在多 CPU 集群上的拓展性很好、對動作頻率和延遲反饋不敏感,、可以執(zhí)行非常長期的任務(wù),、而且不需要時(shí)間折扣或者值函數(shù)逼近。

7,、蒸餾神經(jīng)網(wǎng)絡(luò)中的知識

Distilling the Knowledge in a Neural Network

論文鏈接：https:///abs/1503.02531

首先，這篇論文的作者中有 Jeff Dean 和 Geoffrey Hinton，可以說看到這兩個(gè)名字就知道這篇論文肯定有一些有價(jià)值的洞見,。然而 Jeff Dean 在推特討論中自曝這篇論文投稿到了 NIPS 2014 然后被拒了,，三位審稿人中有兩位的意見是「這項(xiàng)工作改進(jìn)很小，很可能不會有什么影響」…… 挺讓人郁悶的是不是,，2019 年的我們都知道,，隨著百萬級參數(shù)數(shù)量的模型層出不窮，知識蒸餾,、模型壓縮的方法不僅有用,，很多時(shí)候甚至是實(shí)際應(yīng)用中必不可少的一個(gè)環(huán)節(jié)（為了達(dá)到可以接受的延遲和功耗）；知識蒸餾也成了近兩年的熱門研究課題,。引用數(shù)據(jù)不會說謊,，這篇論文如今已經(jīng)有了大約 2000 的引用，比大多數(shù)頂會論文都要高,。

總 結(jié)

在討論中也有人說道,，現(xiàn)在我們在這里列舉出的論文被時(shí)間證明確實(shí)是有持續(xù)的影響力的,，它們的引用數(shù)也都不低,，但如果當(dāng)年投了頂會而且被接收了，可能還要高出很多,。

對于是不是一定要把論文投頂會,，有人說這其實(shí)要看作者是否已經(jīng)有了較高的教職、是否已經(jīng)有了類似「fuck you money」這樣的底氣,。如果一個(gè)人已經(jīng)有終生教職了,、或者已經(jīng)達(dá)到了博士畢業(yè)的論文數(shù)量要求了，他就完全可以只把論文傳 arXiv,，有價(jià)值的論文自然不會被忘記,。相比之下，投頂會的論文相當(dāng)一部分是來自還沒達(dá)到目標(biāo)的在讀博士生的,，出現(xiàn)學(xué)術(shù)價(jià)值不如沒投的論文的情況也不奇怪了,。