|
2022 年 1 月,，擴散模型第一次吸引了我的眼球,。當(dāng)時我判斷到將會有某些大事發(fā)生，然而卻未曾預(yù)料到幾個月后會出現(xiàn)什么：DALLE-2,、Imagen,、Stable Diffusion 以及其它許多模型。 對于大型語言模型來說,，2022 也是非常重要的一年,，最近面世的 ChatGPT 更是錦上添花，搶盡了風(fēng)頭,。 在回顧今年發(fā)表的十篇值得關(guān)注的論文前,，我們可以先看看 12 月的 AI 要聞以及麥肯錫的一份人工智能全景報告和行業(yè)調(diào)查綜述。 1 『昨天,，今天,，明天』 簡單來說,，有兩篇論文引起了我的注意。 第一篇：視覺 Transformer（ViT）學(xué)習(xí)什么,？
論文鏈接：https:///pdf/2212.06727.pdf 關(guān)于視覺的探索顯示,，ViT 學(xué)習(xí)的歸納偏置或特征與卷積神經(jīng)網(wǎng)絡(luò)（CNN）學(xué)習(xí)的那些相似。例如,，ViT 的 early layers 捕捉邊緣和紋理,，而 later layers 學(xué)習(xí)更復(fù)雜的表征以捕捉更廣泛的概念。
視覺 Transformer 從 early layers（左）到 deeper layers（右）的可視化特征過程,。 關(guān)于生成建模,，ViT 傾向于生成比 CNN 更高質(zhì)量的背景，這就提出了 ViT 如何處理預(yù)測任務(wù)中的背景和前景的這一問題,。當(dāng)背景被消除時,，ViT 似乎比 CNN 更善于預(yù)測目標類別，并且在前景被消除時它們也依然表現(xiàn)得更好,。這表明,，ViT 在依賴基于其存在的某些特征時可能更具選擇性,，或者說,，總體更為魯棒,。 第二篇：一種生成蛋白質(zhì)的擴散模型
論文鏈接：https://www./content/10.1101/2022.12.09.519842v1 在圖像生成領(lǐng)域,，擴散模型已經(jīng)帶來了突破性的性能,，那么生成蛋白質(zhì)結(jié)構(gòu)呢,？研究人員開發(fā)了一種新的蛋白質(zhì)合成擴散模型,，稱為 RoseTTAFold Diffusion（RFDiffusion）,，這種蛋白質(zhì)是從零開始創(chuàng)造的,，而非來自于自然界中早已存在的蛋白質(zhì),。
區(qū)分 de novo 蛋白質(zhì)（在實驗室中使用沒有進化歷史的氨基酸序列合成）與諸如 AlphaFold、 AlphaFold2 等系統(tǒng)（使用現(xiàn)有氨基酸序列數(shù)據(jù)預(yù)測蛋白質(zhì) 3D 結(jié)構(gòu)）十分重要,。但值得注意的是,，AlphaFold2 曾被用于驗證 RDiffusion 研究的結(jié)果。 然后再談?wù)勛罱男袠I(yè)趨勢,。今天,，在產(chǎn)業(yè)中實際使用的技術(shù)是什么？根據(jù)麥肯錫最近的 AI 全景報告 —— 并不是大型語言模型（Transformer）,。特別說明,，由于樣本規(guī)模和代表性的限制，該報告中的調(diào)查結(jié)果可能無法準確反映所有公司的經(jīng)驗,。
圖源：麥肯錫 2022 年全景報告,。 自然語言處理在行業(yè)內(nèi)一直受到追捧，但其受歡迎程度經(jīng)常被計算機視覺應(yīng)用超越,。但現(xiàn)在,，我們第一次看到計算機視覺和自然語言處理幾乎總是緊密聯(lián)系在一起,。 與此同時，自然語言文本理解（可能指文本分類）的受歡迎程度幾乎是自然語言「生成」的兩倍,。請注意,，自然語言生成的新聞通常會占據(jù)熱點首頁：如 GPT-3、Galactica,、ChatGPT 等,。（文本理解可能包括摘要，摘要也是「生成」的,，所以我假設(shè)它在這里主要指的是類似分類的任務(wù),。那么反過來說，類別（categories）也是可以重疊的,。） 值得注意的是,，Transformer 的排名墊底。 似乎許多公司尚未采用類似 BERT 的語言模型編碼器來進行文本理解和分類,。相反,，他們可能仍在使用基于詞袋模型（ bag-of-word-based）的分類器或遞歸神經(jīng)網(wǎng)絡(luò)。同樣,，類似 GPT 的模型解碼器似乎還沒有廣泛應(yīng)用于語言生成,，因而文本生成可能仍嚴重依賴循環(huán)神經(jīng)網(wǎng)絡(luò)和其他傳統(tǒng)方法。 基于下圖,，我發(fā)現(xiàn)了一些有趣的其他見解：
圖源：2022 年麥肯錫 AI 全景報告,。
2 『十大年度論文』 以下將介紹我在 2022 年閱讀到的排名前三的論文。當(dāng)然,，今年發(fā)表的論文中還有很多其他主題是更令人興奮,、永恒且具有影響力的。 2022 年,，保持前三名的成績顯然具有挑戰(zhàn)性,，因而下面還附了一個擴展列表，列出了我排名前十榜單中的其余七篇論文,。 一,、ConvNeXt
論文鏈接：https:///pdf/2201.03545.pdf 《A ConvNet for the 2020s》這篇論文我愿稱之為全年最佳,，因為作者們能夠設(shè)計出一種純卷積架構(gòu)，其性能優(yōu)于諸如 Swin Transformer 等流行的視覺 Transformer（當(dāng)然,，也優(yōu)于在它之前出現(xiàn)的所有卷積神經(jīng)網(wǎng)絡(luò)）,。
當(dāng)卷積神經(jīng)網(wǎng)絡(luò)不僅應(yīng)用于分類，還用于目標檢測和實例分割時,，這種所提到的 ConvNeXt 架構(gòu)很可能成為新的默認架構(gòu) —— 例如,，它可以用作 Mask R-CNN 的骨干網(wǎng)絡(luò)（backbone）。 正如作者們在論文中所述,，他們受到了當(dāng)前視覺 Transformer 訓(xùn)練機制以及 Swin Transformer 混合架構(gòu)表明卷積層仍然相關(guān)的事實啟發(fā),。這均是因為純視覺 Transformer 架構(gòu)缺乏有用的歸納偏置，例如平移同變性和參數(shù)共享（即卷積中的「滑動窗口」）,。 為了開發(fā) ConvNeXt,，作者們從 ResNet-50 基礎(chǔ)架構(gòu)出發(fā)，并采用了從現(xiàn)代 ViT 訓(xùn)練機制中運用的架構(gòu)修改和訓(xùn)練機制,。即使是賦予在卷積神經(jīng)網(wǎng)絡(luò)的背景，這些本來也沒什么新奇,。然而,，新穎之處卻在于作者們有效地使用,、分析和組合了這些技術(shù),。 他們采用了哪些技術(shù)？這可以列一個很長的清單,，包括深度卷積,、反向瓶頸層設(shè)計、AdamW,、LayerNorm 技術(shù)等等，具體的匯總你可以在下圖中找到,。此外,，作者還使用了數(shù)據(jù)增強技術(shù),，如 Mixup,、Cutmix 等,。
二,、MaxViT 盡管隨著上述的 ConvNext 出世,，卷積神經(jīng)網(wǎng)絡(luò)再度受到歡迎，但目前來說 ViT 仍然搶盡風(fēng)頭（并非刻意雙關(guān)）,。 MaxViT：多軸視覺 Transformer 突出顯示了近年來視覺 Transformer 的發(fā)展,。雖然早期的視覺 Transformer 具有二次復(fù)雜度，但已經(jīng)可以通過許多手段來將視覺 Transformer 應(yīng)用于具有線性縮放復(fù)雜度的更大圖像中,。
2022 年 9 月發(fā)布的 MaxViT,，目前是 ImageNet 基準測試中的 SOTA 模型。 在 MaxViT 中,，這是通過將注意力塊（attention block）分解為具有局部 - 全局交互的兩個部分來實現(xiàn)的：
值得一提的是,，MaxViT 是一種也具備卷積層特征的卷積 Transformer 混合模型,。它可以用于預(yù)測建模（包括分類、目標檢測和實例分割）以及生成建模,。
順便提一句,，在谷歌學(xué)術(shù)上搜索「視覺 Transformer」，僅 2022 年就產(chǎn)出了 5000 多個結(jié)果,。這個結(jié)果雖然可能包括誤報,，但仍可表明人們對于視覺 Transformer 的廣泛歡迎程度和感興趣程度。
不過不用擔(dān)心,，視覺 Transformer 不會完全取代我們喜愛的卷積神經(jīng)網(wǎng)絡(luò),。相反，正如 MaxViT 所強調(diào)的,，當(dāng)前的趨勢是將視覺 Transformer 和卷積網(wǎng)絡(luò)一起整合到混合架構(gòu)中。 三,、Stable Diffusion 在 ChatGPT 成為最先進的模型之前,，Stable Diffusion 早已在互聯(lián)網(wǎng)和社交媒體上普及。這個概念其實最早來源于 2021 年 12 月上傳的論文《High-Resolution Image Synthesis with Latent Diffusion Models》。 由于這篇論文在 2022 年 CVPR 會議上發(fā)表,，并在 2022 年 8 月憑借 Stable Diffusion 受到高度關(guān)注,，我認為將其列入 2022 年的 TOP3 論文名單是公平合理的。 擴散模型是一種概率模型,，被設(shè)計用于通過逐漸對正態(tài)分布變量進行去噪來學(xué)習(xí)數(shù)據(jù)集分布,。這個過程對應(yīng)于學(xué)習(xí)長度為 T 的固定的馬爾可夫鏈（Markov Chain）的逆過程。
擴散模型的圖示,。 與使用生成器 (Generator) 和鑒別器 (Discriminator) 之間的極大極小博弈（minimax game）訓(xùn)練的 GAN 不同,，擴散模型是使用最大似然估計（MLE）訓(xùn)練的基于似然的模型。這有助于避免模式坍塌和其他訓(xùn)練不穩(wěn)定性,。 擴散模型已經(jīng)存在了一段時間,，但眾所周知，在訓(xùn)練和推理過程中,，從中取樣仍非常昂貴,。上述 2022 年論文的作者提到過，5 天的運行時間僅能采樣 50k 張圖像,。 《High-Resolution Image Synthesis with Latent Diffusion Models》一文的新穎之處在于人們可以使用預(yù)訓(xùn)練的自編碼器在潛在空間中應(yīng)用擴散,，而非直接使用原始圖像的全分辨率原始像素輸入空間。
上文提到的訓(xùn)練過程可以分為兩個階段：首先,，對自編碼器進行預(yù)處理,，將輸入圖像編碼到較低維度的潛在空間中，以降低復(fù)雜性,。第二,，在預(yù)訓(xùn)練的自動編碼器隱層表征上訓(xùn)練擴散模型。 在潛在空間中進行運算,，降低了用于訓(xùn)練和推理的擴散模型的計算成本和復(fù)雜性,，并可以生成高質(zhì)量的結(jié)果。 本文的另一個貢獻是一般條件下的交叉注意力機制（ cross-attention mechanism）,。因此,，除了無條件圖像生成之外，所提出的潛在擴散模型還能夠進行圖像修復(fù),、類條件圖像合成,、超分辨率圖像重建以及文本到圖像合成 —— 后者正是 DALLE-2 和 Stable Diffusion 聞名的原因。 接下來介紹我的排名榜前十論文中后七篇論文的概述： 四,、《「通才」智能體》（A Generalist Agent）,。 在本文中，研究人員介紹了 Gato,，它能夠執(zhí)行從玩游戲到控制機器人等 600 多種不同任務(wù),。
論文鏈接：https:///abs/2205.06175 五、《訓(xùn)練最優(yōu)計算的大型語言模型》（Training Compute-Optimal Large Language Models）。為了在訓(xùn)練期間實現(xiàn)最優(yōu)計算,，研究人員認為通過相同的因子來縮放模型大小和訓(xùn)練 token 的數(shù)量都很有必要,。他們創(chuàng)建了一個名為 Chinchilla 的模型，例如,，該模型的性能優(yōu)于 Gopher,，可以使用比 Gopher 四分之一的參數(shù)輸出四倍之多的數(shù)據(jù)。
論文鏈接：https:///abs/2203.15556 六,、《PaLM：使用 Pathways 縮放語言模型》（PaLM: Scaling Language Modeling with Pathways）：文中提出的 PaLM 模型在各種 BIG-bench 任務(wù)上都展示了令人驚嘆的自然語言理解和生成能力,。在某種程度上，它甚至能識別出因果關(guān)系,。
論文鏈接：https:///abs/2204.02311 七,、《基于大規(guī)模弱監(jiān)督方法的魯棒語音識別》（Robust Speech Recognition via Large-Scale Weak Supervision）。本文介紹了 Whisper 模型,，該模型在多語言任務(wù)上接受了 68 萬小時的訓(xùn)練,，并表現(xiàn)出了對各種基準數(shù)據(jù)集（benchmarks）的魯棒泛化性。本文介紹的 Whisper 模型給我留下了深刻的印象,。我用它來為我的兩門課程深度學(xué)習(xí)基礎(chǔ) —— 運用現(xiàn)代開源棧學(xué)習(xí)深度學(xué)習(xí)以及深度學(xué)習(xí)引言（Deep Learning Fundamentals – Learning Deep Learning With a Modern Open Source Stack）生成字幕,。
論文鏈接：https:///abs/2212.04356 八、《再論表格深度學(xué)習(xí)的預(yù)訓(xùn)練目標》（Revisiting Pretraining Objectives for Tabular Deep Learning）,。我喜歡閱讀大量有關(guān) Tabular 數(shù)據(jù)的深度學(xué)習(xí)論文,。但我尤其鐘愛這篇論文，因為它強調(diào)并提醒我們在附加（通常未標記）數(shù)據(jù)上進行模型預(yù)訓(xùn)練是多么重要,。（使用如 XGBoost 等基于樹模型無法輕松做到這一點,。）
論文鏈接：https:///abs/2207.03208 九、《為什么基于樹的模型在表格數(shù)據(jù)上的性能仍然優(yōu)于基于深度學(xué)習(xí)的模型,？》 （Why do tree-based models still outperform deep learning on tabular data?）,。該文的主要收獲是基于樹的模型（隨機森林和 XGBoost）的性能優(yōu)于在中型數(shù)據(jù)集（10k 訓(xùn)練示例）上應(yīng)用表格數(shù)據(jù)的深度學(xué)習(xí)方法。但是隨著數(shù)據(jù)集大小的增加（這里：10k → 50k）,，基于樹的模型和深度學(xué)習(xí)之間的差距變得越來越小,。遺憾的是，這篇論文沒有包含特別多最先進的深度表格網(wǎng)絡(luò),，不過它進行了魯棒性分析和有趣的討論,，絕對值得一讀。
論文鏈接：https:///abs/2207.08815 十,、《用語言模型預(yù)測原子級蛋白質(zhì)結(jié)構(gòu)的進化程度》（Evolutionary-scale prediction of atomic level protein structure with a language model）,。該論文提出了迄今為止預(yù)測蛋白質(zhì)三維結(jié)構(gòu)的最大語言模型，它也比以前的方法運算更快,，同時還保持著同樣的準確性,。該模型創(chuàng)建了 ESM 宏基因組圖譜,，是宏基因組蛋白質(zhì)的第一個大規(guī)模結(jié)構(gòu)表征,，具有超過 6.17 億個蛋白質(zhì)結(jié)構(gòu),。
論文鏈接：https://www./content/10.1101/2022.07.20.500902v3 原文鏈接：https://magazine./p/ahead-of-ai-4-a-big-year-for-ai |
|
|
