|
NLP 中的語言模型，動輒涉及百億參數,，為何需要這么大的模型呢,？近日，Google 研究者發(fā)表了題為“大型語言模型的涌現能力”（Emergent Abilities of Large Language Models）的論文,，考察了以 GPT-3 為代表的語言模型,，發(fā)現語言模型的表現并非隨著模型規(guī)模增加而線性增長，而是存在臨界點,，只有當模型大到超過特定的臨界值,，才會涌現出較小的模型不具備的能力。語言模型的這種涌現能力意味著,，大型語言模型可能進一步擴展語言模型的功能,。 論文標題： Emergent Abilities of Large Language Models https:///forum?id=yzkSU5zdwD
在過去二十年里,，人工智能領域的大部分研究都集中在訓練神經網絡來完成一個特定的任務,，例如,，分類一張圖片是否包含一只貓,，總結一篇新聞文章,，中英文翻譯等,。然而近年來 NLP 的進展,，得益于語言模型,，它根據句子中先前出現的單詞,，簡單地預測句子中下一個單詞,。經過海量數據訓練后,，語言模型可以被“提示”執(zhí)行任意的任務。例如,，將一個英語短語翻譯成斯瓦希里語的任務,，可以被重新定義為下一個單詞的預測: '人工智能’的法語翻譯是......,？語言模型代表了一種范式轉變，從訓練基于特定任務的模型,，到訓練可執(zhí)行多任務的模型,。例如，GPT-3 表明,，語言模型可以成功地進行兩位數乘法,，即使它們沒有被明確地訓練這樣做。然而,，這種執(zhí)行新任務的能力只發(fā)生在具有一定數量的參數,、并在足夠大的數據集上進行訓練的模型中。這樣的涌現現象在復雜系統(tǒng)中普遍出現,。例如當生態(tài)系統(tǒng)的復雜性降低到閾值之下時,，系統(tǒng)的穩(wěn)定性會顯著降低。最早指出該現象的,，是菲利普·安德森的經典論文“多者異也”,。涌現指的是一個研究對象表現出組成它的部分要素本身所不具備的特性,。例如,，這些行為或能力只有通過各個部分的相互作用才能顯現出來。該研究中,，作者對語言模型的涌現能力給出了如下定義：“如果一種能力不存在于較小的模型中,，而存在于較大的模型中，那么這種能力就是涌現出來的,?！笨梢酝ㄟ^不同的方式對模型大小進行測量，包括訓練時計算量（FLOPs）,、參數數量或訓練數據大小,。圖1顯示了涌現能力的三個例子：運算能力、參加大學水平的考試（多任務 NLU）,，以及識別一個詞的語境含義的能力,。在每種情況下，語言模型最初表現很差,，并且與模型大小基本無關,，但當模型規(guī)模達到一個閾值時，語言模型的表現能力突然提高,。圖1. 在多步計算,、多任務語言理解和語境中的詞匯含義三任務上，語言模型的準確度只有當模型規(guī)模（訓練時的FLOPs）超過一個閾值時才突然提高,。 另一類涌現能力包括提示策略（prompting strategy）以增強語言模型的能力,。這些策略之所以出現,，是因為較小的模型無法成功地使用這些策略，只有足夠大的語言模型才可以,。例如“思維鏈提示”（chain-of-thought prompting）,，其中模型被提示在給出最終答案之前生成一系列中間步驟。圖2A總結了思維鏈提示ーー它顯著提高了大型語言模型的推理能力,，使它們能夠解決需要抽象推理的多步驟問題,。如圖2B所示，在一個小學數學問題的基準上,，思維鏈提示比直接返回最終答案要差,，直到模型大小達到一個臨界值（1022 FLOPs），之后模型的表現會好得多,。圖2. (A) 思維鏈提示的案例,，(B) 模型大小和思維鏈提示帶來的準確性折線圖。研究者發(fā)現,，語言模型的涌現能力是一個普遍現象而非特例,，文中總結了GPT-3模型具有的137項涌現能力，對于更傳統(tǒng)的NLP基準模型,，例如 BIG-Bench,，其具有的涌現能力也包括67項。圖3展示了不同模型在多種任務上,，準確性和模型大小都呈現相變（phase transition）,。而另一項相關研究，關注GPT-3在類比推斷上的涌現能力,，發(fā)現在抽象模式歸納,、匹配等需要類比思維的問題上，足夠大的語言模型即使沒有直接訓練,，也可以展現出超越人類的準確性,。Emergent Analogical Reasoning in Large Language Models 圖5. 在生成及多選這兩類問題上，需要運用的規(guī)則越多,，GPT-3 的表現就越優(yōu)于人類 語言模型之所以必須足夠大,，才能進行類比推理，可以用解決問題需要的規(guī)則必須存儲在足夠多的參數中加以解釋,。例如需要同時使用三條規(guī)則進行類比的問題,，就需要模型的參數能同時存儲三條規(guī)則。然而語言模型的類比能力完全來自于預測人類文本,，語言充滿了類比,，因此準確地預測自然語言可能需要一種能力。但是我們沒有理由假設同樣的系統(tǒng),，如果沒有人類產生的輸入,會自發(fā)形成類比式的思維能力,。在某種程度上,，大型語言模型捕獲了成年人類的類比能力，它們的類比能力從根本上來說寄生在人類的自然智力上,。語言模型的涌現能力,，也并非全然是好事，語言模型帶來的社會問題,，例如歧視女性,、不文明用語等，也具有涌現的特性,。即當模型較小時不會出現,，只有模型足夠大時才會呈現。可以肯定的是,，在可預見的未來,，大型語言模型仍將是機器學習研究的主流。語言模型在零次學習（zero shot learning）上的涌現能力,，已讓它們得以進入實際應用領域（例如chatGPT）,，并在自然語言處理研究領域之外有許多新的應用。例如,，語言模型通過提示將自然語言指令轉換為機器人可執(zhí)行操作的命令,，或促進多模態(tài)推理（根據文字作畫）。為此,，我們需要繼續(xù)研究它們的涌現能力和局限性,，建立對涌現能力的一般性理解（目前缺少令人信服的解釋）,，并探索未實現的潛力及最終極限,。涌現能力具有重要的科學意義，如果涌現能力是沒有盡頭的,，那么只要模型足夠大,，強 AI 的出現就是必然的。對現有語言模型涌現特征的研究發(fā)現,，語言模型的表現和模型大小之間的關系是不可線性外推的,，有理由相信，隨著模型大小的增加,，模型將會變得更加魯棒,。不同類型的任務中，具有涌現特征的比例相差巨大（圖6）,，也不存在明確的趨勢表明哪些類型的任務是最具涌現特征的,。然而語言模型在邏輯推理和因果推斷中，具有涌現特征的比例最低,，可能反映了語言模型并沒有真正把握因果關系,。圖6. 在BIG Bench模型中,，在各類任務中，具有涌現特征（藍色）,、性能隨模型大小線性增長（淺黃色）,、以及所有模型都無法超過隨機水平（橙紅色）的任務個數。在類比推理,、詞義消歧,、真實性、社會推理和情感理解這些任務中,，具有涌現特征的任務比例最高,；算術和數學相對較低；在邏輯推理,、因果推理和視覺相關的任務中,，具有涌現特征的任務比例最低。 在論文中,，研究人員討論了語言模型的涌現能力面臨的限制,，包括硬件和數據瓶頸。有些能力甚至可能不會隨著模型規(guī)模變大而出現,，例如在遠離訓練數據集分布的任務上,。此外，一旦某種能力出現,，涌現特征并不能保證它會隨著規(guī)模的擴大而繼續(xù)提高,。隨著機器學習社區(qū)朝著創(chuàng)建更大的語言模型的方向發(fā)展，人們越來越擔心大語言模型的研究和開發(fā)將集中在少數幾個擁有財政和計算資源來訓練和運行這些模型的組織中,。通過對特定任務數據集的小型模型進行微調,，可以使用小模型替代大語言模型。該研究的作者指出：一旦一種能力被發(fā)現,，進一步的研究可能會使這種能力適用于小尺度模型,。隨著我們繼續(xù)訓練越來越大的語言模型，降低涌現能力發(fā)生相變的門檻,，對于讓社區(qū)更廣泛地獲得這種能力的研究將變得更加重要,。未來關于涌現能力的研究方向包括訓練更有能力的語言模型（例如改進模型結構和訓練程序，可以促進具有涌現能力的高質量模型,，同時減少計算成本,；使用數據增強，在更小的模型上重現涌現能力）,，以及通過理解涌現能力的來源,，開發(fā)可用于更好地支持語言模型執(zhí)行任務的提示策略。研究者還可以使用交叉熵、困惑度（preplexity）等新的測量方式,，研究語言模型及多模態(tài)模型的涌現能力,。神經科學和人工智能領域的多位著名學者近日發(fā)表 NeuroAI 白皮書認為，神經科學長期以來一直是推動人工智能（AI）發(fā)展的重要驅動力,，NeuroAI 領域的基礎研究將推動下一代人工智能的進程,。文章發(fā)表后引發(fā)熱議：神經科學是否推動了人工智能？未來的人工智能是否需要神經科學,？本著促進神經科學,、計算機科學、認知科學和腦科學等不同領域的學術工作者的交流與合作,，集智俱樂部聯合北京師范大學柳昀哲,、北京大學鮑平磊和昌平實驗室呂柄江三位研究員共同發(fā)起了「NeuroAI」讀書會，聚焦在視覺,、語言和學習領域中神經科學與人工智能的相關研究,，期待能夠架起神經科學與人工智能領域的合作橋梁，激發(fā)跨學科的學術火花,。
|
