光明網(wǎng)訊 今年以來(lái),，以ChatGPT、文心一言等為代表的大語(yǔ)言模型火爆出圈,，人工智能（AI）能否超越人類的問(wèn)題引發(fā)各界熱議,。5月29日，由中國(guó)智能計(jì)算產(chǎn)業(yè)聯(lián)盟組織召開的“2023中國(guó)算力發(fā)展研討會(huì)”在中科院計(jì)算所召開,。此次研討會(huì)以ChatGPT下算力的機(jī)遇與挑戰(zhàn)為主題,，匯集了業(yè)內(nèi)多位權(quán)威專家學(xué)者，從技術(shù),、生態(tài)等多維度展開深度交流研討,，厘清算力產(chǎn)業(yè)的發(fā)展風(fēng)向，并就當(dāng)下人工智能基礎(chǔ)設(shè)施及算力服務(wù)建設(shè)等課題給出應(yīng)對(duì)之策,。

研討會(huì)上，中國(guó)科學(xué)院院士陳潤(rùn)生表示,，人工智能的發(fā)展不是人所能阻擋的,，這是科學(xué)發(fā)展的本質(zhì)。他同時(shí)指出,，大語(yǔ)言模型中出現(xiàn)的“涌現(xiàn)（Breakthroughness）”和“頓悟（Grokking）”現(xiàn)象,，值得大家思考。

何為“涌現(xiàn)”,？一個(gè)復(fù)雜系統(tǒng)由很多微小個(gè)體構(gòu)成,，這些微小個(gè)體湊到一起，相互作用,，當(dāng)數(shù)量足夠多時(shí),，在宏觀層面上展現(xiàn)出微觀個(gè)體無(wú)法解釋的特殊現(xiàn)象，即為“涌現(xiàn)”,。陳潤(rùn)生形象地解釋說(shuō),，“我給它（大模型）很多學(xué)習(xí)數(shù)據(jù),，結(jié)果它的答案里面會(huì)出現(xiàn)學(xué)習(xí)數(shù)據(jù)里沒(méi)有的事，這種現(xiàn)象叫涌現(xiàn),?！贝竽Ｐ偷倪\(yùn)算表明，當(dāng)訓(xùn)練數(shù)據(jù)很大時(shí)（比如超過(guò)了1000億）,，就會(huì)出現(xiàn)涌現(xiàn)現(xiàn)象,，規(guī)模小的時(shí)候不會(huì)出現(xiàn)這個(gè)現(xiàn)象。

需要明確的是,，目前科學(xué)界對(duì)涌現(xiàn)現(xiàn)象是有爭(zhēng)論的,。比如，斯坦福大學(xué)某教授認(rèn)為這是度規(guī)問(wèn)題,，牽扯到度量,、基本物理坐標(biāo)系等。

“自然語(yǔ)言處理過(guò)程中,，由于整個(gè)計(jì)算量的迅速增加而出現(xiàn)的涌現(xiàn)現(xiàn)象,，這個(gè)是新問(wèn)題，值得思考”,，陳潤(rùn)生說(shuō),。

何為“頓悟”？陳潤(rùn)生解釋,，“你訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)的過(guò)程中,，一遍它不懂，兩遍也不懂,，第四遍還不懂,，第五遍一下學(xué)會(huì)了，就像小孩學(xué)東西一樣,，教一兩遍不懂,，教到N+1遍突然就學(xué)會(huì)了?！?/p>

他認(rèn)為,，這是人腦學(xué)習(xí)的一種模式，“學(xué)到某一個(gè)時(shí)間開竅了”,，“計(jì)算機(jī)不可能出現(xiàn)頓悟,，但是大模型會(huì)出現(xiàn)頓悟的情況”。

不久前,，ChatGPT的主要競(jìng)爭(zhēng)對(duì)手之一Claude將語(yǔ)境窗口token數(shù)擴(kuò)展到10萬(wàn),，相當(dāng)于7.5萬(wàn)個(gè)單詞，大大超越GPT-4語(yǔ)境窗口的8192 tokens,。這意味著用戶可以將高達(dá)500頁(yè)的文檔上傳到Claude,，它可以在不到1分鐘之內(nèi)就理解,、消化這些信息，并基于上傳的信息回答用戶的問(wèn)題,。

Claude是Anthropic公司推出的,，這家公司由前OpenAI員工創(chuàng)立，自2022年底以來(lái),，谷歌已向該公司投資了近4億美元,。

對(duì)此，陳潤(rùn)生認(rèn)為,，目前大模型的學(xué)習(xí)速度比我們想象中快得多,，“這兩家公司（OpenAI與Anthropic）你追我趕，說(shuō)不定再過(guò)一段時(shí)間,，GPT-5出來(lái)之后又比Claude強(qiáng)了,，它發(fā)展那么快，將來(lái)人們趕不上,?！?/p>

“更麻煩的是，這些大模型公司都在考慮去操縱第三方設(shè)備”,，陳潤(rùn)生說(shuō),，“能夠去操縱第三方設(shè)備是令人擔(dān)憂的一件事情，如果操縱和安全,、國(guó)防相關(guān)的東西,，那就不得了了?！?/p>

陳潤(rùn)生坦言,，人類的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)遠(yuǎn)比目前的大模型復(fù)雜得多，人工智能的發(fā)展還有很長(zhǎng)的路要走,，“現(xiàn)在的（人工智能）神經(jīng)網(wǎng)絡(luò)在空間結(jié)構(gòu)模型上應(yīng)該有革命性的變化,，也許那個(gè)時(shí)候，（AI）真的能夠超越人的智力,。”（記者 戰(zhàn)釗）

來(lái)源： 光明網(wǎng)