編者按：國際象棋,、游戲,、圍棋,、德州撲克……AI正在慢慢地攻陷人類的領地。這些進展使得超智AI很快出現(xiàn)的聲音再度喧鬧起來,。但在《失控》作者,、著名的未來學家凱文·凱利（KK）看來,，關于超智AI存在著5大迷思。他的思考角度跟奇點派有著很大的不同,，值得大家好好看看。

據(jù)說未來計算機化的AI會比我們聰明得多,，以至于它們會奪走我們的工作和資源，人類將走向滅絕,。這是真的嗎？

只要我舉辦AI方面的演講,，這就是我聽到的最常見的問題,。提問者非常懇切；他們的擔憂部分源自于一些專家也向自己提出了同樣的問題,。這些家伙都算是目前最聰明的人了,，比如霍金、Elon Musk,、Max Tegmark,、Sam Harris以及比爾·蓋茨等,。他們相信,，這一場景非常有可能是真的,。最近在一場討論這些AI問題的會議上,，一個由AI方面見識最多廣的專家組成的9人小組一致認為這種超人智能必然會出現(xiàn),，而且距離我們并不遙遠。

但在這個擁有超人力量的人工智能接管世界的場景下面,，需要有5個假設作為鋪墊,，而如果對此進行逐一仔細核查的話，你會發(fā)現(xiàn)它們并沒有任何跡象為依據(jù),。這些論斷在將來也許是對的,，但迄今為止并沒有任何證據(jù)支持。超人智能很快就要出現(xiàn)背后的假設是：

1. 人工智能已經比人更聰明,，而且在以指數(shù)的速度在增長,。

2. 我們將會把AI變成像我們一樣的通用智能。

3. 我們可用硅做出人類智能,。

4. 智能可以無限擴展,。

5. 一旦我們突破超級智能，后者將可以解決我們大多數(shù)的問題,。

相對于這些正統(tǒng)的說法,，我們發(fā)現(xiàn)支持下面這5種異端學說的證據(jù)似乎更足。

1. 智能不是單一的維度,，所以“比人聰明”是個無意義的概念,。

2. 人類并沒有通用的思維，所以AI也不會有,。

3. 用另一種媒體模擬人類思維會受到成本的約束,。

4. 智能的維度不是無限的。

5. 智能只是發(fā)展的一個因素,。

如果對超人AI接管世界的期望是建立在5個并沒有證據(jù)根據(jù)的關鍵假設基礎上的話,，那么這個想法就更像是一種宗教信仰，是一種迷思,。在文章的以下部分里,，我將會展開闡述那5個相反假設的更多證據(jù)，并且證明超人AI的確只是一種迷思,。

關于人工智能,，最常見的誤解始于對自然智能的常見誤解。這種誤解認為,，智能是單一維度的,。大多數(shù)技術人往往用Nick Bostrom在《超級智能》一書的方式來描繪智能，即智能是單個維度的增幅線狀圖,。在這幅圖里,，一頭是低等智能，比如小動物，而另一頭則是高等智能,，比如天才,；就好像說智能好比用分貝表示的聲級一樣。當然,，接下來很容易就會擴大想象,，認為智能的響級會繼續(xù)增長，最終超過我們自己的高等智能,，然后成為超級響的智能——比如比我們聲音響亮得多的轟鳴聲,，甚至連圖都表示不了。

這一模型拓撲等價于階梯,，每一級的智能都會比此前的一級更高,。低等動物位于比我們略低的階梯，而更高級的智能最終將越過我們,，爬上更高的臺階,。什么時候會發(fā)生的時間標度不重要，重要的是排名,，這個衡量智能不斷增長的指標,。

這種模型的問題在于它是虛構的,，比如階梯式的演進,。達爾文主義之前的自然世界觀就假設生命是階梯式的，低等動物屬于人類之下的梯級,。即便是在達爾文之后,，一個非常常見的觀念是進化是“階梯式”的，魚進化為爬行動物,，然后上升一個臺階進化到哺乳類動物,，再到靈長類，最后到人,，每一次都比上一級多進化（當然也更聰明）了一點點,。所以智能的階梯對應于生物的階梯,。但這些模型提供的是一個完全不科學的觀點,。

物種自然演進的一個更加精確的圖表是一張向外輻射圓盤,，就像上面基于DNA的這張,，這是德克薩斯大學的David Hillis先設計出來的。這個系譜曼荼羅從中間最原生的生命形式開始,，然后按照時間順序向衍生,。時間向外遷移所以今天生活在地球的最近的生命物種是出現(xiàn)在這個圓圈的邊緣。這張圖強調了進化很難被認識到的一個基礎事實：現(xiàn)存的每一個物種都是平等演進的。人類跟蟑螂,、蛤蚌,、蕨類植物、狐貍和細菌一樣都位于圓圈的外沿,。這些物種每一個都經歷了30億年未曾間斷過的成功繁殖,。也就是說，今天的細菌和蟑螂跟人類一樣是高度進化的,。沒有階梯這一說,。

類似地，智能也沒有階梯,。智能不是一個單一的維度,，而是許多認知類型和模式的綜合，每一個都是連續(xù)統(tǒng)一體,。就拿衡量動物智能這個非常簡單的任務來說吧,。如果智能是單個維度的話，那么我們就應該可以把鸚鵡,、海豚,、馬、松鼠,、章魚,、藍鯨、貓以及大猩猩按照線性的順序排列,。我們目前還沒有這樣一條線的科學依據(jù),。原因之一也許是動物智能之間并沒有區(qū)別，但這一點我們也看不到依據(jù),。在動物如何思考方面動物學充斥著顯著的區(qū)別,。但也許它們都著一樣的“一般智能”呢？有這種可能性,，但我們沒有衡量手段,，找不到衡量這種智能的單一指標。相反,，對于不同類型的認知我們有很多不同的指標,。

我們不畫單條的分貝線,，相反,，一個更精確的智能模型可以是畫出它的可能性空間，就像上面用達爾文編寫的算法創(chuàng)造出來的生命的各種可能形式一樣,。智能是組合的連續(xù)統(tǒng)一體,。由多個各自都是一個連續(xù)統(tǒng)一體的節(jié)點創(chuàng)造出來的，高維的、高度多樣性的復合體,。一些智能可能非常復雜,，有很多的思考子節(jié)點。有的可能更簡單一些,，但是更加極端,，處在空間的角落。這些我們稱之為智能的復合體可被視為由許多種類型的樂器組成的交響樂,。衡量它們的不僅只有響度,，還包括音高、旋律,、顏色,、節(jié)拍等等。我們可以把它看成是一個生態(tài)體系,。就這個意義而言,，思維不同的組成節(jié)點是共存的、共同創(chuàng)造的,。

用Marvin Minsky的話來說,，人類思維就是社會思想。我們是在一個思想的生態(tài)體系里面運作的,。我們包含了多種認知來進行很多類型的思考：演繹,、歸納、符號推理,、情緒智力,、空間邏輯、短時記憶以及長時記憶,。我們的整個神經系統(tǒng)也是一種有著自己認知模式的大腦類型,。我們并不僅僅只是用大腦來思考，而是用整個身體在思考,。

這些認知組合因人而異因物種而異,。幾千顆橡樹子的確切位置松鼠能記住好幾年，這項壯舉可以遠遠將人類思維拋在腦后,。所以在某種類型的認知上,，松鼠是勝過人類的。這種超級能力是跟其他模式綁定在一起的,，那些模式是產生松鼠思維必須的,，而與人類的相比那些模式顯然是黯淡無光的,。動物王國里面比人類出色的認知特長還有很多,，這些也是綁定進不同的系統(tǒng)里面的。

AI情況類似,。人工思維在特定維度上已經超越了人類,。你的計算器是數(shù)學天才；Google的記憶在特定維度已經超過了我們自己,。我們設計AI讓它們擅長特定模式,。其中一些模式是我們能做的，但是它們做得更好,，比如概率或者數(shù)學,。有的則是我們根本就不能做的思維類型——比如記住60億網頁的每一個單詞，這是一項任何搜索引擎都做得到的本領,。在未來,，我們會發(fā)明出我們或者任何生物都不具備的全新認知模式。當我們發(fā)明人工飛行物時我們是受到了飛行的生物模式（主要是拍打翅膀）的啟發(fā),，但我們發(fā)明的飛行,，也就是用螺栓拴在寬大固定翼的螺旋槳，對于我們的生物世界來說卻是未知的飛行模式,。這是一種不同的飛行,。類似地，我們也會發(fā)明自然并不存在的全新的思維模式,。在很多情況下,，這些會是新的、狹隘的,、“小型”的特定模式,，針對的是特定工作——也許是某種類型的推理，只對統(tǒng)計和概率有用,。

其他情況下新思維會是復雜的認知類型,，我們可以用來解決光靠我們的智能無法解決的問題。商業(yè)和科學的一些最難的問題可能需要兩步的解決方案,。第一步是：發(fā)明新的思維模式用來跟我們的思維協(xié)作,。第二步：結合起來解決問題。因為我們正在解決此前無法解決的問題,，我們希望把這種認知稱為比我們“更聰明”,，但實際上它只是不同于我們。思維方式的不同是AI的主要好處,。我認為有用的AI模型是把它視為外星智能（或者人工外星人）,。相異性是其主要資產。

與此同時,，我們會將這些各不相同的認知模式集成為更復雜,、更綜合的社會思維,。其中一些復合體會比我們更加復雜，而因為它們能解決我們無法解決的問題,，其中一些人希望稱之為超人,。但我們并不會把Google稱為是超人AI，即便它的記憶比我們強,，因為有很多事情我們干得比它好,。當然，這些人工智能的綜合體在很多維度上面能超過我們,，但沒有一個能夠在我們做的所有事情上都做得比我們好,。這就類似于人的體力。工業(yè)革命已有200年的歷史,，盡管所有的機器作為一類在需要體力方面的成就已經擊敗了個人（奔跑速度,、舉重、精密切割等等）,，但沒有一臺機器在所有事情上都能擊敗一位普通人,。

即便AI的社會思維變得更加復雜，那種復雜度在此刻也是難以系統(tǒng)地衡量的,。我們并沒有好的可操作的復雜度指標,，可以用來確定黃瓜是否就比波音747復雜，或者它們的復雜方式的不同,。這是我們對聰明一樣沒有好指標的原因之一,。想要確定頭腦A比頭腦B復雜是非常困難的，出于同樣的原因,，想要宣稱頭腦A比頭腦B聰明也是一樣的難,。我們很快就會到達這樣的時點，那就是“聰明”不會是單一的維度,，而我們真正關心的是智能眾多的其他運作方式——也就是所有那些我們尚未發(fā)覺的認知節(jié)點,。

對人工智能的第二項誤解是我們以為自己有通用智能。這一信念的再三重復影響了AI研究人員,，導致他們制定出共同的既定目標,，也就是要創(chuàng)造出通用人工智能（強人工智能，AGI）,。然而,，如果我們將智能視為提供一個大的可能性空間的話，那就不會有通用狀態(tài),。人類智能并沒有處在某個中心位置,，被其他的特殊智能眾星捧月。相反,，人類智能是一種非常非常特殊的智能類型,，已經過了數(shù)百萬年的演進才促使我們這個物種得以在地球上生存,。如果把所有可能的智能映射在進這個空間內的話，人類智能只會在這個空間內偏居一隅,，就像我們的世界也只是坐落在浩瀚的銀河系邊緣上一樣,。

我們當然可以想象,，甚至發(fā)明出瑞士軍刀式的思維,。這有點類似于一堆事情它都能做，但沒有一樣做得非常好,。AI也將遵循所有制造或誕生出來的東西都必須遵循的工程準則：你不可能在每一個維度上都做到最優(yōu)化,。你只能進行取舍。一個通用單元是沒有辦法勝過專門的功能的,。一個宏大的“做一切事情”的頭腦在每一件事情上都無法做得跟專門的代理一樣的好,。因為我們認為我們人類的思維是通用的，所以往往認為認知不會遵循工程師的權衡取舍,，以為開發(fā)出令所有的思維模式最大化的智能是有可能的,。但我看不到這方面的跡象。我們根本還沒有發(fā)明出足夠多樣化的思維來看清整個空間（指思維的可能性空間,，迄今為止我們往往把動物思維貶視為單一類型,，以為它們不過是在同一個維度上，只是幅度各不相同罷了,。）

這種通用思維最大化的理念部分源自統(tǒng)一計算的概念,。這一概念的正式提出是在1950年，也就是所謂的邱奇－圖靈論題,，這個猜想提出,，任何滿足特定閾值的計算都是等價的。因此所有計算,，無論是發(fā)生在帶許多快速或者緩慢部件的機器,，或者甚至是發(fā)生在一個生物頭腦里面的計算，它們都會有一個統(tǒng)一的核心,，都是一樣的邏輯過程,。也就意味著你應該可以在任何可執(zhí)行“統(tǒng)一”計算的機器模擬所有的計算過程（思維）。奇點派（Singularitans,，認為機器智能超過人類即將到來的人,，代表包括Ray Kurzweil、Elon Musk,、霍金等）靠這一原則來支撐它們的期望——也就是我們將會制造出媲美人類思維的硅晶大腦,，可以讓人工大腦像人類一樣思維，只是比我們聰明得多,。對于這種期望我們應該持質疑的態(tài)度,，因為它依賴的是對邱奇－圖靈假設的誤解,。

這個理論的出發(fā)點是：“鑒于紙帶（內存）和時間的無限性，所有計算都是等價的,?！眴栴}是在現(xiàn)實里，并沒有計算機有無限的內存或者時間,。當你在現(xiàn)實世界運行時,，真正的時間會有很大的差異，往往是生死攸關之別,。是,，如果忽視時間的話所有思維都是等價的。是,，你可以在任何想要的母體模擬人類的那種思維,，只要你忽視時間或者存儲、內存的現(xiàn)實約束的話,。然而,，如果你把時間考慮進去的話，那條原則就大不一樣了：在差異巨大的不同平臺上運行的兩套計算系統(tǒng)是無法實時等價的,。這個也可以重新復述成這個樣子：擁有等價思維的唯一辦法是將其運行在等價的基底上,。你運行計算所在的“肉身（physical matter）”，尤其是隨著它變得越來越復雜,，會對可以實時完成好的認知類型產生極大影響,。

這一條我還要進一步延伸：獲得像人類那樣的思維處理的唯一方式是在像人類那樣的濕重組織（wet tissue）內運行計算。這也意味著在干的硅晶上運行的非常龐大復雜的人工智能會產生出龐大,、復雜的,、跟人類不一樣的思維。如果有可能開發(fā)出利用像人類那樣的神經元的人工濕重大腦的話,，我的預測是它們的思維會更像我們的,。這樣一個濕重大腦的好處與我們造出的基底與人類的相似度成正比。創(chuàng)造濕件（wetware,，人類神經系統(tǒng)）的成本高昂,，而這種組織跟人類大腦組織越接近，則我們干脆造人的成本效益就越高,。畢竟嘛,，十月懷胎，這種辦法需要的只是時間,。

此外,，如前所述，我們是用全身而不僅僅是大腦來思考的,。我們有大量數(shù)據(jù)表明,，我們腸道的神經系統(tǒng)是如何引導我們“理性”的決策過程,，并且可以預測和學習的。我們對整個人體系統(tǒng)建模越多,，就離復制它越近,。一個運行在非常不同的身體（干的硅晶而不是濕的碳基）內的智能思考也會不同。

我認為這不是bug,，相反們這是一項特性,。就像我在第二點指出那樣，與人的思維方式不同是AI最主要的資產,。而這個正是“比人類聰明”這個說法誤導人的又一個原因,。

超人智能這個概念,，尤其是智能會不斷改進自己的觀點,，其核心理念是智能沒有上限。我找不到這個的證據(jù),。再次地,，把智能誤解成單一維度幫助了這個理念，但我們應該把它理解成一個理念,。按照目前科學的已知,，在宇宙中還沒有一個物理維度是無限的。溫度不是無限的——冷和熱都是有限度的,?？臻g和時間是有限的。速度是有限的,。數(shù)學數(shù)軸也許是無限的,，但所有其他的物理屬性都是有限的。顯然推論本身也是有限的而不是無限的,。那么問題來了,，智能的極限在哪里呢？我們往往認為這種極限遠遠超過我們,，遠在我們“之上”,，就像我們遠在螞蟻“之上”一樣。單一維度的遞歸問題且拋開不談,，我們有什么證據(jù)證明我們就不是極限了呢,？我們?yōu)槭裁淳筒荒苁亲畲笾担炕蛘咭苍S極限離我們只有很短距離了呢,？我們?yōu)槭裁磿嘈胖悄苁且粋€可以無限擴展的東西呢,？

把我們的智能看成是100萬種智能類型之一，這種對智能的看待方式要好得多,。所以盡管認知和計算的每一個維度都有極限,，但如果存在好幾百個維度的話,，那么就會有無數(shù)的思維出現(xiàn)——盡管任何一個維度都不是無限的。隨著我們開發(fā)或者遭遇無數(shù)思維各種各樣的變體,，我們自然會認為其中一些超過了我們,。在最近寫的《必然》這本書里面，我粗略描述了部分思維變體在一定程度上會超過我們,。以下就是不完整清單：

今天的一些家伙可能想把這些實體都叫做超人AI，但這些思維絕對的多樣性和相異性會將我們引領到有關智能的新表達和新洞察,。

其次,，超人智能的信徒假定智能會（以某個未經確認的單一指標）指數(shù)增長，也許是因為他們也假設它已經在呈指數(shù)增長了,。然而,，迄今為止并沒有任何證據(jù)表明智能在指數(shù)增長——無論你如何進衡量。所謂指數(shù)增長我的意思是說人工智能在一定時間間隔內實現(xiàn)了能力翻番,。證據(jù)呢,？我找不到。如果現(xiàn)在沒有的話,，為什么我們就可以假設很快就會發(fā)生呢,？唯一呈指數(shù)曲線發(fā)展的東西是AI的輸入，也就是致力于產生智能的資源,。但輸出的效能并未呈摩爾定律增長,。AI能力并沒有每3年翻番，或者甚至每10年翻番都沒有,。

我問了很多AI專家,，想找他們要智能的性能呈指數(shù)增長的證據(jù)，但他們都同意說我們并沒有衡量智能的指標,，此外,，智能也不是這樣運作的。當我問指數(shù)增長巫師Ray Kurzweil本人指數(shù)性AI的證據(jù)在哪里時,，他回信說AI并不是爆發(fā)式增長而是按照水平提升的,。他說：“計算和算法復雜度需要取得指數(shù)改進才能給層級增加額外的一層……所以我們可以預期線性地增加層級，因為這需要指數(shù)式的復雜度增加才能增加新的一層,，在做這件事情的能力方面我們的確取得了指數(shù)式進展,。我們現(xiàn)在距離大腦新皮質能做的事情已經沒有那么多層的差距了（注：指深度學習的層次），所以對我來說我的2029年時間點（注：指奇點到來的時間）看起來還是很合適的,?！?/p>

Ray的意思似乎是說，不是人工智能的能力在指數(shù)式增長，而是產生人工智能的努力在指數(shù)增長,，而這種努力的產出是每次提高了一個層級,。這與智能正在爆發(fā)的假設幾乎是背道而馳的。這在未來可能還會變化,，但人工智能顯然目前還沒有指數(shù)增長,。

因此，當我們想象“智能爆發(fā)”時,，我們不應該把它想象成級聯(lián)爆發(fā),，而應該想象成新變體的分散剝落。是一次寒武紀大爆發(fā)而不是核爆炸,。加速技術的結果不大可能是超人,，而是異人（extra-human）。這超出了我們的經驗,，但未必就是“在我們之上”,。

超級AI接管世界另一個未受挑戰(zhàn)的信念是，一個超級的,、近乎無限的智能可迅速解決我們懸而未決的重大問題,，但這幾乎沒有證據(jù)支撐,。

智能爆發(fā)的許多支持者期望它可以帶來爆發(fā)式的進步,。我把這種迷思成為“思考主義（thinkism）”。認為未來的進步水平只是受制于思考能力或者智能是謬誤的,。（可能我還要指出的是,，很多喜歡思考的家伙都有那種想法，以為思考是包治百病的魔術配方,。）

就拿治愈癌癥或者長生不老來說吧,。這些問題都不是光靠思考就能解決的。思考主義再多也發(fā)現(xiàn)不了細胞是如何老化的,，或者染色體端粒是如何掉落的,。任何智能，不管它的能力如何超級,，都不能僅通過閱讀目前全世界所有已知的科學文獻然后苦思冥想出人體是如何工作的,。任何超級AI都不能光靠思考所有目前和過去的核裂變試驗然后在一天之內想出可行的核裂變。在弄清事物的運作機制方面,，從未知走向已知除了思考以外還需要很多其他的東西?，F(xiàn)實世界要進行無數(shù)的試驗，每一次都會提交無數(shù)自相矛盾的數(shù)據(jù),，需要進行進一步的試驗才能形成正確的工作假設,。對潛在數(shù)據(jù)展開思考并不能提交出正確的數(shù)據(jù)。

思考（智能）只是科學的一部分，可能甚至只是一小部分,。舉個例子,，我們還沒有足夠的合適數(shù)據(jù)來接近解決死亡問題。在有機體的問題上,，這些實驗大部分都需要日歷時間,。細胞緩慢的新陳代謝是沒有辦法加速的。這需要數(shù)年,、數(shù)月或者至少數(shù)天的時間才能獲得結果,。如果我們想知道亞原子粒子發(fā)生了什么事情，光靠想是想不出來的,。我們必須建造非常大型,、非常復雜、非常精細的物理裝置才能找出來,。即便最聰明的物理學家比現(xiàn)在的聰明1000倍,，如果沒有對撞機的話，它們也知曉不了任何新東西,。

超級AI無疑可以加速科學的進步,。我們可以讓計算機模擬原子或者細胞，我們可以通過多種因素加速它們,，但在獲得即時進展上有兩個問題制約了仿真的用處,。第一是仿真和建模比主體快是因為忽略了一些東西。而這正是模型或者仿真的本質,。還要注意一點：測試,、審查以及證明這些模型也必須以日歷時間的節(jié)奏來發(fā)生，這樣才能匹配主體的速度,。對基礎事實的測試是沒有辦法加速的,。

仿真的這些簡化版對于篩選出最有希望的路徑是有用的，所以可以加速取得進展,。但在現(xiàn)實當中一切都會有度,；一切真實的東西產生的影響只能到一定程度，這正是現(xiàn)實的定義之一,。隨著給模型和仿真注入的細節(jié)越來越多,，它們就會到達現(xiàn)實要比自己的100%仿真跑得更快的極限。這又是現(xiàn)實的另一個定義：體現(xiàn)所有細節(jié)和自由度的最快版本,。如果你可以對細胞的所有分子以及人體的所有細胞進行建模,，這種仿真的運行速度不會比人體快。你再怎么思考這個,，不管是在真實的系統(tǒng)還是模擬系統(tǒng)進行,，你還是要花時間去試驗,。

人工智能要想發(fā)揮作用就必須嵌入到世界里面，而這個世界將設定好它們的創(chuàng)新節(jié)奏,。如果不進行實驗,，不開發(fā)原型，不經歷失敗,，不跟現(xiàn)實互動的話,，一個智能是可以思考但卻不會有結果。所謂的“比人聰明”的AI出現(xiàn)1分鐘,、1小時,、1天或者1年之后都不會馬上有什么新發(fā)現(xiàn)。當然,，發(fā)現(xiàn)的節(jié)奏會因為AI的進展而顯著加速,，這部分是因為外星人式的AI會提出人類想不到的問題，但即便是一個強大得多的智能（跟我們相比）也不能意味著馬上就能取得進展,。問題解決需要的東西遠不止是智能,。

光靠智能不僅解決不了癌癥和長壽問題，就連智能問題本身光靠它也解決不了,。奇點派常見的一個比方是,，一旦你做出“比人聰明”的AI，那么突然之間它就能努力思考并發(fā)明出一個“比自己聰明”的AI,，而后者在苦思冥想之后又能發(fā)明出一個更聰明的,，這樣能力爆發(fā)到幾乎變得像上帝一樣。我們沒有證據(jù)表明僅靠思考智能就可以創(chuàng)造出水平上一個臺階的智能,。這類思考主義只是一種信念,。我們有大量證據(jù)表明，除了大量智能以外,，我們還需要試驗、數(shù)據(jù),、試錯,、怪異的質疑等等各種各樣智力以外的東西來發(fā)明出成功的新思維。

我的這些說法也有可能是錯的,。因為下結論現(xiàn)在還早,。我們也許會發(fā)現(xiàn)一個智能的統(tǒng)一指標；我們有可能會發(fā)現(xiàn)它在各個方向上都是沒有極限的,。因為我們對智能（更不用說意識了）是什么了解如此之少,，某種類型的AI奇點出現(xiàn)的可能性是大于0的。我認為,，所有證據(jù)表明,，此類場景出現(xiàn)是不大可能的，但也不是不可能。

所以,，盡管我不同意它的可能性,，但對于OpenAI，以及擔心超人AI的聰明人的更大目標——也就是我們應該開發(fā)出友好的AI并想辦法給它灌輸與我們相匹配的可自我復制的價值觀,，對這一點我是認同的,。盡管我認為一個超人AI仍然是比較遙遠的存在威脅（同時也是值得考慮的），但它的不可能性（基于我們目前已有的證據(jù)）不應該成為我們科學,、政策以及發(fā)展的指導方針,。小行星撞擊地球的后果是災難性的。其發(fā)生概率大于零,，但我們不應該讓小行星撞擊地球的概率來支配我們在應對氣候變化,、推進太空旅行或者甚至是城市規(guī)劃的努力。

類似地,，迄今為止的跡象表明,，AI很有可能不會成為超人，而是會成為眾多的異人新思維,，這些思維方式大部分都異于人類,，但沒有一個會是通用的，也沒有一個會成為馬上就能解決重大問題的上帝,。相反,，將來會出現(xiàn)無數(shù)有限智能，在我們不熟悉的維度上工作,，其中許多都超過了我們的思維,，它們會適時跟我們一起配合，去解決現(xiàn)有問題并創(chuàng)造出新問題,。

我理解超人AI上帝的引人入勝,。這就像是一個新的超人。但就像超人一樣,，這是個虛構的人物,。在宇宙深處也許存在著這么一個超人，但可能性非常小,。然而迷思也是有用的,，而且一旦被發(fā)明出來就不會消失。超人的想法永遠都不會死,。超人AI奇點的想法現(xiàn)在已經誕生,，也永遠不會消亡了。但我們應該意識到在目前這還是只是一個宗教想法而不是科學點子,。如果我們調查一下現(xiàn)有的有關智能,，無論是人工智能還是自然智能方面的證據(jù),，我們只能得出結論說，我們有關虛構的超人AI上帝的猜測只不過是迷思罷了,。

密克羅尼西亞的許多相互隔絕的孤島在二戰(zhàn)期間才第一次跟外界接觸,。外星人上帝坐在聒噪的鳥上飛過他們的天空，投下食物和商品到他們的島上,，然后一去不復返,。島上的宗教崇拜開始彌漫，祈禱上帝回來再扔下更多的貨物,。即便是現(xiàn)在,，在50年之后，許多人仍然在等著貨物回來,。超人AI不過是又一次宗教崇拜的可能性是存在的,。百年之后，當大家回望現(xiàn)在時,，也許也會把此刻視為信徒期盼超人AI突然出現(xiàn),，然后帶來價值無法想象的貨品之時。10年又10年,，他們癡心等待著超人AI的出現(xiàn),，確信它很快就會帶著貨物來到我們身邊。

但是非超人式的人工智能已經到來,，這是真的,。我們不斷地重新定義AI，提高它的難度,，這在未來會禁錮住它,，但就更廣泛的外星智能——也就是各種智能、認知,、推理,、學習以及意識的連續(xù)體而言，AI已經滲透到了這個星球上,，而且還會繼續(xù)擴散,、深化、變化并且增強,。在改變世界的能力方面，此前沒有任何一種發(fā)明能夠與之匹敵,，到本世紀末,，AI將觸及和重塑我們日常生活的一切。但是超人AI,，無論是會讓我們超級富足還是讓我們淪為超級奴隸（或者兼而有之）,，這種迷思可能仍將存在——因為這種可能性實在是太具有神話性了,，以至于我們難以舍棄。