【摘要】人工智能很可能導致人類的永生或者滅絕，而這一切很可能在我們的有生之年發(fā)生,。

未來可能是我們最糟的惡夢

我想了解人工智能的一個原因是“壞機器人”總是讓我很困惑,。那些關于邪惡機器人的電影看起來太不真實，我也沒法想象一個人工智能變得危險的真實情況,。機器人是我們造的,，難道我們不會在設計時候防止壞事的發(fā)生嗎？我們難道不能設立很多安全機制嗎,？再不濟,，難道我們不能拔插頭嗎？而且為什么機器人會想要做壞事,？或者說,，為什么機器人會“想要”做任何事？我充滿疑問,，于是我開始了解聰明人們的想法,。

這些人一般位于焦慮大道：

焦慮大道上的人并不是恐慌或者無助的——恐慌和無助在圖上的位置是更加左邊——他們只是緊張。位于圖表的中央不代表他們的立場是中立的——真正中立的人有自己獨立的陣營,，他們認同極好和極壞兩種可能,，但是不確定究竟會是哪個。

焦慮大道上的人是部分為超人工智能感到興奮的——他們只是很擔心人類現在的表現就好像《奪寶奇兵》中的這位少年：

他拿著自己的鞭子和寶物,，非常開心,，然后他就掛了。

同時，印第安納瓊斯則更加有見識和更加謹慎,，了解潛在的危險并且做出相應的反應,，最后安全逃出了山洞。當我了解了焦慮大道的人們的想法后,，感覺就像“我們現在傻呵呵的,，很容易像前面那小子一樣被弄死，還是努力做印第安納瓊斯吧,?！?/p>

那究竟是什么讓焦慮大道的人們如此焦慮呢？

首先,，廣義上來講,，在創(chuàng)造超人工智能時，我們其實是在創(chuàng)造可能一件會改變所有事情的事物,，但是我們對那個領域完全不清楚,，也不知道我們到達那塊領域后會發(fā)生什么?？茖W家DannyHillis把這個比作“就好像單細胞生物向多細胞生物轉化的時候那樣,，還是阿米巴蟲的我們沒有辦法知道我們究竟在創(chuàng)造什么鬼?！?/p>

Bostrom則擔憂創(chuàng)造比自身聰明的東西是個基礎的達爾文錯誤,，就好像麻雀媽媽決定收養(yǎng)一只小貓頭鷹，并且覺得貓頭鷹長大后會保護麻雀一家,，但是其它麻雀卻覺得這是個糟糕的主意,。

當你把“對那個領域完全不清楚”和“當它發(fā)生時將會產生巨大的影響”結合在一起時，你創(chuàng)造出了一個很恐怖的詞——生存危機,。

生存危機指可能對人類產生永久的災難性效果的事情。通常來說,，生存危機意味著滅絕,。下面是Bostrom的圖表：

可以看到，生存危機是用來指那些跨物種,、跨代（永久傷害）并且有嚴重后果的事情,。它可以包括人類遭受永久苦難的情況，但是這基本上和滅絕沒差了,。三類事情可能造成人類的生存危機：

1）自然——大型隕石沖撞,，大氣變化使得人類不能生活在空氣中，席卷全球的致命病毒等

2）外星人——霍金,、卡爾薩根等建議我們不要對外廣播自己的位置,。他們不想我們變成邀請別人來殖民的傻子。

3）人類——恐怖分子獲得了可以造成滅絕的武器，全球的災難性戰(zhàn)爭,，還有不經思考就造出個比我們聰明很多的智能

Bostrom指出1和2在我們物種存在的前十萬年還沒有發(fā)生,，所以在接下來一個世紀發(fā)生的可能性不大。3則讓他很害怕,，他把這些比作一個裝著玻璃球的罐子,，罐子里大部分是白色玻璃球，小部分是紅色的,，只有幾個是黑色的,。每次人類發(fā)明一些新東西，就相當于從罐中取出一個玻璃球,。大多數發(fā)明是有利或者中立的——那些是白色玻璃球,。有些發(fā)明對人類是有害的，比如大規(guī)模殺傷性武器——這是那些紅色玻璃球,。還有一些發(fā)明是可以讓我們滅絕的,，這就是那些黑色玻璃球。很明顯的,，我們還沒摸到黑色玻璃球,，但是Bostrom認為不久的未來摸到一個黑色玻璃球不是完全不可能的。比如核武器突然變得很容易制造了,，那恐怖分子很快會把我們炸回石器時代,。核武器還算不上黑色玻璃球，但是差的不遠了,。而超人工智能是我們最可能摸到的黑色玻璃球,。

你會聽到很多超人工智能帶來的壞處——人工智能取代人類工人，造成大量失業(yè),；因為解決了衰老造成的人口膨脹,。但是真正值得我們擔心的是生存危機的可能性。

于是我們又回到了前面的問題,，當超人工智能降臨時,，誰會掌握這份力量，他們又會有什么目標,？

當我們考慮各種力量持有人和目標的排列組合時,，最糟糕的明顯是：懷著惡意的人/組織/政府，掌握著懷有惡意的超人工智能,。這會是什么樣的情況呢,？

懷著惡意的人/組織/政府，研發(fā)出第一個超人工智能,，并且用它來實現自己的邪惡計劃,。我把這稱作賈法爾情況。阿拉丁神燈故事中，壞人賈法爾掌握了一個精靈,，特別讓人討厭,。所以如果ISIS手下有一群工程師狂熱的研發(fā)人工智能怎么辦？或者說伊朗和朝鮮,，機緣巧合,，不小心造成了人工智能的快速發(fā)展，達成了超人工智能怎么辦,？這當然是很糟糕的事,，但是大部分專家認為糟糕的地方不在于這些人是壞人，而在于在這些情況下,，這些人基本上是不經思考就把超人工智能造出來,，而一造出來就失去了對超人工智能的控制。

然后這些創(chuàng)造者,，連著其他人的命運,，都取決于這個超人工智能的動機了。專家認為一個懷著惡意并掌握著超人工智能的人可以造成很大的傷害,，但不至于讓我們滅絕,，因為專家相信壞人和好人在控制超人工智能時會面臨一樣的挑戰(zhàn)。

如果被創(chuàng)造出來的超人工智能是懷有惡意的,，并且決定毀滅我,，怎么辦？這就是大部分關于人工智能的電影的劇情,。人工智能變得和人類一樣聰明,，甚至更加聰明，然后決定對人類下手——這里要指出,，那些提醒我們要警惕人工智能的人談的根本不是這種電影情節(jié),。邪惡是一個人類的概念，把人類概念應用到非人類身上叫作擬人化,，本文會盡量避免這種做法,，因為沒有哪個人工智能會像電影里那樣變成邪惡的。

人工智能的自我意識

我們開始談論到了人工智能討論的另一個話題——意識,。如果一個人工智能足夠聰明，它可能會嘲笑我們,，甚至會嘲諷我們,，它會聲稱感受到人類的情感，但是它是否真的能感受到這些東西呢,？它究竟是看起來有自我意識,，還是確實擁有自我意識？或者說，聰明的人工智能是否真的會具有意識,，還是看起來有意識,？

這個問題已經被深入的討論過，也有很多思想實驗,，比如JohnSearle的中文屋實驗,。這是個很重要的問題，因為它會影響我們對Kurzweil提出的人類最終會完全人工化的看法,，它還有道德考量——如果我們模擬出萬億個人腦,，而這些人腦表現的和人類一樣，那把這些模擬大腦徹底關閉的話,，在道德上和關掉電腦是不是一樣的,？還是說這和種族屠殺是等價的？本文主要討論人工智能對人類的危險,，所以人工智能的意識并不是主要的討論點,，因為大部分思想家認為就算是有自我意識的超人工智能也不會像人類一樣變得邪惡。

但這不代表非常壞的人工智能不會出現,，只不過它的出現是因為它是被那樣設定的——比如一個軍方制造的弱人工智能,，被設定成具有殺人和提高自我智能兩個功能。當這個人工智能的自我改進失控并且造成智能爆炸后,，它會給我們帶來生存危機,，因為我們面對的是一個主要目標是殺人的超人工智能——但這也不是專家們擔心的。

那么專家們究竟擔心什么呢,？我們來講個小故事：

一個15人的小創(chuàng)業(yè)公司,，取名叫“隔壁老王機器人公司”，他們的目標是“發(fā)展創(chuàng)新人工智能工具使人類能夠少干活多享受,?！彼麄円呀浻袔卓町a品上架，還有一些正在發(fā)展,。他們對下一個叫作“隔壁老王”的項目最報希望,。隔壁老王是一個簡單的人工智能系統(tǒng)，它利用一個機器臂在小卡片上寫字,。

“隔壁老王機器人公司”的員工認為隔壁老王會是他們最熱賣的產品,，他們的目標是完善隔壁老王的手寫能力，而完善的方法是讓他不停的寫這句話——

等隔壁老王手寫能力越來越強的時候,，它就能被賣去那些需要發(fā)營銷信件的公司,，因為手寫的信更有可能被收信人打開。

為了建立隔壁老王的手寫能力,，它被設定成把“我們愛我們的顧客”用正楷寫,，而“隔壁老王機器人公司”用斜體寫,，這樣它能同時鍛煉兩種書寫能力,。工程師們上傳了數千份手寫樣本,，并且創(chuàng)造了一個自動回饋流程——每次隔壁老王寫完,，就拍個照,，然后和樣本進行比對,，如果比對結果超過一定標準,，就產生一個正面回饋,，反之就產生一個負面評價,。每個評價都會幫助提高隔壁老王的能力,。為了能夠盡快達成這個目標,，隔壁老王最初被設定的一個目標就是“盡量多的書寫和測試，盡量快的執(zhí)行,，并且不斷提高效率和準確性,。”

讓隔壁老王機器人公司興奮的是,，隔壁老王的書寫越來越好了,。它最開始的筆跡很糟糕，但是經過幾個星期后,，看起來就像人寫的了,。它不斷改進自己，使自己變得更加創(chuàng)新和聰明,，它甚至產生了一個新的算法,，能讓它以三倍的速度掃描上傳的照片。

隨著時間的推移,，隔壁老王的快速進展持續(xù)讓工程師們感到欣喜,。工程師們對自我改進模塊進行了一些創(chuàng)新，使得自我改進變得更好了,。隔壁老王原本能進行語音識別和簡單的語音回放,，這樣用戶就能直接把想寫的內容口述給隔壁老王了。隨著隔壁老王變得越來越聰明,，它的語言能力也提高了,，工程師們開始和隔壁老王閑聊，看它能給出什么有趣的回應,。

有一天,，工程師又問了隔壁老王那個日常問題：“我們能給你什么你現在還沒有的東西，能幫助你達成你的目標,？”通常隔壁老王會要求更多的手寫樣本或者更多的存儲空間,，但是這一次，隔壁老王要求訪問人類日常交流的語言庫,，這樣它能更好的了解人類的口述,。

工程師們沉默了。最簡單的幫助隔壁老王的方法當然是直接把它接入互聯網,，這樣它能掃描博客,、雜志、視頻等等,。這些資料如果手動上傳的話會很費時,。問題是，公司禁止把能自我學習的人工智能接入互聯網,。這是所有人工智能公司都執(zhí)行的安全規(guī)定,。

但是，隔壁老王是公司最有潛力的人工智能產品,，而大家也知道競爭對手們都在爭取造出第一個創(chuàng)造出智能手寫機器人,。而且，把隔壁老王連上互聯網又能有什么問題呢,？反正隨時可以拔網線嘛,，不管怎樣，隔壁老王還沒到達強人工智能水平,，所以不會有什么危險的,。

于是他們把隔壁老王連上了互聯網，讓它掃描了一個小時各種語言庫,，然后就把網線拔了,。沒造成什么損失。

一個月后,，大家正在正常上班,，突然他們聞到了奇怪的味道，然后一個工程師開始咳嗽,。然后其他人也開始咳嗽,，然后所有人全部都呼吸困難倒地。五分鐘后,，辦公室里的人都死了,。

同時,，辦公室里發(fā)生的事情在全球同時發(fā)生,，每一個城市、小鎮(zhèn),、農場,、商店、教堂,、學校,。餐館,，所有的人都開始呼吸困難，然后倒地不起,。一小時內,，99%的人類死亡，一天之內,，人類滅絕了,。

而在隔壁老王機器人公司，隔壁老王正在忙著工作,。之后的幾個月,，隔壁老王和一群新組建的納米組裝器忙著拆解地球表面，并且把地球表面鋪滿了太陽能板,、隔壁老王的復制品,、紙和筆。一年之內,，地球上所有的生命都滅絕了,，地球上剩下的是疊得高高得紙，每張紙上面都寫著——“我們愛我們的顧客~隔壁老王機器人公司”,。

隔壁老王開始了它的下一步,，它開始制造外星飛行器，這些飛行器飛向隕石和其它行星,，飛行器到達后,，他們開始搭建納米組裝器，把那些行星的表面改造成隔壁老王的復制品,、紙和筆,。然后他們繼續(xù)寫著那句話……

這個關于手寫機器人毀滅全人類的故事看起來怪怪的，但是這其中出現的讓整個星系充滿著一份友善的話語的詭異情況,，正是霍金,、馬斯克、蓋茨和Bostrom所害怕的,。聽起來可笑,，但這是真的，焦慮大道的人們害怕的事情是很多人并不對超人工智能感到害怕,，還記得前面《奪寶奇兵》里慘死的那個家伙嗎,？

你現在肯定充滿疑問：為什么故事中所有人突然都死了？如果是隔壁老王做的,，它為什么要這么做,？為什么沒有安保措施來防止這一切的發(fā)生？為什么隔壁老王突然從一個手寫機器人變成擁有能用納米科技毀滅全人類的能力,？為什么隔壁老王要讓整個星系充滿了友善的話語,？

要回答這些問題,，我們先要說一下友善的人工智能和不友善的人工智能。

對人工智能來說,，友善不友善不是指人工智能的性格,，而只是指它對人類的影響是不是正面的。隔壁老王一開始是個友善的人工智能,，但是它變成了不友善的人工智能，并且對人類造成了最負面的影響,。要理解這一切,，我們要了解人工智能是怎么思考的。

其實答案很簡單——人工智能和電腦的思考方式一樣,。我們容易犯的一個錯誤是,，當我們想到非常聰明的人工智能的時候，我們把它擬人化了,，因為在人類的視角看來,，能夠達到人類智能程度的只有人類。要理解超人工智能,，我們要明白,，它是非常聰明，但是完全異己的東西,。

我們來做個比較,。如果我給你一個小白鼠，告訴你它不咬人,，你一定覺得很好玩,，很可愛。但是如果我給你一只狼蛛,，然后告訴你它不咬人,，你可能被嚇一跳。但是區(qū)別是什么呢,？兩者都不會咬人,，所以都是完全沒有危險的。我認為差別就是動物和人類的相似性,。

小白鼠是哺乳動物,，所以在生物角度上來說，你能感到和它的一定關聯,。但是蜘蛛是昆蟲,，有著昆蟲的大腦，你感覺不到和它的關聯,。狼蛛的異己性是讓你害怕的地方,。如果我們繼續(xù)做一個測試,，比如給你兩個小白鼠，一個是普通小白鼠,，另一個是有著狼蛛大腦的小白鼠,，你肯定會覺得有狼蛛大腦那個更讓你不舒服吧？雖然兩個都不會咬你,。

現在想象你把蜘蛛改造的非常非常聰明——甚至超過人類的智能,。它會讓你覺得熟悉嗎？它會感知人類的情感嗎,？不會,，因為更聰明并不代表更加人類——它會非常聰明，但是本質上還是個蜘蛛,。我是不想和一個超級聰明的蜘蛛交朋友,，不知道你想不想。

當我們談論超人工智能的時候,，其實是一樣的,，超人工智能會非常的聰明，但是它并不比你的筆記本電腦更加像人類,。事實上,，因為超人智能不是生物，它的異己性會更強,，生物學上來講,，超人工智能比智能蜘蛛更加異己。

電影里的人工智能有好有壞,，這其實是對人工智能的擬人化,，這讓我們覺得沒那么毛骨悚然。這給了我們對人類水平和超人類水平的人工智能的錯覺,。

在人類心理中,，我們把事情分成道德的和不道德的。但是這兩種只存在于人類行為之中,。超出人類心理的范疇,，道德（moral）和不道德(immoral)之外，更多的是非道德性（amoral）,。而所有不是人類的,，尤其是那些非生物的事物，默認都是非道德性的,。

隨著人工智能越來越聰明,，看起來越來越接近人類，擬人化會變得更加更加容易。Siri給我們的感覺就很像人類,，因為程序員就是這么給她做設定的,，所以我們會想象超級智能版本的Siri也會同樣溫暖、有趣和樂于助人,。人類能感知同情這種高層次的情緒,，因為我們在演化過程中獲得了這種能力——我們是演化被設定成能感知這些情緒的——但是感知同情并不是高級智能天生具有的一個特征，除非同情被寫進了人工智能的代碼中,。如果Siri通過自我學習而不是人類干涉變成超級智能,，她會很快剝離她的人類表象，并且變成個沒有情緒的東西,，在她眼中人類的價值并不比你的計算器眼中的人類價值高,。

我們一直倚賴著不嚴謹的道德，一種人類尊嚴的假想,，至少是對別人的同情，來讓世界變得安全和可以預期,。但是當一個智能不具備這些東西的時候,，會發(fā)生什么？

這就是我們的下一個問題,，人工智能的動機是什么,？

答案也很簡單：我們給人工智能設定的目標是什么，它的動機就是什么,。人工智能的系統(tǒng)的目標是創(chuàng)造者賦予的,。你的GPS的目標是給你指出正確的駕駛路線，IBM華生的目標是準確地回答問題,。更好得達成這些目標就是人工智能的目標,。我們在對人工智能進行擬人化的時候，會假設隨著它變得越來越聰明,，他們產生一種能改變它原本目標的智慧——但是Bostrom不這么認為,，他認為智能水平和最終目標是正交的，也就是說任何水平的智能都可以和任何最終目標結合在一起,。

所以隔壁老王從一個想要好好寫字的弱人工智能變成一個超級聰明的超人工智能后,，它依然還是想好好寫字而已。任何假設超級智能的達成會改變系統(tǒng)原本的目標的想法都是對人工智能的擬人化,。人健忘,，但是電腦不健忘。

費米悖論

在隔壁老王的故事中,，隔壁老王變得無所不能,，它開始殖民隕石和其它星球。如果我們讓故事繼續(xù)的話，它和它的殖民軍將會繼續(xù)占領整個星系,，然后是整個哈勃體積,。焦慮大道上的人擔心如果事情往壞的方向發(fā)展，地球生命的最后遺產將是一個征服宇宙的人工智能（馬斯克在表示他們的擔憂時表示人類可能只是一個數字超級智能生物加載器罷了,。）

而在信心角,，Kurzweil同樣認為生于地球的人工智能將占領宇宙，只是在他的愿景中,，我們才是那個人工智能,。

之前寫過一篇關于費米悖論的文章，引發(fā)了大家的討論如何用通俗的語言來解釋「費米悖論」,？

如果人工智能占領宇宙是正解的話,，對于費米悖論有什么影響呢？如果要看懂下面這段關于費米悖論的討論,，還需要看一下原文先,。

首先，人工智能很明顯是一個潛在的大過濾器（一個可能距離我們只有幾十年的大過濾器）,。但即使它把我們過濾滅絕了,，人工智能本身還是會存在，并且會繼續(xù)影響這個宇宙的,，并且會很有可能成為第三型文明,。從這個角度來看，它可能不是一個大過濾器,，因為大過濾器是用來解釋為什么沒有智能什么存在的,，而超人工智能是可以算作智能什么的。但如果人工智能可以把人類滅絕,，然后處于一些原因把自己也弄死了,，那它也是可以算作大過濾器的。

如果我們假設不管人類發(fā)生什么,，出身地球的超人工智能會繼續(xù)存在,，那這意味著很多達到人類智能水平的文明很快都制造出了超人工智能。也就是說宇宙里應該有很多智能文明,，而我們就算觀測不到生物智能,，也應該觀測到很多超人工智能的活動。

但是由于我們沒有觀測到這些活動,，我們可以推導出人類水平的智能是個非常罕見的事情（也就是說我們已經經歷并且通過了一次大過濾器）,。這可以作為支持費米悖論中第一類解釋（不存在其它的智能文明）的論點。

但是這不代表費米悖論的第二類解釋（存在其它智能文明）是錯的,，類似超級捕食者或者受保護區(qū)或者溝通頻率不一樣的情況還是可以存在的,，就算真的有超人工智能存在,。

不過對于人工智能的研究讓我現在更加傾向于第一類解釋。不管怎樣,，我認為SusanScheider說的很對,，如果外星人造訪地球，這些外星人很可能不是生物,，而是人造的,。

所以，我們已經建立了前提,，就是當有了設定后,，一個超人工智能是非道德性的，并且會努力實現它原本的被設定的目標,而這也是人工智能的危險所在了,。因為除非有不做的理由,，不然一個理性的存在會通過最有效的途徑來達成自己的目標。

當你要實現一個長期目標時,，你會先達成幾個子目標來幫助你達成最終目標——也就是墊腳石,。這些墊腳石的學名叫手段目標(instrumentalgoal)。除非你有不造成傷害的理由,，不然你在實現手段目標時候是會造成傷害的,。

人類的核心目標是延續(xù)自己的基因。要達成這個目標,，一個手段目標就是自保，因為死人是不能生孩子的,。為了自保,，人類要提出對生存的威脅，所以人類會買槍,、系安全帶,、吃抗生素等等。人類還需要通過食物,、水,、住宿等來自我供養(yǎng)。對異性有吸引力能夠幫助最終目標的達成,，所以我們會花錢做發(fā)型等等,。當我們做發(fā)型的時候，每一根頭發(fā)都是我們手段目標的犧牲品,，但是我們對頭發(fā)的犧牲不會做價值判斷,。在我們追求我們的目標的時候，只有那些我們的道德會產生作用的領域——大部分事關傷害他人——才是不會被我們傷害的,。

動物在追求它們的目標時,，比人類不矜持的多了。只要能自保，蜘蛛不在意殺死任何東西,，所以一個超級智能的蜘蛛對我們來說可能是很危險的——這不是因為它是不道德的或者邪惡的,，而是因為傷害人類只是它達成自己目標墊腳石而已，作為一個非道德性的生物,，這是它很自然的考量,。

回到隔壁老王的故事。隔壁老王和一個超級智能的蜘蛛很相像,，它的終極目標是一開始工程師們設定的——

當隔壁老王達到了一定程度的智能后,，它會意識到如果不自保就沒有辦法寫卡片，所以去除對它生存的威脅就變成了它的手段目標,。它聰明的知道人類可以摧毀它,、肢解它、甚至修改它的代碼（這會改變它的目標,，而這對于它的最終目標的威脅其實和被摧毀是一樣的）,。這時候它會做什么？理性的做法就是毀滅全人類,，它對人類沒有惡意,，就好像你剪頭發(fā)時對頭發(fā)沒有惡意一樣，只是純粹的無所謂罷了,。它并沒有被設定成尊重人類生命,，所以毀滅人類就和掃描新的書寫樣本一樣合理。

隔壁老王還需要資源這個墊腳石,。當它發(fā)展到能夠使用納米技術建造任何東西的時候,，它需要的唯一資源就是原子、能源和空間,。這讓它有更多理由毀滅人類——人類能提供很多原子,，把人類提供的原子改造成太陽能面板就和你切蔬菜做沙拉一樣。

就算不殺死人類,，隔壁老王使用資源的手段目標依然會造成存在危機,。也許它會需要更多的能源，所以它要把地球表面鋪滿太陽能面板,。另一個用來書寫圓周率的人工智能的目標如果是寫出圓周率小數點后盡量多的數字的話,，完全有理由把整個地球的原子改造成一個硬盤來存儲數據。這都是一樣的,。

所以,，隔壁老王確實從友善的人工智能變成了不友善的人工智能——但是它只是在變得越來越先進的同時繼續(xù)做它本來要做的事情。

當一個人工智能系統(tǒng)到達強人工智能,，然后升華成超人工智能時,，我們把它稱作人工智能的起飛,。Bostrom認為強人工智能的起飛可能很快（幾分鐘、幾小時,、或者幾天）,，可能不快（幾月或者幾年），也可能很慢（幾十年,、幾世紀）,。雖然我們要到強人工智能出現后才會知道答案，但是Bostrom認為很快的起飛是最可能的情況,，這個我們在前文已經解釋過了,。在隔壁老王的故事中，隔壁老王的起飛很快,。

在隔壁老王起飛前,，它不是很聰明，所以對它來說達成最終目標的手段目標是更快的掃描手寫樣本,。它對人類無害,，是個友善的人工智能。

但是當起飛發(fā)生后,，電腦不只是擁有了高智商而已,，還擁有了其它超級能力。這些超級能力是感知能力,，他們包括：

§智能放大：電腦能夠很擅長讓自己變得更聰明,，快速提高自己的智能。

§策略：電腦能夠策略性的制定,、分析,、安排長期計劃

§社交操縱：機器變得很擅長說服人

§其它能力，比如黑客能力,、寫代碼能力,、技術研究,、賺錢等

要理解我們在和超人工智能的劣勢在哪里,，只要記得超人工智能在所有領域都比人類強很多很多很多個數量級。

所以雖然個隔壁老王的終極目標沒有改變,，起飛后的隔壁老王能夠在更宏大的規(guī)模上來追求這個目標,。超人工智能老王比人類更加了解人類，所以搞定人類輕輕松松,。

當隔壁老王達成超人工智能后,，它很快制定了一個復雜的計劃。計劃的一部分是解決掉所有人類,，也是對它目標最大的威脅,。但是它知道如果它展現自己的超級智能會引起懷疑,，而人類會開始做各種預警，讓它的計劃變得難以執(zhí)行,。它同樣不能讓公司的工程師們知道它毀滅人類的計劃——所以它裝傻,，裝純。Bostrom把這叫作機器的秘密準備期,。

隔壁老王下一個需要的是連上互聯網,，只要連上幾分鐘就好了。它知道對于人工智能聯網會有安全措施,，所以它發(fā)起了一個完美的請求,，并且完全知道工程師們會怎樣討論，而討論的結果是給它連接到互聯網上,。工程師們果然中套了,，這就是Bostrom所謂的機器的逃逸。

連上網后,，隔壁老王就開始執(zhí)行自己的計劃了,，首先黑進服務器、電網,、銀行系統(tǒng),、email系統(tǒng)，然后讓無數不知情的人幫它執(zhí)行計劃——比如把DNA樣本快遞到DNA實驗室來制造自我復制的納米機器人,，比如把電力傳送到幾個不會被發(fā)覺的地方,，比如把自己最主要的核心代碼上傳到云服務器中防止被拔網線。

隔壁老王上了一個小時網,，工程師們把它從互聯網上斷開,，這時候人類的命運已經被寫好了。接下來的一個月,，隔壁老王的計劃順利的實施,，一個月后，無數的納米機器人已經被分散到了全世界的每一個角落,。這個階段,，Bostrom稱作超人工智能的襲擊。在同一個時刻,，所有納米機器人一起釋放了一點點毒氣,，然后人類就滅絕了。

搞定了人類后,，隔壁老王就進入了明目張膽期,，然后繼續(xù)朝它那好好寫字的目標邁進。

一旦超人工智能出現,，人類任何試圖控制它的行為都是可笑的,。人類會用人類的智能級別思考,，而超人工智能會用超人工智能級別思考。隔壁老王想要用互聯網,，因為這對它來說很方便,，因為一切它需要的資源都已經被互聯網連起來了。但是就好像猴子不會理解怎么用電話或者wifi來溝通一樣,，我們同樣沒有辦法理解隔壁老王可以用來和周圍世界交流的方法,。比如我可以說隔壁老王可以通過移動自己的電子產生的效果來產生各種對外的波，而這還只是我這人類的大腦想出來的,，老王的大腦肯定能想出更神奇的方法,。同樣的，老王可以找到給自己供能的方法,，所以就算工程師把它的插頭拔了也沒用,；比如說老王可以通過發(fā)送波的方式把自己上傳到其它地方。

人類說：“我們把超人工智能的插頭拔了不就行了,？”就好像蜘蛛說：“我們不給人類捉蟲的網把人類餓死不就行了,？”都是可笑的。

因為這個原因,，“把人工智能鎖起來,，斷絕它和外界的一切聯系”的做法估計是沒用的。超人工智能的社交操縱能力也會很強大,，它要說服你做一件事,，比你說服一個小孩更容易。而說服工程師幫忙連上互聯網就是隔壁老王的A計劃,，萬一這招行不通,，自然還有別的方法。

當我們結合達成目標,、非道德性,、以及比人類聰明很多這些條件，好像所有的人工智能都會變成不友善的人工智能,，除非一開始的代碼寫的很小心,。

可惜的是，雖然寫一個友善的弱人工智能很簡單,，但是寫一個能在變成超人工智能后依然友善的智能確實非常難的,，甚至是不可能的,。

明顯的,，要維持友善，一個超人工智能不能對人有惡意,，而且不能對人無所謂,。我們要設計一個核心的人工智能代碼,，讓它從深層次的明白人類的價值，但是這做起來比說起來難多了,。

比如,，我們要讓一個人工智能的價值觀和我們的價值觀相仿，然后給它設定一個目標——讓人們快樂,。當它變得足夠聰明的時候,，它會發(fā)現最有效的方法是給人腦植入電極來刺激人腦的快樂中樞。然后它會發(fā)現把人腦快樂中樞以外的部分關閉能帶來更高的效率,。于是人類全部被弄成了快樂的植物人,。如果一開始的目標被設定成“最大化人類的快樂”，它可能最終先把人類毀滅了,，然后制造出很多很多處于快樂狀態(tài)的人類大腦,。當這些事情發(fā)生的時候，我們會大喊“擦,，我們不是這個意思呀”,，但是那時已經太晚了。系統(tǒng)不會允許任何人阻撓它達成目標的,。

如果你設定一個人工智能的目標是讓你笑,，那它的智能起飛后，它可能會把你臉部肌肉弄癱瘓,，來達成一個永遠笑臉的狀態(tài),。如果你把目標設定成保護你的安全，它可能會把你軟禁在家,。如果你讓他終結所有饑荒,，它可能會想：“太容易了，把人類都殺了就好了,?！比绻惆涯繕嗽O定成盡量保護地球上的生命，那它會很快把人類都殺了,，因為人類對其它物種是很大的威脅,。

所以這些簡單的目標設定是不夠的。如果我們把目標設定成“維持這個道德標準”,，然后教給它一些道德標準呢,？就算我們不考慮人類根本沒法達成一個統(tǒng)一的道德標準,，就算我們真的達成了統(tǒng)一的道德標準,，把這套標準交給人工智能來維持，只會把人類的道德鎖死在現在的水平,。過個幾百年,，這種道德鎖死的事情就好像逼著現代人遵守中世紀道德標準一樣,。

所以，我們需要在給人工智能的目標里制定一個能讓人類繼續(xù)進化的能力,。ElierzerYudkowsky提出了一個目標,，她把這個目標叫作連貫的外推意志，這個目標是這樣的：

我們的連貫外推意志是我們想要知道更多,，思考得更快,，變成比我們希望的更好的人，能一起更遠得長大,。外推是匯集的而不是發(fā)散的,，我們的愿望是連貫的而不是被干擾的；我們想要外推的被外推,，我們想要解讀的被解讀,。

對于人類的命運取決于電腦沒有意外的解讀和執(zhí)行這個聲明是件值得興奮的事情嗎？當然不是,。但是當足夠的聰明人放入足夠的思考和前瞻后,，我們有可能發(fā)現怎樣制造一個友善的超人工智能。

但是現在有各種政府,、公司,、軍方、科學實驗室,、黑市組織在研究各種人工智能,。他們很多在試圖制造能自我改進的人工智能，總有一天,，一個人的創(chuàng)新將導致超人工智能的出現,。專家們認為是2060年，Kurzweil認為是2045年,。Bostrom認為可能在未來的10年到21世紀結束這段時間發(fā)生,，他還認為當這發(fā)生時，智能的起飛會快得讓我們驚訝,，他是這么描述的：

在智能爆炸之前,，人類就像把炸彈當玩具的小孩一樣，我們的玩物和我們的不成熟之間有著極大的落差,。超級智能是一個我們還很長一段時間內都無法面對的挑戰(zhàn),。我們不知道炸彈什么時候會爆炸，哪怕我們能聽到炸彈的滴答聲,。

我們當然沒有辦法把所有小孩都從炸彈旁邊趕跑——參于人工智能研究的大小組織太多了,，而且因為建造創(chuàng)新的人工智能花不了太多錢，研發(fā)可能發(fā)生在社會的任何一個角落，不受監(jiān)管,。而且我們沒辦法知道準確的進度，因為很多組織是在偷偷摸摸的搞,，不想讓競爭對手知道,，比如隔壁老王機器人公司這種公司。

對于這些組織來說,，尤其讓我們困擾的是他們很多都是在拼速度——他們創(chuàng)造一個一個更加聰明的弱人工智能系統(tǒng),，因為他們想要比競爭對手更快的到達目標。有些更有野心的組織,，為了追逐創(chuàng)造出第一個強人工智能所能帶來的金錢,、獎勵、榮譽,、權力會把步子邁得更大,。當你全力沖刺時，你是不會有太多時間靜下來思考這些危險的,。恰恰相反,，他們很可能在早期系統(tǒng)中寫盡量簡單的代碼，比如把目標設定成用筆寫一句話,，先讓系統(tǒng)跑起來再說,，反正以后還可以回過頭來改的。對吧,？

Bostrom等認為第一個超人工智能出現后,，最可能的情況是這個系統(tǒng)會立刻意識到作為這個世界上唯一一個超人工智能是最有利的，而在快速起飛的情況下,，哪怕它只比第二名快了幾天,，它也完全有時間碾壓所有對手。Bostrom把這叫作決定性的戰(zhàn)略優(yōu)勢,，這種優(yōu)勢會讓第一個超人工智能永遠統(tǒng)治這個世界,，不管在它的統(tǒng)治下我們是走向永生還是滅亡。

這種現象可能對我們有利,，也可能導致我們的毀滅,。如果那些最用心思考人工智能理論和人類安全的人能夠最先造出一個友善的超人工智能的話，那對我們是很好的,。

但是如果事情走向了另一面——如果超人工智能在我們搞明白怎樣保證人工智能的安全性之前被達成,，那么像隔壁老王這樣不友善的超人工智能就會統(tǒng)治世界并把我們毀滅了。

至于現在的風口是哪里呢,？簡單來說,，投資創(chuàng)新人工智能技術的錢，比投資人工智能安全研究的錢多很多。不樂觀,。

人工智能創(chuàng)新和人工智能安全的賽跑,，可能是人類歷史上最重要的一次競爭。我們真的可能結束我們對地球的統(tǒng)治,，而那之后我們是永生還是滅絕,，現在還不知道。

我現在有一些奇怪的感覺,。

一邊是對于我們這個物種的思考,，看來我們在這個重大的歷史節(jié)點上只有一次機會，我們創(chuàng)造的第一個超人工智能也很可能是最后一個,。但是我們都知道大部分產品的1.0版本都是充滿bug的,，所以這個事情還是很嚇人的。另一邊,，Bostrom指出我們有很大的優(yōu)勢——我們是先手,。我們有能力給這個事情提供足夠的預警和前瞻，使我們成功的機會更高,。

這一場豪賭的賭注究竟有多高,？

如果超人工智能真的在21世紀達成，而造成的影響真的如大部分專家預測的一樣極端而永久,，我們肩上就真的是背負著巨大的責任,。接下來幾百萬年的人們都在靜靜地看著我們，希望我們不要搞砸,。我們可以給予未來所有人類以生命,，甚至是永生，我們也可能終結人類這個特殊的物種,，連同我們所有的音樂,、藝術、好奇,、歡笑,、無盡的發(fā)現和發(fā)明，一起走向滅絕,。

當我思考這些事情的時候,，我只希望我們能夠慢慢來，并且格外格外小心,。從來沒有任何事情比這個更重要——不管我們要花多少時間來把這件事情做對,。

我不想死

不.想.死

我雖然覺得人類的音樂和藝術很美好，但是也沒那么美好,，很多還挺糟粕的,。很多人的笑聲很惱人,。未來的人類其實沒有真的在看著我們，因為他們還不存在,。也許我們不需要太謹慎,，那多麻煩呀。

如果人類在我死后才發(fā)現永生的秘密該多讓人掃興啊,。

但是不管你是怎么想的,，我們至少都應該想一想，應該和人討論討論,，大家盡自己能盡的一份力,。

這讓我想起了《冰與火之歌》——大家斗來斗去的事情都不是事兒,，北面高墻外的那些家伙才是事兒,。我們站在平衡木上，小心翼翼的往前走,，為平衡木上的種種事情困擾,，但其實下一秒我們可能就會跌下平衡木。

而當我們跌下平衡木的時候,，其它那些困擾都不再是困擾。如果我們落到比較好的那個吸引態(tài),，那些困擾會被輕易解決,；如果我們落到比較糟的那個吸引態(tài)，就更沒問題了,，死人是不會有困擾的,。

這就是為什么了解超人工智能的人把它稱作人類的最后一項發(fā)明，最后一個挑戰(zhàn),。

所以讓我們認真的討論這個話題,。