作者 | Stuart Russell

編譯 | CDA數(shù)據(jù)分析師

原文 | Full Page Reload

人工智能研究正在朝著人類或超人類智能機(jī)器的長期目標(biāo)邁進(jìn),。但是,，如果它以目前的形式成功，那將很可能給人類帶來災(zāi)難性的后果,。原因是AI的“標(biāo)準(zhǔn)模型”要求機(jī)器遵循人類指定的固定目標(biāo),。我們無法完全正確地指定目標(biāo)，也無法預(yù)測或防止追求錯誤目標(biāo)的機(jī)器在具有超人能力的全球規(guī)模上運(yùn)行時(shí)所造成的危害,。我們已經(jīng)看到了諸如社交媒體算法之類的示例,，這些示例學(xué)會了通過操縱人類的偏好來優(yōu)化點(diǎn)擊率,，從而給民主制度帶來災(zāi)難性的后果。

尼克·博斯特倫（Nick Bostrom）在2014年出版的《超級情報(bào)：道路,，危險(xiǎn),，策略》 一書中詳細(xì)介紹了認(rèn)真對待這一風(fēng)險(xiǎn)的案例。在大多數(shù)人認(rèn)為英國輕描淡寫的經(jīng)典例子中,，《經(jīng)濟(jì)學(xué)人》雜志對博斯特羅姆的書進(jìn)行了評論,，其結(jié)尾是：“將第二種智能物種引入地球的意義深遠(yuǎn)，值得深思,?！背鲇诔壷悄軐?shí)體已經(jīng)考慮過這種可能性 并采取措施阻止這種可能性的簡單原因，無法關(guān)閉機(jī)器 ,。

當(dāng)然,，在這么多的事情發(fā)生的今天，當(dāng)今的偉大思想家已經(jīng)在做這個艱難的思考-進(jìn)行認(rèn)真的辯論,，權(quán)衡風(fēng)險(xiǎn)和收益,，尋求解決方案，找出解決方案中的漏洞,，等等,。據(jù)我所知，還沒有,。取而代之的是,，人們付出了很大的努力進(jìn)行各種形式的否認(rèn)。

一些著名的AI研究人員訴諸了幾乎不值得反駁的論點(diǎn),。以下是我在文章中閱讀或在會議上聽過的數(shù)十篇文章中的一部分：

• 電子計(jì)算器在算術(shù)上是超人的,。計(jì)算器并沒有接管整個世界。因此,，沒有理由擔(dān)心超人AI,。
• 從歷史上看，有零例機(jī)器殺死了數(shù)百萬人,，因此,，通過歸納法，它不可能在未來發(fā)生,。
• 宇宙中沒有任何物理量是無限的,，其中包括智力,，因此對超智能的擔(dān)憂被夸大了,。

也許在AI研究人員中,，最常見的回答是說“我們總是可以將其關(guān)閉,。” Alan Turing自己提出了這種可能性,，盡管他對此并不抱太大信心：

如果機(jī)器可以思考,，它可能會比我們更聰明地思考，那么我們應(yīng)該在哪里呢,？即使我們可以例如通過在關(guān)鍵時(shí)刻關(guān)閉電源來將機(jī)器保持在從動的位置,，作為一個物種，我們也應(yīng)該感到非常謙卑,?！@種新的危險(xiǎn)……當(dāng)然可以使我們焦慮。

出于超級智能實(shí)體已經(jīng)考慮過這種可能性并采取措施阻止這種可能性的簡單原因,，無法關(guān)閉機(jī)器,。這樣做不是因?yàn)樗跋牖钪保且驗(yàn)樗谧非笪覀兘o它的任何目標(biāo),，并且知道關(guān)閉它會失敗,。我們僅通過將石頭放在正確的方塊上就可以擊敗AlphaGo（世界冠軍的Go播放程序），這是再也不能“關(guān)閉”了,。

其他拒絕形式也吸引了更復(fù)雜的想法,，例如，智力是多方面的,。例如,，一個人可能比另一個人具有更多的空間智能，而社會智能卻較少,，因此我們不能按照嚴(yán)格的智力順序排列所有人,。對于機(jī)器來說更是如此：將AlphaGo的“智能”與Google搜索引擎的“智能”進(jìn)行比較是毫無意義的。

《連線》雜志的創(chuàng)始編輯，技術(shù)敏銳的評論員凱文·凱利將這一論點(diǎn)再進(jìn)一步了,。他在“ 超人AI的神話”一書中寫道：“智能不是一個單一的維度,，因此“比人類聰明”是毫無意義的概念?！币豢跉饩拖藢Τ悄艿乃嘘P(guān)注,。

現(xiàn)在，一個明顯的反應(yīng)是,，機(jī)器在智能的所有相關(guān)方面都可能超出人類的能力,。在那種情況下，即使按照凱利的嚴(yán)格標(biāo)準(zhǔn),，這臺機(jī)器也比人類更智能,。但是,，這種強(qiáng)有力的假設(shè)并不一定要反駁凱利的論點(diǎn)?？梢钥匆豢春谛尚?。黑猩猩可能具有比人類更好的短期記憶能力，即使在以人為導(dǎo)向的任務(wù)（如回想數(shù)字序列）上也是如此,。短期記憶是智力的重要方面,。按照凱利的說法，人類并不比黑猩猩聰明,。實(shí)際上,，他會宣稱“比黑猩猩更聰明”是沒有意義的概念。這對黑猩猩和其他幸存下來的物種來說是冷的安慰,，它們只是因?yàn)槲覀冊敢庠试S這樣做,，而對于所有我們已經(jīng)消滅的物種而言。對于可能擔(dān)心被機(jī)器擦掉的人來說,，這也是一種冰冷的安慰,。

也可以通過爭論無法實(shí)現(xiàn)超級智能來消除超級智能的風(fēng)險(xiǎn)。這些說法并不新鮮,，但是現(xiàn)在令人驚訝的是,，看到AI研究人員自己聲稱這種AI是不可能的。例如,，來自AI100組織的一份主要報(bào)告“ 2030年的人工智能與生命 [PDF]”包括以下主張：“與電影不同,，沒有超人機(jī)器人在眼前出現(xiàn)種族競賽，甚至可能沒有,?！?/p>

據(jù)我所知，這是嚴(yán)肅的AI研究人員首次公開信奉人類或超人AI是不可能的觀點(diǎn),，而這是在AI研究飛速發(fā)展的階段,，當(dāng)障礙不斷違反。好像一群領(lǐng)先的癌癥生物學(xué)家宣布他們一直在欺騙我們：他們一直都知道永遠(yuǎn)不會治愈癌癥,。

是什么原因促成這樣的面孔,？該報(bào)告不提供任何論據(jù)或證據(jù)。（實(shí)際上,，有什么證據(jù)可以證明,，在物理上沒有可能存在的原子排列優(yōu)于人類的大腦？）我懷疑主要原因是部族主義-本能使貨車?yán)@過AI的“攻擊”,。然而,，將超級智能AI可能作為對AI的攻擊這一說法似乎很奇怪，甚至說AI永遠(yuǎn)不會成功實(shí)現(xiàn)其目標(biāo)，捍衛(wèi)AI則顯得更為奇怪,。我們不能僅僅依靠人類的創(chuàng)造力來確保未來的災(zāi)難。

如果不是不是絕對不可能的超人AI,，那么擔(dān)心就太遙遠(yuǎn)了嗎,？這是吳安德（Andrew Ng）斷言的要旨，即擔(dān)心“火星上的人口過多 ”,。不幸的是,，長期風(fēng)險(xiǎn)仍然可能立即引起人們的關(guān)注。擔(dān)心人類潛在的嚴(yán)重問題的合適時(shí)間不僅取決于問題何時(shí)發(fā)生,，還取決于準(zhǔn)備和實(shí)施解決方案需要多長時(shí)間,。例如，如果我們要在2069年檢測到正在與地球碰撞的大型小行星,，我們是否要等到2068年才開始研究解決方案,？離得很遠(yuǎn)！將有一個全球緊急項(xiàng)目來開發(fā)應(yīng)對威脅的方法,，因?yàn)槲覀儫o法提前說出需要多少時(shí)間,。

Ng的論點(diǎn)也吸引了人們的直覺,，即我們極不可能首先嘗試將數(shù)十億人類移居火星。但是,，這個比喻是錯誤的,。我們已經(jīng)在投入大量的科學(xué)和技術(shù)資源來創(chuàng)建功能更強(qiáng)大的AI系統(tǒng)，而很少考慮如果成功了會發(fā)生什么,。因此,，更恰當(dāng)?shù)念惐仁菍⑷祟愡w移到火星的計(jì)劃，而不考慮到達(dá)后我們可能會呼吸,，喝水或吃些什么,。有些人可能將此計(jì)劃稱為不明智的。

避免潛在問題的另一種方法是斷言對風(fēng)險(xiǎn)的擔(dān)憂是由無知引起的,。例如,，以下是艾倫（Allen）AI學(xué)院的首席執(zhí)行官Oren Etzioni，指責(zé)埃隆·馬斯克（Elon Musk）和斯蒂芬·霍金（Stephen Hawking）涉嫌Luddism,，因?yàn)樗麄兒粲跞藗冋J(rèn)識到AI可能構(gòu)成的威脅：

在每一項(xiàng)技術(shù)創(chuàng)新的興起中,，人們都感到恐懼。從織布工在工業(yè)時(shí)代開始時(shí)在機(jī)械織機(jī)中扔鞋到今天對殺手機(jī)器人的恐懼,，我們的反應(yīng)是不知道新技術(shù)將對我們的自我意識和生計(jì)產(chǎn)生什么影響,。而當(dāng)我們不知道時(shí)，我們恐懼的思想充斥著細(xì)節(jié)。

即使我們以表面價(jià)值來接受這種經(jīng)典的ad hominem論點(diǎn),，也無法成立,。霍金對科學(xué)推理并不陌生,，馬斯克監(jiān)督并投資了許多人工智能研究項(xiàng)目,。認(rèn)為比爾·蓋茨，IJ·古德,，馬文·明斯基,，艾倫·圖靈和諾伯特·維納，都引起了人們的關(guān)注,，沒有資格討論人工智能,，這似乎更沒有道理。對Luddism的指控也完全是錯誤的,。當(dāng)他們指出控制裂變反應(yīng)的必要性時(shí),，就好像是要指責(zé)核工程師。該指控的另一種說法是聲稱提及風(fēng)險(xiǎn)意味著否認(rèn)人工智能的潛在利益,。例如,，Oren Etzioni曾提出：

厄運(yùn)和悲觀的預(yù)測通常無法考慮AI在預(yù)防醫(yī)療錯誤，減少交通事故等方面的潛在優(yōu)勢,。

而這里是馬克·扎克伯格的Facebook的CEO,，在與伊隆·馬斯克最近的媒體推波助瀾交流：

如果您在反對AI，那么您在爭論不會發(fā)生事故的更安全的汽車,。而且您正在爭論不能在人們生病時(shí)更好地對其進(jìn)行診斷,。

有人提到風(fēng)險(xiǎn)是“反對AI”的說法似乎很奇怪。（核安全工程師“反對電力”嗎,？）但更重要的是,，整個論點(diǎn)恰恰是倒退的，原因有兩個,。首先,，如果沒有潛在的利益，就不會有推動人工智能研究的動力,，也不會有實(shí)現(xiàn)人類水平的人工智能的危險(xiǎn),。我們根本不會進(jìn)行任何討論。其次,，如果不能成功地減輕風(fēng)險(xiǎn),，將沒有任何好處。

由于1979年三英里島,，1986年切爾諾貝利和2011年福島島的災(zāi)難性事件,，核電的潛在利益已大大降低。這些災(zāi)難嚴(yán)重限制了核工業(yè)的發(fā)展。意大利在1990年放棄了核電,，比利時(shí),，德國，西班牙和瑞士已經(jīng)宣布了這樣做的計(jì)劃,。從1991年到2010年,，每年的凈新增產(chǎn)能大約是切爾諾貝利之前的那一年的十分之一。

奇怪的是,，鑒于這些事件,，著名的認(rèn)知科學(xué)家史蒂芬·平克（Steven Pinker）認(rèn)為 [PDF]不宜引起人們對AI風(fēng)險(xiǎn)的關(guān)注，因?yàn)椤跋冗M(jìn)社會的安全文化”將確保AI的所有嚴(yán)重風(fēng)險(xiǎn)都將被淘汰,。即使我們無視我們先進(jìn)的安全文化導(dǎo)致切爾諾貝利,，福島和全球變暖失控的事實(shí)，平克的論點(diǎn)也完全沒有意義,。安全文化（在可行時(shí)）正好由人們指出可能的故障模式并尋找預(yù)防方法來組成,。對于AI，標(biāo)準(zhǔn)模型是故障模式,。

Pinker還指出,，有問題的AI行為是由提出特定類型的目標(biāo)引起的。如果排除這些,，一切都會好起來的：

AI反烏托邦將狹par的阿爾法男性心理投射到智力的概念上,。他們認(rèn)為超人類智能機(jī)器人會制定出一些目標(biāo)，例如拋棄主人或接管世界,。

深度學(xué)習(xí)的先驅(qū),，F(xiàn)acebook的AI研究總監(jiān)Yann LeCun 在淡化AI的風(fēng)險(xiǎn)時(shí)經(jīng)常引用相同的想法：

認(rèn)可機(jī)構(gòu)沒有理由具有自我保護(hù)的本能，嫉妒等,?！俏覀儗⑦@些情感融入其中，否則認(rèn)可機(jī)構(gòu)將不會具有這些破壞性的“情感”,。

不幸的是,，無論我們建立在“情感”還是“欲望”中，例如自我保護(hù),，資源獲取,，知識發(fā)現(xiàn)，或者在極端情況下占領(lǐng)世界,，都沒有關(guān)系,。無論如何，機(jī)器都會產(chǎn)生這些情感，就像我們建立的任何目標(biāo)的子目標(biāo)一樣,，而不論其性別如何,。正如我們在“只需要關(guān)閉電源”的說法中所看到的那樣，對于一臺機(jī)器而言,，死亡本身并不壞,。盡管如此，還是要避免死亡,，因?yàn)槿绻闼懒?，就很難實(shí)現(xiàn)目標(biāo)。

“避免設(shè)定目標(biāo)”概念的一個常見變體是這樣一個概念,，即一個足夠智能的系統(tǒng)由于其智能必定會自行制定“正確的”目標(biāo),。18世紀(jì)的哲學(xué)家戴維·休David（David Hume）在《人性論》中駁斥了這一思想。尼克·博斯特羅姆,，在超級智能,，提出了休謨的作為位置的正交性論文：

智力和最終目標(biāo)是正交的：原則上，任何水平的智力或多或少都可以與任何最終目標(biāo)結(jié)合,。

例如,，可以為自動駕駛汽車指定任何特定地址作為目的地；例如,，使汽車成為更好的駕駛者并不意味著它將自發(fā)地開始拒絕去被17整除的地址,。出于同樣的原因，不難想象可以為通用智能系統(tǒng)提供或多或少的追求目標(biāo),，包括最大化回形針的數(shù)量或pi的已知數(shù)字的數(shù)量,。這就是強(qiáng)化學(xué)習(xí)系統(tǒng)和其他種類的獎勵優(yōu)化器的工作方式：算法完全通用，可以接受任何獎勵信號,。對于在標(biāo)準(zhǔn)模型內(nèi)運(yùn)行的工程師和計(jì)算機(jī)科學(xué)家而言,，正交性理論只是一個定論。

對Bostrom正交性論的最明確的批評來自著名的機(jī)器人學(xué)家Rodney Brooks,，他斷言,，程序“足夠聰明以至于無法發(fā)明出顛覆人類社會以實(shí)現(xiàn)人類為其設(shè)定的目標(biāo)的方法，卻不了解它對那些相同的人造成問題的方式,?！蹦切┱J(rèn)為風(fēng)險(xiǎn)可以忽略不計(jì)的人未能解釋為什么超智能AI必然會受到人類控制。

不幸的是,，程序不僅可能表現(xiàn)出這樣的行為,；實(shí)際上，考慮到布魯克斯定義問題的方式,，這是不可避免的,。Brooks認(rèn)為,，機(jī)器“達(dá)到人類設(shè)定的目標(biāo)”的最佳計(jì)劃正在給人類帶來麻煩。由此可見,，這些問題反映了對人類有價(jià)值的事物,，而人類為之設(shè)定的目標(biāo)卻忽略了這些問題。機(jī)器執(zhí)行的最佳計(jì)劃很可能會給人類帶來麻煩,，并且機(jī)器可能會意識到這一點(diǎn),。但是，按照定義,，機(jī)器不會將這些問題視為有問題的,。它們與它無關(guān)。

總而言之，“懷疑論者”（那些認(rèn)為來自AI的風(fēng)險(xiǎn)可以忽略不計(jì)的人）未能解釋為什么超級智能AI系統(tǒng)必定會受到人類控制,。他們甚至都沒有試圖解釋為什么永遠(yuǎn)不會開發(fā)超智能AI系統(tǒng),。

AI社區(qū)必須繼續(xù)承擔(dān)風(fēng)險(xiǎn)并努力減輕風(fēng)險(xiǎn),，而不是繼續(xù)淪落為部落的名字召喚和不法論據(jù)的反復(fù)發(fā)掘,。就我們所了解的風(fēng)險(xiǎn)而言，這些風(fēng)險(xiǎn)既非微不足道,，也非不可克服,。第一步是認(rèn)識到必須替換標(biāo)準(zhǔn)模型（優(yōu)化固定目標(biāo)的AI系統(tǒng)）。這簡直是糟糕的工程,。我們需要做大量的工作來重塑和重建AI的基礎(chǔ),。

關(guān)于作者

計(jì)算機(jī)科學(xué)家Stuart Russell在加利福尼亞大學(xué)伯克利分校創(chuàng)立并指導(dǎo)了人類兼容人工智能中心。本月,，Viking Press將出版Russell的新書《人類兼容：人工智能與控制問題》,，本文以此為依據(jù)。他還積極參與反對自動武器的運(yùn)動,，并策動制作了備受矚目的2017年視頻《屠殺機(jī)器人》,。

掃碼進(jìn)入CDA官方小程序，解鎖更多新鮮資訊和優(yōu)質(zhì)內(nèi)容,，還有免費(fèi)試聽課程,，不要錯過喲！