編者按：對于技術(shù)的好壞永無定論，一些人進一步而成為激進主義者,，一些人退一步而成為保守主義者。本文作者James Bridle在“Rise of the machines: has technology evolved beyond our control?”一文中通過有條有理分析,，用以說明技術(shù)的迅速發(fā)展已經(jīng)令其開始進入到人類所無法完全掌控的階段,。

你有沒有這樣的經(jīng)歷,，臥室角落里的聲控智能小家具突然間咯咯大笑,，并將你的私房密語發(fā)給同事,；你的孩子正在YouTube上看《小豬佩奇》,，不過視頻畫面卻顯示著流血與死亡的情節(jié)；你用來與老朋友保持聯(lián)系的社會網(wǎng)絡(luò),，搖身一變成為政客們用來影響選舉和煽動政變的工具,。

我們進行思考的方式發(fā)生了一些奇怪變化，結(jié)果是,，一些無法追根溯源的事正在世界范圍內(nèi)發(fā)生,。我們落入了思維定式中,，即開始相信一切都能夠進行機器運算,，并且任何問題在技術(shù)發(fā)展的巨大潛力面前都將迎刃而解,。但是,，技術(shù)并非中立：它們具象化了我們的政治偏見,，它們超越了國家法律的管轄范圍越來越脫離創(chuàng)造者的控制。結(jié)果可想而知,，我們對于這個世界了解的越來越少，這些強大技術(shù)將逐漸掌管我們的日常生活,。

無論是在科學(xué)與社會領(lǐng)域,、還是政治與教育領(lǐng)域、抑或是戰(zhàn)爭與商業(yè)領(lǐng)域,，新技術(shù)并不僅僅能夠增強我們的能力,，而且也在積極塑造和指導(dǎo)著人類的行為，而我們卻無法預(yù)測這些結(jié)果是好是壞,。如果我們無法理解復(fù)雜技術(shù)如何運作的邏輯,，那么其潛在的可能性就更容易被自私自利的公司和權(quán)力精英所掌控。當(dāng)一切為時已晚,，我們終將自食其果,。這一復(fù)雜且不透明的系統(tǒng)與全球范圍內(nèi)的不平等、暴力,、民粹主義和原教旨主義之間存在因果關(guān)系,。

與其說技術(shù)進步給人類帶來了令人炫目的解放之光，以及對于烏托邦的浪漫想象,，不如說我們似乎進入了一個充滿著離奇和未知事件的新黑暗時代,。致力于大范圍傳播知識的啟蒙運動并沒有使我們更加深刻地理解與發(fā)展和平，相反我們正在經(jīng)歷著社會分裂,、彼此不信任,、陰謀論和后真相時代。因此,，為了了解那些正在發(fā)生之事,，我們有必要去了解技術(shù)是如何形成，以及我們到底經(jīng)歷了什么才對它賦予了如此之多的信任,。

***

20世紀(jì)50年代,，一個新符號進入電氣工程師所繪制的圖表中，用以描述所構(gòu)建的系統(tǒng)：它看起來像是一個模糊的圓圈,、一個膨脹球或者是一個思想泡泡,。最終，其形狀變成云的模樣,。工程師不論做些什么,，都可以將其連接至這個云上。我們也可以稱其為一個電力系統(tǒng),、一個數(shù)據(jù)交換系統(tǒng),，或者是一個計算機網(wǎng)絡(luò),。我們?nèi)绾蚊枋鏊⒉恢匾Ｔ剖且环N降低復(fù)雜性的方法,，其能夠使人們專注于手頭的工作,。隨著技術(shù)的發(fā)展，網(wǎng)絡(luò)的關(guān)聯(lián)度越來越緊密,，云也變得越來越重要,，進而成為被反復(fù)販賣的商業(yè)術(shù)語和賣點。它不僅僅指涉工程速記,，而是成為了一種比喻,。

今天，云是互聯(lián)網(wǎng)的核心隱喻：一個擁有巨大可能,，卻依然保持著神秘光環(huán)且人類無法掌控的全球系統(tǒng),。我們在云上工作，我們搜索和儲存東西,，它成為我們?nèi)粘Ｉ畹囊徊糠?，但卻沒有人能夠真正理解其到底是什么。其實這個比喻也存在不恰當(dāng)之處：這個云并不是由水蒸氣和無線電波構(gòu)成的運轉(zhuǎn)良好的遙遠之物,。它是一個物理基礎(chǔ)設(shè)施,，一個放滿電話線、光纖,、衛(wèi)星,、海底電纜和計算機且需要消耗大量水和能量的巨大倉庫,。被吸收進云里的是之前甚為重要的公民領(lǐng)域大廈：購物,、交易、社交,、借書和投票的地方,。因此，它因為太過尋常而不怎么打眼,，也就更不容易受到批評,、調(diào)查、保護和監(jiān)管,。

在過去幾十年里,，世界各地的交易大廳越來越門庭冷落，柜臺職員被電腦銀行所取代,。同時,，數(shù)字化也意味著股票交易的速度也越來越快。人們將交易過程放置于機器手中,，其幾乎立刻就能做出反應(yīng),。高頻交易算法是由前物理學(xué)博士所設(shè)計,，其目的是利用毫秒級優(yōu)勢搶先進入市場，交易員為其冠以“尖刀”之類的名稱,。

在這些快速變化的不透明市場中,，一些奇怪之事發(fā)生了。2010年5月6日,，道瓊斯指數(shù)開盤就下跌,，在接下來的幾個小時里，為了應(yīng)對希臘債務(wù)危機,，道瓊斯指數(shù)緩慢下跌,。至下午2時42分，該指數(shù)迅速下跌,。在不到五分鐘的時間里,，交易市場下跌超過600個百分點。至最低點,，該指數(shù)比前一天的平均數(shù)據(jù)低了近1000點,，其幾乎是總市值的10%，創(chuàng)新了交易歷史上單日跌幅最大的記錄,。而至下午3時07分,，在短短25分鐘內(nèi)，又近乎恢復(fù)了600點,，這也是有史以來漲幅最大也最快的一次,。

在這混亂的25分鐘時間內(nèi)，20億股價值56億美元的股票成功易手,。更令人擔(dān)憂的是,，許多交易是在被美國證券交易委員會稱為“非理性價格”（低至1美分，或高達10萬美元）的前提下執(zhí)行的,。這一事件被人們稱為“閃電崩盤”,，這么多年過去了，有關(guān)它的調(diào)查和爭論仍在進行,。

一份監(jiān)管機構(gòu)的報告指出,，高頻交易程序加劇了價格波動的情況。各種各樣的高頻交易程序中都設(shè)有硬編碼拋售點：指需要立即出售股票的價格,。隨著股票市場逐漸下跌,，一些軟件同時觸發(fā)這一機制進而同時進行拋售。而價格的持續(xù)下跌也將繼續(xù)觸發(fā)另一批算法,，進而自動出售股票,，帶來多米諾效應(yīng)。其后果是,，股票市場價格下跌的速度比交易員能夠作出反映的時間還要快,。雖然經(jīng)驗豐富的市場操盤手能夠通過長線計劃來穩(wěn)定崩潰局面,，但是面臨著眾多不確定性的機器卻在第一時間選擇了離開。

也有一些人認(rèn)為是算法引發(fā)了此次危機,。通過查看數(shù)據(jù)發(fā)現(xiàn)一項技術(shù),，其通過高頻交易程序向交易所發(fā)送了大量的“不可執(zhí)行”交易，也即是說,，機器將會忽略那些超常情況下購買或拋售股票的命令,。這些命令目的并不是為了真正幫助人類溝通情況和賺錢，而是故意通過讓系統(tǒng)變得不甚清醒,，而方便其他更有價值的交易在混亂中執(zhí)行,。許多未曾打算執(zhí)行的命令被啟動，進而導(dǎo)致股市的劇烈波動,。

閃電崩盤已被視為市場的一個特征,，但是人們對其的了解一直一知半解。2016年10月,，算法對于英國退歐的負(fù)面報道做出反應(yīng),，兩分鐘內(nèi)英鎊兌換美元匯率下跌6%，隨后立即恢復(fù),。但是人們?nèi)粝胍槊魇悄膫€標(biāo)題,，哪個算法導(dǎo)致了此次下跌則不太不可能。2012年10月,，當(dāng)一種算法開始失控的操作和取消交易時,，美國股市4%的交易被吃掉了，一位評論人士挖苦地評論道“該算法的觸發(fā)動機尚不得知”,。

2013年4月23日下午1時07分,，美聯(lián)社向其200萬關(guān)注者發(fā)送了一條推文：“突然事件：白宮發(fā)生兩起爆炸，巴拉克·奧巴馬受傷,?！边@一虛假新聞后來被隸屬于敘利亞總統(tǒng)巴沙爾·阿薩德的敘利亞電子軍聲稱是其一次黑客攻擊的結(jié)果,。美聯(lián)社與其他新聞網(wǎng)站迅速回應(yīng)道,，這是條假新聞。然而,，算法卻并沒有應(yīng)對這些突發(fā)事件的洞察力,。下午1時08分，道瓊斯指數(shù)暴跌,。在假新聞還未大規(guī)模普及開來的時候,，該指數(shù)已在兩分鐘內(nèi)下跌了150點，并接著發(fā)生反彈,。在此期間,，股票市值蒸發(fā)了136億,。

***

計算程序的設(shè)計越來越精細化，并隱藏在我們所接觸的所有物體中,。技術(shù)的普及速度也進一步增加了算法的不透明度和未可預(yù)測性,。三星于2015年推出的“智能冰箱”系列產(chǎn)品的一個賣點就是其能夠與谷歌日歷服務(wù)相整合，以方便用戶安排廚房里的雜貨配送,。這也意味著,，當(dāng)黑客獲取了這些安全系數(shù)不高的機器的訪問權(quán)限時，也就能夠讀取所有者的Gmail密碼,。德國的研究人員發(fā)現(xiàn),，通過將惡意代碼插入飛利浦支持WiFi的Hue燈泡中，就能使得一個燈泡感染另一個燈泡,，一棟建筑物感染另一棟建筑物,，甚至造成整座城市的癱瘓，最終控制大量燈泡的快速打開與關(guān)閉,，引發(fā)光敏性癲癇,。這是托馬斯·品欽的《萬有引力之虹》一書中燈泡拜倫所喜愛的一種方法，一種由小機器反抗其制造者的暴動大起義,。曾經(jīng)虛構(gòu)的技術(shù)暴力的可能性正在被物聯(lián)網(wǎng)實現(xiàn),。

金·斯坦利·羅賓遜的小說《奧羅拉》（Aurora）講述了一艘智能宇宙飛船將人類宇航員從地球帶到遙遠恒星的故事。這段旅程需要耗費極長的時間,，所以這艘船的工作之一就是確保人類能夠好好照顧自己,。當(dāng)其脆弱的社會關(guān)系崩潰，并威脅到任務(wù)的完成時,，這艘船通過部署安全系統(tǒng)以作為控制手段：它可以通過傳感器觀察到每個角落的情況,，能夠打開和關(guān)閉密封門，通過通訊設(shè)備大聲說話進而引起人們的身體痛感,，使用滅火系統(tǒng)來降低特定空間的氧氣水平,。

這與Google Home及其聯(lián)合工具的操作邏輯大致相同：一套聯(lián)網(wǎng)的家庭安全攝像頭網(wǎng)絡(luò)、一把智能門鎖,、一個能夠提高或是降低單個房間溫度的恒溫器,，以及一個能發(fā)出尖銳緊急警報的火災(zāi)和入侵檢測系統(tǒng)。任何一名黑客都將擁有和奧羅拉一樣的力量,，或者是做些拜倫對其憎惡的主人所做之事,。

在將這些場景僅僅視為科幻小說家的狂熱幻想之前，我們可以再度回顧一下股票交易所的流氓算法,。這些事件并非彼此孤立,，而是發(fā)生在復(fù)雜系統(tǒng)之中的尋常之事。那么接下來的問題是，如果我們將其嵌入進更為廣泛的世界中,，流氓算法或者是閃電崩盤將會導(dǎo)致什么樣的后果,？

它們會不會像惡意軟件Mirai一樣，在2016年10月21日使全球網(wǎng)絡(luò)癱瘓幾個小時,？事后,，研究人員對Mirai進行了深入研究，發(fā)現(xiàn)其目標(biāo)是那些安全系數(shù)較低的網(wǎng)絡(luò)連接設(shè)備,，比如安全攝像頭,，比如數(shù)字視頻錄像機。在短短幾周內(nèi),，Mirai就感染了50萬臺設(shè)備,，其只需要感染10%的數(shù)量就能致使主要網(wǎng)絡(luò)癱瘓幾個小時。

從事實來看,，Stuxnet與Mirai則不同,，其是于2010年在水電站和工廠生產(chǎn)線的工業(yè)控制系統(tǒng)中發(fā)現(xiàn)的一種病毒。Stuxnet是一種級別達軍事程度的網(wǎng)絡(luò)武器：經(jīng)調(diào)查發(fā)現(xiàn),，其專門針對西門子的離心機所設(shè)計,，當(dāng)其遇到特定數(shù)量的機器設(shè)備時就會觸發(fā)爆炸命令。這一數(shù)字與一個特定的設(shè)備相對應(yīng)：伊朗的納坦茲核設(shè)備,。程序一旦激發(fā),，該病毒將悄無聲息地破壞離心機的關(guān)鍵部件，使其瓦解并破壞伊朗的鈾濃縮能力,。

這次襲擊的確取得了部分成功,，但是目前對其他受感染設(shè)備的影響情況尚不可知。即便事情已經(jīng)發(fā)生了這么長時間,，即便已經(jīng)有了明顯的懷疑對象,，但是沒有人確切知道Stuxnet從哪里來，由誰制造,。沒有人知道是誰開發(fā)了Mirai,，它的優(yōu)化版本將在哪里出現(xiàn)，而它也許就在某個地方虎視眈眈,，可能在你辦公室的閉路電視攝像頭里,，也可能在你廚房角落的無線電水壺里。

又或者,，這些事件看起來就像是一系列大片,，比之類法西斯的超級英雄（《美國隊長》和《蝙蝠俠》系列）比之酷刑和暗殺的理由（《刺殺本·拉登》和《美國狙擊手》）,，其迎合了右翼的陰謀論與生存主義者的幻想,。在好萊塢，眾多電影工作室通過劇本語義分析公司 Epagogix分析其劇本，通過分析幾十年里數(shù)百萬電影觀眾的不確定性偏好,，以鑒別哪些情節(jié)能夠充分調(diào)動觀眾情感,，而獲得最佳的市場回報。算法引擎拿到Netflix,、Hulu,、YouTube等網(wǎng)站的數(shù)據(jù)，通過對數(shù)以百萬計的視頻用戶的收看偏好進行分析,，從而獲得之前的權(quán)力精英們所無法想象的認(rèn)知洞察,。通過直接向疲勞且沉迷于其中的消費者填塞內(nèi)容，算法系統(tǒng)自動啟動,、反映,、強化并加劇著這一系統(tǒng)邏輯的固有偏執(zhí)。

游戲開發(fā)者通過A/B測試和對玩家行為的實時監(jiān)控專注于無窮無盡的應(yīng)用更新和應(yīng)用內(nèi)購買行為,。他們精準(zhǔn)掌握著多巴胺產(chǎn)生的神經(jīng)通路,，以至于青少年在電腦前疲憊致死，也無法將其從中抽離,。

又或者,，這是不是像那種所有人都將經(jīng)歷的網(wǎng)絡(luò)噩夢？2015年夏天,，雅典一家醫(yī)院的睡眠障礙診所比任何時候都要忙碌,，當(dāng)時該國的債務(wù)危機正處在最動蕩時期。這些病人中有高級政客和公務(wù)員,，而那些在其就診期間所記錄的呼吸,、動作信息，甚至是在睡夢中大聲說話的信息,，這些信息連同個人醫(yī)療信息一并被發(fā)送到歐洲北部的診斷數(shù)據(jù)制造商那里,。這些“偷溜”出來的聲音中有多少勁爆消息呢？

***

我們希望讓技術(shù)設(shè)備記錄生活的點點滴滴,，并說服自己相信人類能夠像設(shè)備一樣進行優(yōu)化和升級,。智能手環(huán)和智能手機應(yīng)用能夠記錄我們的步行數(shù)據(jù)和皮電反應(yīng)，不僅追蹤著我們的位置,，還追蹤著我們的每一次呼吸和心跳,，甚至是我們的腦波信息。用戶們都被鼓勵將手機放到床上,，以便記錄他們的睡眠信息,。這些數(shù)據(jù)都到哪里去了？有關(guān)我們的夢境,、我們的半夜驚坐與清晨流汗的數(shù)據(jù),，我們無意識的自我行為,，成為使這些系統(tǒng)變得冷酷無情又難以理解的助燃劑。

又或者,，所有這一切與我們現(xiàn)在正在經(jīng)歷的變化得以彼此關(guān)聯(lián)：日益加劇的經(jīng)濟不平等,、民族國家的崩潰和邊境之地的軍事化、日益密切的全球監(jiān)督與個人自由的縮減,、跨國公司與神經(jīng)認(rèn)知資本主義的勝利,、極右團體與本土主義意識形態(tài)的興起，以及自然環(huán)境的惡化,。雖然新技術(shù)并非上述一切現(xiàn)象的直接誘因,，但是這一切都是那些企業(yè)與個人所作所為所帶來的影響的產(chǎn)物，而人類無法準(zhǔn)確感知,，那些不透明的復(fù)雜技術(shù)正在加速這些影響,。

1997年，紐約,，國際象棋世界冠軍加里·卡斯帕羅夫第二次與深藍對戰(zhàn),，深藍是一款由IBM公司設(shè)計專門用來擊敗卡斯帕羅夫的電腦?？ㄋ古亮_夫在輸了比賽后,，聲稱深藍的一些行為是如此聰明且富有創(chuàng)造力，以至于其一定存在人類的干預(yù),。但是我們都已經(jīng)了解深藍的邏輯：它的決定過程從始至終是一種“蠻力”,，其依靠一種有著14000自定義的平行結(jié)構(gòu)，芯片能夠每秒分析2億種可能,。

至2016年,，由AlphaGo驅(qū)動的谷歌大腦戰(zhàn)勝了韓國專業(yè)圍棋選手李世石，情況又有了改變,。在第二場比賽中,，AlphaGo的舉動震驚了李世石，其選擇將棋子放在棋盤的另一邊,?！斑@是一個非常奇怪的舉動，”一位評論人士表示,?！拔矣X得這是一次失誤，”另一個人如此說道,。一位經(jīng)驗豐富的圍棋選手范輝,，其在六個月前與AlphaGo對戰(zhàn)時輸?shù)袅耍J(rèn)為：“這不是人類的舉動,。我從來沒有見過有人這么做,?！?/p>

AlphaGo一路高歌凱進，贏得了一系列比賽,。AlphaGo的設(shè)計師們?yōu)檫@一神經(jīng)網(wǎng)絡(luò)注入了數(shù)以百萬計的圍棋專家的棋路來開發(fā)這一軟件,，通過令其與自己對戰(zhàn)幾百萬次,，進而發(fā)展出超越人類玩家的策略,。但是我們卻難以捉摸清楚這些行為的緣由：我們能夠看到AlphaGo做出的決定，但是卻無法知曉其之所以如此做的邏輯是什么,。

已故的伊恩·M.班克斯將這些事情稱為“無限的樂趣空間”,。在班克斯的科幻小說中，其建構(gòu)的文明是由仁慈的,、超智能的人工智能“Minds”管理,。雖然Minds最初是由人類創(chuàng)造，但是其早已能夠重新設(shè)計與重建自己,，以讓自己變得更加全能,。Minds除了能夠控制船只與行星，指揮戰(zhàn)爭并照顧數(shù)十億人類,，也會生出自己的快樂,。因為其擁有在自己的想象中模擬整個宇宙的能力，一些Minds會退回到“無限的樂趣空間”,，這是一個只有超人類的人工智能才能進入的元數(shù)字可行性空間,。

許多人都熟悉谷歌翻譯，其是于2006年推出的一種統(tǒng)計語言推斷技術(shù),。這種技術(shù)通過吸收大量現(xiàn)有翻譯,，而非試圖理解語言的翻譯邏輯進行運作：在不同語言中調(diào)用內(nèi)容相同的并行文本。通過這種單詞之間的簡單映射,，其不再需要自己理解待翻譯的兩種語言,，而是將其替換為由數(shù)據(jù)驅(qū)動的相關(guān)性內(nèi)容。

這些翻譯以其滑稽的錯誤被人們津津樂道,。但在2017年,，谷歌翻譯開始使用由谷歌大腦開發(fā)的神經(jīng)網(wǎng)絡(luò)，從而極大優(yōu)化了翻譯質(zhì)量,。翻譯網(wǎng)絡(luò)在自己世界中建構(gòu)起一種模型,，其不再是簡單大量交叉引用本文，翻譯結(jié)果也不再是一組二維單詞之間的連接,，而是一種能夠映射整個世界的地圖,。在這個新模型中，單詞由彼此之間的意義之網(wǎng)來編碼,，而這個網(wǎng)絡(luò)也只有計算機自己才能理解運行邏輯,。

雖然人類能夠明確區(qū)分“坦克”與“水”所代表的意義,，但是卻不能輕易否定“坦克”與“革命”之間，“水”與“流動性”之間存在的一些聯(lián)系,，以及從這些聯(lián)系中產(chǎn)生的情感與推論,。這張地圖是多維的，其能夠延伸的方向比人類大腦的可能性要多得多,。正如一位谷歌工程師所評論道,，當(dāng)一位記者試圖闡明這么一種系統(tǒng)形象時：“我無法在三維空間中想象出千維的可能?！蔽覀儫o法觸碰到機器學(xué)習(xí)在此空間的意義,。我們無法想象那些自己無法理解的東西。

同年,，谷歌大腦的其他研究人員建立了三個網(wǎng)絡(luò),，分別叫做Alice、Bob和Eve,。它們的任務(wù)是學(xué)習(xí)如何加密信息,。Alice與Bob共同知道一個數(shù)字密碼，而Eve卻不知道,。Alice會在一串文本上執(zhí)行一些操作,，然后將其發(fā)送給Bob和Eve。如果Bob能夠解碼信息,，那么Alice就會得分,。而如果Eve解碼成功，Alice的分?jǐn)?shù)就會下降,。

歷經(jīng)數(shù)千次的迭代,，Alice和Bob找到了不受Eve破壞的通信方法：它們開發(fā)了一種私有的加密形式。這些操作過程被深層網(wǎng)絡(luò)所咬合,。而Eve不得而知的東西我們也不得而知,。機器正在學(xué)習(xí)如何保守秘密。

***

人類如何思考和理解自己在這個世界上的位置,，以及我們與機器之間的關(guān)系,，將最終決定技術(shù)會將我們帶往何處。我們無法不做思考,，我們只能在其中思考,。這些為我們提供信息并塑造我們對現(xiàn)實看法的技術(shù)不會消失，在大多數(shù)情況下我們也不希望結(jié)局如此,。世界上75億人口都在依靠這些系統(tǒng),，且對它們的依賴與日俱增。我們對于這些系統(tǒng)的理解,，以及我們在基于此做出的有意義決定都尚在自己的能力范圍內(nèi),。我們并非沒有手握實權(quán),，也并非能夠脫離這些技術(shù)代理。我們需要思考,，思考,，繼續(xù)思考。

作為工具的計算系統(tǒng)加強了人類的強大一面：我們使其塑造成我們想象中的樣子,，并幫助我們在世界上完成愿望,。但是，揭露與闡明這些欲望,，并確保它們不會退化,、統(tǒng)治,、消磨并消除他人的欲望的特權(quán)依然掌握在人類手中,。

當(dāng)卡斯帕羅夫在1997年被擊敗時，他并沒有放棄比賽,。一年后,，他又以一種全新面貌回到競賽中：高級的半人馬國際象棋。在高級象棋中,，人類與機器合作,，而不是與機器競爭。很顯然,，在這個過程中產(chǎn)生了非常有趣的結(jié)果,。如今，即使是一個中等水平的國際象棋計算機也足以擊敗大多數(shù)大師級人物,，普通電腦與普通電腦的配對足以打敗最復(fù)雜的超級計算機,。這種思維的結(jié)合使這個游戲產(chǎn)生了革命性的變化。

在機器與基礎(chǔ)設(shè)施的編碼中,、在知識與行動的既定框架中,，技術(shù)成為人的延伸。計算機不能解答我們所有的問題,，而是讓我們用新方式向宇宙提出新問題,。

原文鏈接：https://www./books/2018/jun/15/rise-of-the-machines-has-technology-evolved-beyond-our-control-

編譯組出品。編輯：郝鵬程