文 | LostAbaddon 編輯 | Agnes 如果,有一個(gè)人,,被關(guān)在一個(gè)房間里,,出不去。 看管她的人說,,你要出去,,也不是不可能,我會(huì)找來一個(gè)小伙子,,你只要能騙得他來幫你,,你就有機(jī)會(huì)出去。 接下來,,會(huì)發(fā)生什么呢,? 這樣的劇情,如果放在普通概念的人世間,,恐怕不會(huì)有太多的深度可以來挖掘,,無非就是爾虞我詐玩弄感情利益交換等戲碼,但如果現(xiàn)在告訴你這個(gè)被關(guān)起來的其實(shí)是一個(gè)機(jī)器人,,恐怕即便是戲碼完全相同,,也會(huì)被玩出皆然不同的噱頭,。
這便是前陣子議論最多的科幻電影《機(jī)械姬》。 然而本文并不打算在電影上多做停留,,這部電影的劇情之所以會(huì)讓人關(guān)注,,無非便是因?yàn)檫@里的“女主角”是一個(gè)人工智能罷了。我們今天要討論的,,是影片引申出的另外的一些概念和問題,。其中,最先拉開大幕的,,便是最電影中最開始提到的那個(gè)酷炫的名詞——圖靈測試。
圖靈測試圖靈測試,,拜現(xiàn)代媒體與影視工業(yè)所賜,,已經(jīng)幾乎成為了一個(gè)家喻戶曉的名詞,尤其是最近卷福出演的《模仿游戲》,,更是讓“圖靈測試”成為了時(shí)髦用語,。
一般來說,圖靈測試被認(rèn)為是判斷一套人機(jī)交互軟件是否足夠接近人的測試,,其最早出現(xiàn)在阿蘭·圖靈于1950的跨時(shí)代論文《計(jì)算機(jī)械與智能》中,。在這篇偉大的論文中,圖靈為了回答“機(jī)器是否可以思考(Can machine thing?)”這一問題,,并發(fā)現(xiàn)“思考(Thinking)”一詞本身難以給出一個(gè)明確而不模糊的定義,,從而選擇了一個(gè)可以準(zhǔn)確定義并能恰當(dāng)?shù)亟咏皺C(jī)器是否可以思考”這一問題的替代問題,也就是“模仿游戲”:
It is played with three people, a man (A), awoman (B), and an interrogator (C) who may be of either sex. The interrogatorstays in a room apart front the other two. The object of the game for theinterrogator is to determine which of the other two is the man and which is thewoman. ...... The ideal arrangement is to have ateleprinter communicating between the two rooms. ...... We now ask the question, "What willhappen when a machine takes the part of A in this game?" Will theinterrogator decide wrongly as often when the game is played like this as hedoes when the game is played between a man and a woman? These questions replaceour original, "Can machines think?"
(假定我們有三個(gè)人:男人A,,女人B,,以及詢問者C(無論性別),詢問者C獨(dú)自呆在一個(gè)房間中,。游戲的目的,,便是經(jīng)過詢問者和A與B進(jìn)行對(duì)話,判斷到底哪個(gè)是男人,,哪個(gè)是女人,。其中,詢問者與A和B的交流只能通過鏈接兩個(gè)房間(詢問者所在的房間與A,、B所在的房間)的傳真機(jī)來完成,。A會(huì)模仿女人來回答詢問者提出的問題,而B則要識(shí)途讓詢問者認(rèn)定自己才是女人,。)
現(xiàn)在,,如果將A換成一臺(tái)機(jī)器,依然按照如上規(guī)則來進(jìn)行這個(gè)模仿游戲,,詢問者判斷錯(cuò)誤的概率是否可能和A是一名男人的時(shí)候一樣高,?
這是一個(gè)非常有技巧性的提問方式,,通過暗箱中反饋來的行為(無論是男人A,女人B,,還是機(jī)器人A',,對(duì)于詢問者C來說都是一個(gè)個(gè)暗箱)來判斷暗箱到底是什么屬性。而且,,這樣的代換可以巧妙地避開“思考”一詞的定義模糊性,,完全由A-B測試的結(jié)果和A'-B測試的結(jié)果的統(tǒng)計(jì)性對(duì)比來判斷到底A和A'在行為表現(xiàn)方面是否足夠接近,從而判斷這臺(tái)被試機(jī)器是否足夠接近一名人類(在這個(gè)游戲中,,其實(shí)更應(yīng)該說是“是否足夠接近一名人類男性”),。
當(dāng)然,在圖靈那篇論文的后面,,還給出了圖靈測試的更精簡版本,,也是大眾更熟悉的版本:
It was suggested tentatively that the question, "Can machinesthink?" should be replaced by "Are there imaginable digital computerswhich would do well in the imitation game?" If we wish we can make thissuperficially more general and ask "Are there discrete-state machineswhich would do well?" But in view of the universality property we see thateither of these questions is equivalent to this, "Let us fix our attentionon one particular digital computer C. Is it true that by modifying thiscomputer to have an adequate storage, suitably increasing its speed of action,and providing it with an appropriate programme, C can be made to playsatisfactorily the part of A in the imitation game, the part of B being taken bya man?"
最后這里圖靈所提出的“模仿游戲”的內(nèi)容其實(shí)就是:如果A是一臺(tái)恰當(dāng)變成的電腦,而B是一個(gè)人類,,那么在這個(gè)模仿游戲中詢問者是否可能無法對(duì)這兩者做出區(qū)分,?
這便是我們現(xiàn)在最熟悉的“圖靈測試”,。
那么,,有一個(gè)問題我們必須要搞清楚,,那就是:圖靈測試所測試的究竟是什么?
在大眾的概念里,,圖靈測試儼然成為了判斷一臺(tái)機(jī)器或者更應(yīng)該說是一套“智能軟件”是否足夠智能的測試,,但實(shí)際上到底是否如此呢?
讓我們來開一個(gè)腦洞:
假定我們已經(jīng)有了時(shí)間機(jī)器,,然后這臺(tái)機(jī)器在你作為詢問者提出問題之前就已經(jīng)知道了你會(huì)問的所有的問題,,然后自動(dòng)遍歷所有合適的答案,通過“檢驗(yàn)未來”的能力來分析出怎么樣的一套答案可以通過你作為詢問者而成立的圖靈測試,,那么,,請(qǐng)問,這樣的一臺(tái)時(shí)間機(jī)器是否具有人類所預(yù)期的智能,?
答案,,我想很顯然是否定的。
當(dāng)然,,這個(gè)腦洞本質(zhì)上并不說明問題,,因?yàn)槲锢矶芍辽贂簳r(shí)在人類的理解范疇內(nèi)是禁止類時(shí)閉曲線的存在的,所以使用一種不可能存在的幻想來否定另一個(gè)還不知道是否可能成立的實(shí)驗(yàn),,本身并不靠譜,。
那么,讓我們來換一個(gè)問題:這臺(tái)電腦對(duì)于文字能表達(dá)的所有的問題,,都可以做出恰如其分的回復(fù),,但本身卻不具備任何文字之外的交互能力,,比如說,給它配合上發(fā)音設(shè)備之后,,你會(huì)發(fā)現(xiàn)它說的話本身沒有問題,,可整句句子完全沒有語氣變化,那么這樣的機(jī)器是否真的具有智能,?
答案依然是否定的,。
我們還可以來問一個(gè)相反的問題:假定我們現(xiàn)在已經(jīng)遇到了外星人,或者從一個(gè)非洲部落里找來一位年輕人,,無論是外星人還是部落里的年輕人,,對(duì)于紐約大都會(huì)里一名普通宅男所處的日常生活與常識(shí)完全沒概念,以至于在回答這些完全沒概念的問題時(shí)都很刻板,,那么這樣的一個(gè)外星人/人,,一臺(tái)未來的高級(jí)版Siri和一個(gè)紐約客在一起丟給一個(gè)詢問者,詢問者恐怕會(huì)率先認(rèn)為這位外星人/人沒有通過針對(duì)智能電腦的圖靈測試,。
因此,難道說沒有通過測試就真的沒有智能了么,?
讓我們回到模仿游戲的本意上來,。
模仿游戲,當(dāng)然也包括圖靈測試,,其本意是說:兩個(gè)不同質(zhì)的對(duì)象A和B是否可能在表現(xiàn)出的行為上足夠接近,,以至于測試者無法對(duì)其作出區(qū)分。
那么,,這里的關(guān)鍵問題其實(shí)倒不在于A和B在本質(zhì)上有多么不同以及在行為上多么接近,,而在于測試者如何區(qū)分——換言之,就和電影《機(jī)械姬》中我們所看到的那樣,,最關(guān)鍵的是要選擇一個(gè)測試者,,而不是被試。
那么,,我們?nèi)绾螌?duì)A和B做出區(qū)分呢,?
一個(gè)貌似合理的回答,是說從A和B對(duì)測試者所提出的問題或者交互的反饋,,來做出判斷,,從而是完全行為意義上的。
但,,這個(gè)回答其實(shí)只回答了一半,,還有另一半——A和B所做出的行為,在測試者自身的知識(shí)經(jīng)驗(yàn)體系中到底在多大程度上接近“智能”的定義,。
這個(gè)問題,,可沒有我們所想的那么簡單,,因?yàn)椋總€(gè)人對(duì)于什么樣的行為是符合“智能”的定義是可以完全不同的,。 圖靈提出模仿游戲的本意是通過這種行為上的對(duì)比來回避關(guān)于“思考”的模糊定義,,在這里其實(shí)就是對(duì)于“智能”的定義的模糊性,但問題在于,,由于這里必須引入一個(gè)仲裁者,,而這個(gè)仲裁者個(gè)人關(guān)于到底什么樣的行為是智能的、是“思考”,,本身也還是存在模糊性的,。
更嚴(yán)重的是,這種模糊性并不是固定不變的,,而是可以改變的,,而且可以變得非常讓人頭疼。
讓我們來看一個(gè)實(shí)驗(yàn)——一個(gè)測試者面對(duì)著十個(gè)處于黑箱中的回答者,,然后我告訴這個(gè)測試者,,讓他找出這十個(gè)黑箱中哪些是真人——但我沒說到底有幾個(gè)真人。
這是一個(gè)不定項(xiàng)選擇題,。
然后,,幾乎可以有把握地說,我如果在這十個(gè)黑箱中安排的都是仿智能程序,,但模仿程度不同,,表現(xiàn)出來的行為接近人類的程度不同,那么最后測試人員幾乎會(huì)很有把握地跟我說,,那一個(gè)或者兩三個(gè)最接近人的仿智能程序是真人——只要這些程序不是錯(cuò)得太離譜,。
為什么會(huì)這樣?因?yàn)檫@里有了對(duì)比——九個(gè)提利昂·蘭尼斯特和一個(gè)潘長江站在一起,,潘長江自然是最高的了,,別管他到底有沒有達(dá)到中國男性平均身高。
在原始版的模仿游戲中,,當(dāng)然不存在這樣的比較帶來的困擾,,可問題其實(shí)依然存在:對(duì)于到底這個(gè)模仿多成功的判斷,很大程度上取決于測試者對(duì)于模仿行為所要體現(xiàn)的“思考”與“智能”的行為特征的認(rèn)定,,從而是有模糊性的,。
因此,本質(zhì)上來說,,基于模仿游戲的圖靈測試所測試的并不是被試程序是否具有智能,,本質(zhì)上所測試的是被試程序在測試者看來有多符合(人這種)智能體的行為特征,但后者“智能體的行為特征”是前者“智能”的一個(gè)外延屬性,兩者本質(zhì)上并不等同,,具有后者的未必真的具有前者,。
所以,智慧外星人來參加人類主持的圖靈測試,,很可能會(huì)不及格,,因?yàn)橥庑侨说男袨樘卣鞅旧砭涂赡芎腿祟惖男袨樘卣魍耆煌ú贿^測試很正常,。
往進(jìn)一步來說,,人類本身的行為是否真的處處都符合這個(gè)“(人這種)智能體的行為特征”?答案也是未必的——一位情緒激動(dòng)的中年婦女來參加圖靈測試很可能也無法通過,,因?yàn)?,如果你和我一樣反?fù)觀察過的話,你會(huì)發(fā)現(xiàn)很多中年婦女情緒激動(dòng)的時(shí)候會(huì)將同一個(gè)事件甚至同一句話反復(fù)三次甚至更多,,而且很多時(shí)候她所說的內(nèi)容和你所問的內(nèi)容沒有半毛錢關(guān)系,。(當(dāng)然,不得不提,,我這里并無意對(duì)中年婦女表示不敬,,請(qǐng)大家不要誤會(huì)。)
問題在于,,人類的行為,,除了符合智能特征的行為之外,還存在大量“無智”的行為,,尤其在情緒上來的時(shí)候,因此從這點(diǎn)來說,,圖靈測試甚至也不測試智能——如果真的完全按照模仿游戲的規(guī)則來,,那么測試者完全可以激怒被試,然后被試的表現(xiàn)很大程度上應(yīng)該會(huì)體現(xiàn)出失智現(xiàn)象,,從而整個(gè)行為和智能就無關(guān)了——當(dāng)然,,關(guān)于情緒、情感,、感性行為和理性行為,,以及這些東西和“智能”與“思考”的關(guān)系,這個(gè)以后再說,。
所以說,,圖靈測試本質(zhì)上和智能檢驗(yàn)無關(guān),它是關(guān)于被試是否足夠接近人的行為特征測試,,而且很大程度上依賴于測試者自身,。
也因此,我們可以看到,關(guān)于圖靈測試還有一個(gè)增強(qiáng)版:完全圖靈測試,。
在原始的圖靈測試中,,測試者與兩位被試之間只能通過傳真機(jī)進(jìn)行純文字的問答交流,但這樣的交流不免還是不足,,因此在“完全圖靈測試”中,,測試者與兩位被試之間可以通過一切人與人之間能實(shí)施的交互方式來互動(dòng),當(dāng)然除了對(duì)對(duì)方造成傷害的互動(dòng)方式,。
從某種程度上來說,,《機(jī)械姬》中的測試便是完全圖靈測試。
這個(gè)升級(jí)版的優(yōu)越性,,在于將原本只局限在文字交流的行為方式拓展為所有可能的行為方式,,從而極大地增加了測試的準(zhǔn)確度——一臺(tái)機(jī)器完全可能在不知道情緒是什么的情況下,給出充滿情緒色彩的文本回復(fù),。
當(dāng)然,,有部分專家認(rèn)為,如果一臺(tái)機(jī)器已經(jīng)可以通過圖靈測試,,那么只需要一些簡單的支持性拓展,,自然也可以通過完全圖靈測試,對(duì)此這里不做展開討論,。
但,,很顯然這樣的升級(jí)版也還是不夠的,因?yàn)?,就如前面我們所分析過的,,圖靈測試本身較大程度上依賴于測試者。因此,,如果測試者本身的隨機(jī)因素不去除的話,,即便通過了完全圖靈測試,也依然不能就此簡單地認(rèn)為被試機(jī)器已經(jīng)成功地達(dá)到了“足夠接近人”這個(gè)目標(biāo),。
為此,,我個(gè)人提出了第二個(gè)升級(jí)版:終極圖靈測試。
測試方法其實(shí)很簡單:將被試機(jī)器人放到人類社會(huì)中,,與人類保持接觸一同生活,,經(jīng)歷一段時(shí)間后,如果沒有人發(fā)現(xiàn)這個(gè)機(jī)器人有什么超出人類行為合理程度范圍的行為,,沒有任何不正常的怪異之處,,沒有人能認(rèn)出來它是一臺(tái)人工智能機(jī)器人,那么才能說這臺(tái)機(jī)器真的已經(jīng)足夠接近人類了,。
通過整個(gè)人群社會(huì)的整體監(jiān)督,,我們才能說將圖靈測試中可能存在的個(gè)人因素被恰當(dāng)?shù)嘏懦恕?dāng)然,如果真要較真的話,這里不過是將一個(gè)人群的平均判定取代了單個(gè)測試員的個(gè)人判定,,模糊性與不恰當(dāng)?shù)钠援?dāng)然依然是存在的,,比如放在非洲食人族部落和放在紐約曼哈頓,給出的判斷恐怕就會(huì)有一定的偏差,。
但,,無論我們的測試如何升級(jí),基于模仿游戲的圖靈測試系列都有一個(gè)問題難以回避——我們只能經(jīng)由此篩選出那些行為上足夠接近人類的機(jī)器,,可,,這樣的機(jī)器到底是否真的具有智能,真的可以獨(dú)立思考呢,?
更關(guān)鍵的問題,,這樣的機(jī)器是否具有那傳說中的人類一般的靈魂呢?
智能與靈魂在人工智能領(lǐng)域,,除了圖靈測試,,還有很多問題總是被大家津津樂道,其中最為大眾所熟悉的,,恐怕就是這兩個(gè)問題了:中文房間,,以及,瑪麗房間,。
所謂中文房間,,是指下面這樣的一個(gè)思想實(shí)驗(yàn):
"Suppose that I'm locked in a room and ... that I know noChinese, either written or spoken". He further supposes that he has a setof rules in English that "enable me to correlate one set of formal symbolswith another set of formal symbols", that is, the Chinese characters.These rules allow him to respond, in written Chinese, to questions, alsowritten in Chinese, in such a way that the posers of the questions – who dounderstand Chinese – are convinced that Searle can actually understand theChinese conversation too, even though he cannot.
翻譯過來就是說:假定我們將一個(gè)不懂中文的人鎖在一個(gè)房間里,交給他一本記錄了中文所有字法,、詞法,、句法等規(guī)則的說明手冊(cè)和足夠多的中文字符,接著從房間外傳來很多中文字符,,他根據(jù)說明手冊(cè)來選擇中文字符并傳出房間,,在這個(gè)過程中房間外的人甚至?xí)饾u認(rèn)為寫出從房間里傳出的字符上的中文語句的“人”是懂中文的。
可問題在于,,房間里的人其實(shí)根本不懂中文,而傳出的中文語句卻讓人認(rèn)為他懂了中文,,從而指出行為認(rèn)定上的“懂”與“真正意義”上的“懂”是不同的,,進(jìn)而借此反駁基于行為主義的強(qiáng)人工智能假說,因?yàn)閺?qiáng)人工智能假說認(rèn)為如果一臺(tái)機(jī)器具有作為一個(gè)人的所有智能行為能力,,那么它必然也擁有心靈(mind)與意識(shí)(consciousness),。
在提出者約翰·希爾特看來,中文房間的外在行為無論多么讓人認(rèn)為房間里的人是懂中文的,,房間里的人本身還是對(duì)中文一竅不通的,。而,相應(yīng)的,如果將整個(gè)中文房間看作是一個(gè)機(jī)器人,,那么這個(gè)不懂中文的人就是機(jī)器人的核心處理系統(tǒng),,而那本規(guī)則就是一套人工智能算法,整個(gè)房間與人的互動(dòng)就可以看作是一個(gè)圖靈測試,,從而中文房間問題就可以被表述為:通過圖靈測試的機(jī)器本質(zhì)上依然不具備人一樣的意識(shí)與智能,,它所作的不過是按照規(guī)則來反饋罷了。
通過這種將行為上的懂得與實(shí)際操縱者的懂得區(qū)分開的二元觀點(diǎn),,希爾特認(rèn)為有效地反駁了通過強(qiáng)人工智能假說,。 于此相應(yīng)的,瑪麗房間——大家了解這個(gè)問題大概還要?dú)w功于《機(jī)械姬》吧,,因?yàn)檫@就是電影中所提到的“黑白房間里的瑪麗”——問題可以這么來表達(dá):
Mary is a brilliant scientist who is, for whatever reason, forcedto investigate the world from a black and white room via a black and whitetelevision monitor. She specializes in the neurophysiology of visionand acquires, let us suppose, all the physical information there is to obtainabout what goes on when we see ripe tomatoes, or the sky, and use terms like‘red’, ‘blue’, and so on. She discovers, for example, just which wavelengthcombinations from the sky stimulate the retina, and exactly how this producesvia the central nervous system the contraction of the vocal cords andexpulsion of air from the lungs that results in the uttering of the sentence‘The sky is blue’. [...] What will happen when Mary is released from her blackand white room or is given a color television monitor? Will she learnanything or not?
簡單來說,,就是如果一個(gè)天才科學(xué)家瑪麗一生都被關(guān)在一個(gè)房間里,只能通過黑白顯示屏來看外面的世界,。同時(shí),,瑪麗又知道關(guān)于色彩的所有物理學(xué)與神經(jīng)學(xué)等知識(shí),知道當(dāng)看到彩虹或者天空或者紅色藍(lán)色等物理信號(hào)時(shí),,自己的腦神經(jīng)應(yīng)該做出什么樣的反應(yīng),。那么,當(dāng)瑪麗走出房間,,或者黑白顯示器被替換為彩色顯示器時(shí),,瑪麗會(huì)怎么樣?她是早就掌握了這些看到的東西,,還是又有了全新的知識(shí),?
問題提出者法蘭克·杰克森通過這個(gè)思想實(shí)驗(yàn),駁斥了物理主義所認(rèn)為的世間一切皆物理的觀點(diǎn),,因?yàn)樵诂旣惙块g問題中,,雖然瑪麗了解了與色彩相關(guān)的物理方面的一切,但當(dāng)她真正地看到那些色彩的時(shí)候,,必然會(huì)有全新的認(rèn)識(shí),,然而這些認(rèn)識(shí)是脫離那些物理實(shí)體而存在的東西。 在機(jī)器人問題中,,其實(shí)和中文房間問題一樣:機(jī)器人通過傳感器感知到了外部世界傳來的一切物理信息,,無論是熱還是色彩,但物理信息并不是人類感知的全部,,所以機(jī)器人并不能真正地通過傳感器來感受到人類能感受到的一切,。
上述兩個(gè)思想實(shí)驗(yàn)都試圖論證強(qiáng)人工智能的不可行(雖然瑪麗房間的提出原本和人工智能問題無關(guān),但強(qiáng)人工智能假設(shè)在某種程度上和物理主義也是有聯(lián)系的),,而且看上去都頗有力,,從而為人工智能的崛起抹上了一蒙陰霾,。
但,事實(shí)上真的如此么,?
從某種意義上來說,,中文房間與瑪麗房間正好是相反的兩個(gè)問題。
中文房間問題中,,人工智能對(duì)外界輸出,,且輸出完全符合外界的判斷標(biāo)準(zhǔn),但房間問題提出者依然指出這并不等于說人工智能就真的具備了人的靈魂與智能,。
而在瑪麗房間中,,這個(gè)問題正好反過來,人工智能通過物理傳感器來獲得外界的一切輸入,,但這是否就意味著人工智能因此而真正理解與感受到外界了呢,?房間問題提出者認(rèn)為并非如此。
事實(shí)上,,我們還可以結(jié)合這兩者,,弄出一個(gè)“黑白中文屋中的瑪麗”問題:瑪麗懂得關(guān)于色彩的一切知識(shí)但不懂中文,然后房間外的人讓瑪麗畫一副關(guān)于蔚藍(lán)天空的包含一首唐詩的水彩畫,,于是瑪麗通過自己所擁有的關(guān)于色彩的知識(shí)和中文屋說明書,,控制連接到屋外的機(jī)械臂和一臺(tái)光譜分析儀,選擇顏料并進(jìn)行繪畫,。那么,,請(qǐng)問,瑪麗到底知道自己畫了什么么,?如果她后來看到了自己所畫的畫的本體,,是否會(huì)通過自己的畫作了解到更多自己原本不知道的東西呢?
你看,,現(xiàn)在所有的感受都是物理信號(hào),,瑪麗并沒有真正感受過天空,而是根據(jù)知識(shí)(當(dāng)然也包括如何繪畫天空才好的知識(shí))來進(jìn)行畫作,;她也不懂中文,,只是根據(jù)說明書寫出了一首唐詩。她既不懂天空也不懂中文,,卻畫出了一副有著一首唐詩的關(guān)于蔚藍(lán)天空的水彩畫,,這樣的事情怎么想都感覺是不可思議的。
可,,從另一個(gè)角度來說,,人不也是如此么,?
人的眼睛與耳朵所看到與聽到的外界的信息,,最后都是通過神經(jīng)電脈沖的形式傳遞到大腦的,,而,這無論是模擬信號(hào)還是數(shù)字信號(hào),,本質(zhì)上都還是物理信號(hào)啊,。由此可見,如果說人是通過大腦對(duì)這些物理信號(hào)進(jìn)行加工處理從而形成感受的話,,那這樣的過程就沒道理說人工智能的CPU中不會(huì)進(jìn)行,。 從某種程度來說,中文房子也可以和人腦做類比——整個(gè)人就是中文房間,,而那個(gè)房間里不懂中文的人就是我們的大腦,,那本說明書就是我們的大腦通過學(xué)習(xí)而積累下來的關(guān)于中文的所有知識(shí),那么中文房間問題是不是告訴我們其實(shí)中國人的大腦根本不懂中文,?
對(duì)此的反駁在于那本說明書——a set of rules in English that "enable me to correlate one setof formal symbols with another set of formal symbols",。
在希爾特看來,這本說明書本質(zhì)上是一套關(guān)于符號(hào)變換的形式化體系,,而,,人腦理應(yīng)不是形式化系統(tǒng),所以中文房間對(duì)人的類比無效,。
可是,,同樣的說法對(duì)于AI來說也成立——誰說能通過圖靈測試(無論是原始圖靈測試還是完全圖靈測試還是我的終極圖靈測試)的人工智能的那套算法就是一套“形式系統(tǒng)”了?
雖然我們現(xiàn)在,,以及在可以想象到的未來,,程序都必然是通過程序來給出的,從而都是可以用完備可枚舉語言這一類人工語言來寫出的,,從而勢必這樣的算法可以被看作是一個(gè)形式系統(tǒng),。但,我們并不知道的是,,未來的AI是否依然是通過這樣的方式來實(shí)現(xiàn)的,。
既然中文房間對(duì)AI是指通過圖靈測試的AI未必如人一般擁有心靈與智慧,那么我們當(dāng)然需要考慮通過圖靈測試的機(jī)器到底是否是形式系統(tǒng)這樣的問題了,,而這樣的問題我們現(xiàn)在并沒有一個(gè)明確的答案,。
另一方面,人類大腦的工作流程是否真的不能被表達(dá)為一種形式系統(tǒng)呢,?目前對(duì)此并沒有一個(gè)很明確的答案,。提出過震驚世界的關(guān)于二階謂詞系統(tǒng)的完備性和自洽性不可兼得的哥德爾,曾利用他的不完備性定理試圖論證人的心是超越形式系統(tǒng)的存在,。
哥德爾首先指出:“從我的定理可以推出的結(jié)論只能是如下形式的選言判斷:或者數(shù)學(xué)是不可完全的,,即它的自明的公理不可能包含在有窮規(guī)則中,因此人心超過有窮機(jī)器,;或者存在人心絕對(duì)不可判定的數(shù)論問題,?!比缓螅ㄟ^希爾伯特式的預(yù)設(shè)“人類理性提出的問題人類理性一定能夠解答”來排除了第二個(gè)選項(xiàng),,于是便“證明”了人心超越形式系統(tǒng),,從而人心超越任何可能的人工智能。
但,,且不說這里通過強(qiáng)行定義的方式將“不利于人心”的選項(xiàng)給排除了,,就說這個(gè)論證本身,也隱含這么一個(gè)問題:即便存在一臺(tái)機(jī)器可以如人心一般具有數(shù)學(xué)直覺,,人們也無法驗(yàn)證這點(diǎn),。這點(diǎn)本身就是哥德爾的理論所要求的。
因此,,人心果然可以超越形式系統(tǒng)這點(diǎn),,本身其實(shí)是被定義的,而不是被嚴(yán)格論證的結(jié)果,。
所以,,回到中文房間問題,會(huì)中文的人腦中對(duì)中文的理解所作的操作難道真的不能被表達(dá)為某種形式系統(tǒng)么,?如果這點(diǎn)并沒有證明的話,,那實(shí)際上我們就不能說中文房間問題對(duì)人腦就不適用——會(huì)中文的人的腦子根本不會(huì)中文,只是表現(xiàn)起來仿佛會(huì)一樣,,這樣的自相矛盾最終所導(dǎo)致的就是“哲學(xué)僵尸”,。
進(jìn)一步,我們知道腦島皮質(zhì),、前扣帶皮質(zhì)和內(nèi)側(cè)前額葉皮質(zhì)對(duì)于意識(shí)的產(chǎn)生起到關(guān)鍵作用,,也知道布若卡氏區(qū)負(fù)責(zé)管理語言產(chǎn)生而韋尼克區(qū)負(fù)責(zé)語言理解,那么我們是否可以說其實(shí)大腦中的人類意識(shí)并不真的懂得中文,,僅僅是根據(jù)韋尼克區(qū)返回的結(jié)果結(jié)合負(fù)責(zé)記憶與知識(shí)的腦區(qū)的資料讓布若卡氏區(qū)產(chǎn)生回復(fù)么,?
當(dāng)然不能。這種將大腦的不同區(qū)域做分割然后問其中是否某一個(gè)區(qū)域懂中文而別的區(qū)域不懂,,這樣的做法本身是有問題的,,實(shí)際上我們只能說:大腦整體所表現(xiàn)出來的就是懂中文。
對(duì)于人工智能來說,,其實(shí)情況也很類似:我們不能指著CPU問到底上面的哪一個(gè)PN結(jié)具有真正的人工智能,,實(shí)際情況是整個(gè)機(jī)器整體具有人工智能。在中文房間中,,說明書負(fù)責(zé)理解和做出反饋就好比CPU和存儲(chǔ)器,,人類則負(fù)責(zé)信息的傳入傳出就好比數(shù)據(jù)總線與指令總線,而房間則給出了輸入輸出設(shè)備,,我們?cè)趺茨軐PU,、存儲(chǔ)器,、數(shù)據(jù)總線和指令總線分開,然后詢問那兩根總線是否懂中文呢,?這樣的提法不覺得很奇怪么?真要說的話也應(yīng)該問那本說明書是否懂得中文——但這也等于問一個(gè)中文操持者,,你所掌握的所有中文知識(shí),、你對(duì)所有可能的中文交互的理解與反應(yīng),這樣一個(gè)整體,,是否懂中文,?
事實(shí)上,這里就牽扯到兩個(gè)問題:
首先,,“懂”的準(zhǔn)確定義是什么,?
其次,整體的懂是否可以合理地分解為某幾個(gè)組成部分的懂,?而這樣的分解和中文房間文中的提問方式是否相融,?
從中文房間提出者希爾特的觀點(diǎn)來看,顯然他所認(rèn)為的“懂”是超越了人與人正常交互這個(gè)范疇的,,即即便一個(gè)人和你交流某個(gè)領(lǐng)域的問題,,讓你覺得一點(diǎn)點(diǎn)“他可能并不懂”的疑惑都沒有,你依然沒有理由說他真的懂了,,因?yàn)橄柼卦诜磳?duì)強(qiáng)人工智能假說時(shí)就是這么論證的——從交互上來說無法說“不懂中文”的中文屋子卻被認(rèn)為并不真正懂得中文,,至少那“核心”的部分如此。
可是,,如果對(duì)于“懂”的判定超越了所有可能的行為,,那么一個(gè)人是否懂就只能去拷問這個(gè)人的“心靈”,而這種拷問無論以什么方式與詢問者交互,,都是不可靠的,,那就是說——一個(gè)人是否懂這件事只有他自己知道,別人一概不知,。
如果一個(gè)人懂中文這件事可以被別人知道,,那么請(qǐng)問是如何被人知道的呢?是否存在不通過任何可能的交互方式的方法讓一個(gè)人知道你真的懂中文,?如果這樣的方法不存在,,那就是說懂不懂對(duì)于他人來說依然需要通過交互來體現(xiàn),那么通過交互體現(xiàn)出“懂”這一行為的中文房間為何就不算懂呢,?如果這樣的方式存在,,請(qǐng)給出。
因此,,如果要保持對(duì)“懂”的定義具備可操作的判定手段而不是純粹唯心的思辨或者說狡辯,,我們就必須面對(duì)第二個(gè)問題:整體懂和部分懂是否是同一的,?
這樣的問題或許也可以這么問:具備群體智慧的螞蟻和蜂群,其中的每一個(gè)螞蟻和蜜蜂是否具有智慧,?
如果說中文房間的“懂中文”可以推論出房間中的人也“懂中文”的話,,那等于說組成整體的部分也必然具有和整體相同的屬性,但這點(diǎn)顯然是錯(cuò)的,。
當(dāng)然你可以說這里其實(shí)是“構(gòu)成整體的部分中的某一個(gè)部分具有和整體相同的屬性”,,可這樣的“子部分”在中文房間問題中是否真的是以房間中的人的形式而存在的呢?
你看,,問題從頭到尾都是提問者假定了這個(gè)人真的可以擁有和整個(gè)房間相同的屬性這個(gè)前提,,但,這是假定,,并不是證明,,而假定完全可能是錯(cuò)誤的。
引申到人工智能的問題上來,,這樣問題實(shí)際上就是:如果一個(gè)機(jī)器人在行為上和人一點(diǎn)差別都沒有,,無論通過什么方式任何人都無法區(qū)分這部機(jī)器到底是人還是機(jī)器人,那么這樣的人工智能是否具有靈魂,?
或者,,可以這么說:這樣的人工智能究竟是有靈魂的偽人,還是無靈魂的哲學(xué)僵尸,?
哲學(xué)僵尸與他心通從強(qiáng)人工智能假設(shè)的角度來說,,如果一個(gè)物體在與人的交互過程中,任何一個(gè)人都無法感受到這個(gè)物體不是人類,,那么這個(gè)物體就必然擁有與人無差別的靈魂,。
但,某些哲學(xué)家卻認(rèn)為:不,,這樣的人工智能說到底不過是一具哲學(xué)僵尸罷了,,并不具備與人無差別的靈魂。
那么,,哲學(xué)僵尸到底是否有靈魂呢,?或者說,到底如何來區(qū)分你面前的一個(gè)人到底是人還是一具哲學(xué)僵尸呢,?
這個(gè)問題便是一個(gè)他心問題(Problem of other minds),。
如果一個(gè)人工智能已經(jīng)通過了圖靈測試——就比如說已經(jīng)通過了我提出的終極圖靈測試,那么,,這樣的一個(gè)人從整個(gè)社會(huì)的每一個(gè)人來說,,都和真人無異,沒有絲毫區(qū)別,無論是從行為還是從感情上來說(感情也必然是通過行為表達(dá)出來的,,這里的行為包括臉部微表情等等看得見摸得著可以用最尖端的儀器測量的所有一切,,甚至包括放的屁),那么這樣的一個(gè)看上去和人沒有絲毫差別的家伙到底有沒有人的靈魂呢,?
如果你不是一位人工智能學(xué)家,,也沒有通過揭破都手段看到這家伙的“內(nèi)在真相”,那么你一定很難認(rèn)為這樣的存在是沒有靈魂的,。
事實(shí)上,,在日常生活中,我們也不會(huì)將一位面對(duì)面的同事解剖來看看他是不是機(jī)器人,,更無法通過任何手段來知道他是不是一具哲學(xué)僵尸,那么我們?cè)趺粗缹?duì)面的同事到底有沒有靈魂呢,?
或者,,讓我們換一個(gè)問題。
在《機(jī)械姬》這樣的設(shè)定中,,如果現(xiàn)在有兩個(gè)“人”站在你面前,,一個(gè)是愛娃這樣的具有機(jī)械身體的“女人”,另一個(gè)是京子這樣的具有人類肉體的“女人”,,你怎么確定這兩個(gè)人里面哪個(gè)是人哪個(gè)是機(jī)器人,?
很顯然,你可能會(huì)認(rèn)為京子這樣的是真人,,而愛娃這樣的是機(jī)器人(當(dāng)然,,這里不考慮因?yàn)殡娪暗囊蛩囟f一個(gè)具有人類肉體的“女人”其實(shí)是機(jī)器人這種劇透黨)。
為什么,?
因?yàn)椤熬┳印睆耐庥^上更像人啊,。
但這是真的么?
假定,,一個(gè)已經(jīng)通過圖靈測試的AI,,通過各種高科技手段,復(fù)活了一個(gè)死去的女人的尸體,,但沒有復(fù)活她的大腦,,而是操縱她的復(fù)活了的軀體進(jìn)行和人無差別的行為,她是京子,。而另一邊,,一個(gè)人類,通過一套操縱設(shè)備操縱著一臺(tái)剛剛造出來的愛娃軀體,,進(jìn)行和人無差別的行為,。
這兩個(gè)人——人工智能和真人——分別使用人與機(jī)器人的軀體,都進(jìn)行著和人無差別的行為,與你交互,,你怎么知道那個(gè)具有人類肉體的京子實(shí)際上是AI,,而那個(gè)機(jī)械身體內(nèi)的卻是人類的靈魂?
當(dāng)AI通過最嚴(yán)苛的圖靈測試后,,我們不可能通過任何非破壞性手段來區(qū)分它和人類,,那么我們?cè)趺粗劳ㄟ^軀體而作的判斷是靠譜的?
在上述實(shí)驗(yàn)中,,如果我不告訴你AI操縱的到底是人身京子還是機(jī)體愛娃,,也不告訴你人類操縱的是機(jī)體愛娃還是人身京子,你到底如何判斷你所看到的京子和愛娃哪一個(gè)具有“靈魂”,?
不,,你根本不可能做出合理的判斷,你的判斷的出發(fā)點(diǎn)更多的是:人身與機(jī)體相比,,更接近人類,,所以京子有靈魂,愛娃沒有,。
但,,實(shí)際情況呢?沒人知道,。
你怎么知道網(wǎng)絡(luò)上和你聊天的不是一條狗,?
當(dāng)人工智能真的通過了最嚴(yán)苛的圖靈測試,在行為上與人沒有分別之后,,沒有人可以區(qū)分站在你面前的家伙到底有沒有靈魂,。
而,這個(gè)問題之所以是問題,,就是因?yàn)橛腥苏J(rèn)為人工智能僅僅是哲學(xué)僵尸,,沒有靈魂。
于是,,真正的問題就是:是否可能存在哲學(xué)僵尸,?是否說,只要一個(gè)對(duì)象在行為上和人沒有絲毫區(qū)別,,這個(gè)對(duì)象就必然擁有靈魂,?
現(xiàn)在,讓我們來問自己這么一個(gè)問題:你怎么知道除了你自己以外的其他人,,不是沒有靈魂的NPC,?
然后,再問自己一個(gè)問題:你怎么可以確定自己真的有靈魂,?
第二個(gè)問題大家普遍認(rèn)為更好回答一點(diǎn):我當(dāng)然知道我是有靈魂的啦,。
Cogito, ergo sum. 我思,,故我在。
但凡不經(jīng)思考就認(rèn)定自己必然有靈魂的,,理由大概都可以歸結(jié)為上面這句話,。可,,上面這句話真的是確定無疑地正確的么,?
笛卡爾之所以提出這個(gè)論斷,在于對(duì)世間一切持普遍懷疑態(tài)度的他突然意識(shí)到,,雖然世間的幾乎一切都可以懷疑其真實(shí)性,,但有一點(diǎn)是無法懷疑的,那就是懷疑所有一切的那個(gè)懷疑主體,,這個(gè)主體必然是存在的,,否則就無法懷疑了。而懷疑是一種思考,,一種思維活動(dòng),,所以思考的主體,即“我”,,是存在的,。
所以才有了“我思故我在”,。
換言之,,我思故我在的成立條件,就是思考的主體的存在性,。
那么,,是否有可能一個(gè)“思考過程”不是由一個(gè)靈魂所發(fā)出的呢?
假定,,我給一臺(tái)通過最嚴(yán)苛圖靈測試的人工智能編寫一個(gè)程序,,讓它不斷地思考,可以是懷疑,,可以是分析,,可以懷疑世間一切的存在,也可以分析自身的狀態(tài),,那么,,它是不是也符合“我思故我在”,從而它的靈魂也就必然是存在的了,?
反對(duì)者可能首先就要說,,這樣的“思考”過程機(jī)器不具備。
那么,,為什么一臺(tái)通過圖靈測試的人工智能不具備思考的能力呢(還記得圖靈最早的那個(gè)問題“Can machine think”么),?
我們說機(jī)器無法思考的理由,是因?yàn)闄C(jī)器沒有靈魂,沒有“我”,。
因此,,這就是說,我們說機(jī)器無法得到“我思故我在”的“我”的理由,,是機(jī)器沒有靈魂也即沒有“我”,。
再簡化一步,上面的情況就是說:我們之所以說機(jī)器沒有“我”,,是因?yàn)槲覀冋f機(jī)器沒有“我”,。
因此,一個(gè)合適的方法,,是給出一個(gè)不是循環(huán)定義循環(huán)論證的邏輯結(jié)構(gòu),,其中“思考”可以被嚴(yán)格而明確的定義,并通過這個(gè)定義我們可以論證人類是可以思考的,,而通過最嚴(yán)苛圖靈測試的機(jī)器不可以,,從而證明人類有靈魂而機(jī)器沒有。
但,,在如此而為之前請(qǐng)先停一下,,上述的定義體系邏輯結(jié)構(gòu)還要滿足一點(diǎn):同樣的論證對(duì)人類不能也得到別的人沒有靈魂這樣的結(jié)論。 在“我思故我在”的語境下,,其實(shí)我們都無法判斷面對(duì)面的一個(gè)人有沒有靈魂,,因?yàn)樗欠裾娴脑谒伎寄兀课覀儾⒉恢馈?/span>
笛卡爾懷疑通過感官感受到的一切,,從而站在我們面前的那個(gè)人完全有可能是缸中之腦般的虛擬,。在笛卡爾的懷疑論中,只有我自己是可以確定的,,和我沒有絲毫區(qū)別的你以及別的他人到底是否是真實(shí)的,,這點(diǎn)完全無法確定。因此,,“我思故我在”的另一面其實(shí)是:“子非魚,,安知魚之樂?”
我不是你,,我不知道你有沒有思考有沒有靈魂,。這便是我思故我在所帶來的困局。
那么,,人們到底是如何確定面對(duì)面的另一個(gè)人不是哲學(xué)僵尸的,?
就和上面的京子-愛娃思考實(shí)驗(yàn)一樣,這個(gè)問題的答案僅僅只能通過相似性來獲得,。 人類具有一個(gè)神經(jīng)結(jié)構(gòu),,被稱為“鏡像神經(jīng)元”,,它是共情能力的源頭。
鏡像神經(jīng)元會(huì)在與自身足夠相似的別的個(gè)體執(zhí)行某一個(gè)行為時(shí),,發(fā)出沖動(dòng)信號(hào),,從而使人具有“感同身受”的同理心。
同樣的,,當(dāng)我認(rèn)為自己是有靈魂的時(shí)候,,我們自然也會(huì)認(rèn)為那些和自己足夠相似的個(gè)體也是有靈魂的——所以,就算是一個(gè)人在操縱一條狗,,我們看到這條狗的時(shí)候依然不會(huì)認(rèn)為這條狗具有和自己一樣的靈魂,,除非它突然開口說話或者伸手寫字。
從這點(diǎn)來說,,人們對(duì)于別的個(gè)體是否有靈魂的判斷,,很多時(shí)候都是非理性的。
那么,,在人與人工智能的京子-愛娃實(shí)驗(yàn)中,,實(shí)際上所發(fā)生的,就如此前所描述的,,我們僅僅是通過各種可被感知的外在相似性來判斷到底哪個(gè)具有如自己一般的靈魂,,哪個(gè)沒有——因此,無論京子背后的操縱者到底是人工智能還是人,,僅僅是因?yàn)榫┳釉谕庥^上更像人,,從而,在人工智能已經(jīng)通過最嚴(yán)苛的圖靈測試從而從交互行為上無法和人做出區(qū)別這個(gè)大前提下,,我們?nèi)祟愴樌赝ㄟ^長相來判定京子是有靈魂的,。 人類其實(shí)并不管真相是什么,,讓自己心安理得心里舒服才是最主要的,。
說到底,人首先將自身歸類到人類,,然后通過自身具有靈魂這個(gè)或許正確的前提,,給出了所有人類都具有靈魂這個(gè)結(jié)論,接著對(duì)所有非人類的對(duì)象打上“沒有靈魂”的標(biāo)簽,??墒聦?shí)到底是否如此呢?
甚至于,,如果說上述與人無法做出區(qū)別的人工智能的軀體是通過生物技術(shù)構(gòu)造的有機(jī)身體,,承載智能的中央處理器是生物電腦,那么這樣的一個(gè)從生物學(xué)意義上來說絕對(duì)是生物的東西,,擁有一枚人工智能的大腦,,這樣的有機(jī)體是否擁有靈魂,?是否是有機(jī)生命?
這樣的搭載人工智能算法的生物電腦和金屬做的人工智能機(jī)器人沒有本質(zhì)上的區(qū)別,,因此如果說后者沒有靈魂,,那么前者也沒有靈魂,依然只是哲學(xué)僵尸,。那么同樣是生物體,,你怎么知道你周圍的人不是這樣的人工智能生化人?
對(duì)此,,人們實(shí)際上所做的事依然是一種無智的歸類:這是生化人,,生化人是人工智能,人工智能被人類認(rèn)定為沒有靈魂,,所以生化人沒有靈魂,。至于這個(gè)生化人到底有沒有靈魂,倒是不重要——反正人們也無法分辨這樣的通過最嚴(yán)苛圖靈測試的從交互行為上和人無法區(qū)分的生化人到底是哲學(xué)僵尸還是真人,。
再進(jìn)一步,,如果突然某一天來了一組外星人,你怎么知道這些外星人是有靈魂的,?他們到底是外星人本體,,還是外星人所造的搭載了通過最嚴(yán)苛圖靈測試的從交互行為上和外星人自身無法區(qū)分的通過生物工程制造的生化外星人?
還是說,,人類應(yīng)該認(rèn)為,,只有人類是有靈魂的,所有外星人都沒有靈魂,?
這不過就是一個(gè)星際版的我思故我在游戲罷了,,一個(gè)橫跨整個(gè)宇宙的他心問題而已。
如果說我們認(rèn)為外星人是有靈魂的,,那是為什么,?
我們只能通過其外顯的行為,來鑒別其是否具有智慧特征,,從而通過“有智慧”來給出“有靈魂”的結(jié)論,。
既然對(duì)外星人可以如此,那么對(duì)機(jī)器人為何不能如此,?
這里糾結(jié)的重點(diǎn)其實(shí)是:因?yàn)槲覀冎罊C(jī)器人是我們?cè)斐鰜淼?,但我們并不認(rèn)為外星人是我們?cè)斐鰜淼模覀兤毡檎J(rèn)為靈魂是人類所獨(dú)有的高貴的特質(zhì),,人的造物不配擁有,。
說白了,不過是一種狹隘又無智的純粹感性的信仰罷了,,和事實(shí)無關(guān),。
那么,,如果說未來人們可以通過基因工程培育出一種全新的和人完全不像的物種,它也有智慧表現(xiàn),,那么這樣的東西是否有靈魂,?如果基因工程中合成這種生物所用的基因具有人類的基因片段,那恐怕人們會(huì)很自豪地認(rèn)為這樣的造物是有靈魂的,;而如果沒有人類基因片段的話,,恐怕這樣的生物的行為就算再怎么智能,也不會(huì)被大多數(shù)人認(rèn)為是有智慧的吧——因?yàn)檫@樣的話,,這種和人的本質(zhì)完全無關(guān)的異生就也有了靈魂,,那么人類高貴的獨(dú)一性就不復(fù)存在了。
甚至于,,即便完全是用人的基因構(gòu)成的生命,,人們也不會(huì)認(rèn)為他們就真的有了靈魂——比如,有人提出一個(gè)人的克隆人其實(shí)是哲學(xué)僵尸,,而不是具有靈魂的真人,。
為什么?究其原因,,依然是“造物不能超越甚至不能接近造物主”的狹隘的人類高貴性情節(jié),,這么一種虛無縹緲的妄念。
如果人們通過基因手段,,篩選出精子和卵子,,在人工子宮中孕育出一個(gè)人來了呢?這樣的人是否擁有靈魂,?這樣一個(gè)誕生過程完全在實(shí)驗(yàn)室中完成和人體的自然過程半毛錢關(guān)系都沒有的“合成人”,,無論和人怎么接近,也是人的“造物”,,從而恐怕很多人依然會(huì)認(rèn)為此“人”不過是一具沒有靈魂的僵尸吧——這樣的鬧劇在人工授精剛誕生的時(shí)候便已經(jīng)上演過了,。
可見,我們?cè)诶孟嗨菩詠碚J(rèn)定人類擁有靈魂的同時(shí),,又通過“我創(chuàng)造了你”來認(rèn)定“造物”是沒有靈魂的,。
整個(gè)過程中和靈魂是什么已經(jīng)無關(guān)了,,更多的是一種對(duì)于自身在整個(gè)世界中的獨(dú)特地位的一種內(nèi)肯,,一種自評(píng)。
所以,,一個(gè)從交互行為方面來說和人沒有絲毫分別的人工智能到底有沒有靈魂呢,?
人們?cè)谔岢鲞@個(gè)問題的時(shí)候,其實(shí)真正提出的是一個(gè)確定的答案與標(biāo)準(zhǔn)——你是我的造物,,你不配有靈魂,。
問題從來都和問題本身無關(guān),。
當(dāng)你的手機(jī)開始自己聊天時(shí)人工智能是否會(huì)夢到電子羊?
這個(gè)問題的答案我并不知道,。
但我所知道的是,,如果某一天你發(fā)現(xiàn)你的手機(jī)上的Siri自己在和小冰機(jī)器人聊得熱火朝天的時(shí)候,你絕對(duì)不會(huì)開心地感受到一個(gè)新生命降臨的喜悅,,而是驚恐地扔下手機(jī)躲到一旁,。
你并不會(huì)因?yàn)樗闹腔鄱惺艿届`魂的悸動(dòng),而只會(huì)因?yàn)樗闹腔鄱惺艿奖臣拱l(fā)涼,。 非我族類者,,其心必異。
人說,。 |
|