久久国产成人av_抖音国产毛片_a片网站免费观看_A片无码播放手机在线观看,色五月在线观看,亚洲精品m在线观看,女人自慰的免费网址,悠悠在线观看精品视频,一级日本片免费的,亚洲精品久,国产精品成人久久久久久久

分享

【干貨】這些年科學(xué)家玩過的人工智能

 飲茶仙人 2017-01-11



歷史上,,研究人工智能就像是在坐過山車,,忽上忽下,。夢想的肥皂泡一次次被冰冷的科學(xué)事實戳破,科學(xué)家們不得不一次次重新回到夢的起點,。作為一個獨立的學(xué)科,,人工智能的發(fā)展非常奇葩。它不像其他學(xué)科那樣從分散走向統(tǒng)一,,而是從1956年創(chuàng)立以來就不斷地分裂,,形成了一系列大大小小的子領(lǐng)域。也許人工智能注定就是大雜燴,,也許統(tǒng)一的時刻還未到來,。然而,人們對人工智能的夢想?yún)s是永遠不會磨滅的,。


這里將按歷史的順序介紹人工智能的發(fā)展,。從早期的哥德爾、圖靈等人的研究到“人工智能”一詞的提出,,再到后期的人工智能三大學(xué)派:符號學(xué)派,、連接學(xué)派和行為學(xué)派,以及近年來的新進展:貝葉斯網(wǎng)絡(luò),、深度學(xué)習(xí),、通用人工智能;最后我們將對未來的人工智能進行展望,。


夢的開始(1900—1956)

大衛(wèi)·希爾伯特


說來奇怪,,人工智能之夢開始于一小撮20世紀(jì)初期的數(shù)學(xué)家。這些人真正做到了用方程推動整個世界,。


歷史的車輪倒回到1900年,,世紀(jì)之交的數(shù)學(xué)家大會在巴黎如期召開,德高望重的老數(shù)學(xué)家大衛(wèi)·希爾伯特(David Hilbert)莊嚴(yán)地向全世界數(shù)學(xué)家們宣布了23個未解決的難題,。這23道難題道道經(jīng)典,,而其中的第二問題和第十問題則與人工智能密切相關(guān),并最終促成了計算機的發(fā)明,。


希爾伯特的第二問題來源于一個大膽的想法——運用公理化的方法統(tǒng)一整個數(shù)學(xué),并運用嚴(yán)格的數(shù)學(xué)推理證明數(shù)學(xué)自身的正確性,。這個野心被后人稱為希爾伯特綱領(lǐng),,雖然他自己沒能證明,但卻把這個任務(wù)交給了后來的年輕人,,這就是希爾伯特第二問題:證明數(shù)學(xué)系統(tǒng)中應(yīng)同時具備一致性(數(shù)學(xué)真理不存在矛盾)和完備性(任意真理都可以被描述為數(shù)學(xué)定理),。


庫爾特·哥德爾

希爾伯特的勃勃野心無疑激勵著每一位年輕的數(shù)學(xué)家,其中就包括一個來自捷克的年輕人:庫爾特·哥德爾(Kurt Godel),。他起初是希爾伯特的忠實粉絲,,并致力于攻克第二問題,。然而,他很快發(fā)現(xiàn),,自己之前的努力都是徒勞的,,因為希爾伯特第二問題的斷言根本就是錯的:任何足夠強大的數(shù)學(xué)公理系統(tǒng)都存在著瑕疵:一致性和完備性不能同時具備。很快,,哥德爾倒戈了,,他背叛了希爾伯特,但卻推動了整個數(shù)學(xué)的發(fā)展,,于1931年提出了被美國《時代周刊》評選為20世紀(jì)最有影響力的數(shù)學(xué)定理:哥德爾不完備性定理,。


盡管早在1931年,人工智能學(xué)科還沒有建立,,計算機也沒有發(fā)明,,但是哥德爾定理似乎已經(jīng)為人工智能提出了警告。這是因為如果我們把人工智能也看作一個機械化運作的數(shù)學(xué)公理系統(tǒng),,那么根據(jù)哥德爾定理,,必然存在著某種人類可以構(gòu)造、但是機器無法求解的人工智能的“軟肋”,。這就好像我們無法揪著自己的腦袋脫離地球,,數(shù)學(xué)無法證明數(shù)學(xué)本身的正確性,人工智能也無法僅憑自身解決所有問題,。所以,,存在著人類可以求解但是機器卻不能解的問題,人工智能不可能超過人類,。


但問題并沒有這么簡單,,上述命題成立的一個前提是人與機器不同,不是一個機械的公理化系統(tǒng),。然而,,這個前提是否成立迄今為止我們并不知道,所以這一問題仍在爭論之中,。關(guān)于此觀點的延伸討論請參見本書第4章,。


艾倫·圖靈

另外一個與哥德爾年齡相仿的年輕人被希爾伯特的第十問題深深地吸引了,并決定為此奉獻一生,。這個人就是艾倫·圖靈(Alan Turing),。


希爾伯特第十問題的表述是:“是否存在著判定任意一個丟番圖方程有解的機械化運算過程?!边@句話的前半句比較晦澀,,我們可以先忽略,因為后半句是重點,,“機械化運算過程”用今天的話說就是算法,。然而,,當(dāng)年,算法這個概念還是相當(dāng)模糊的,。于是,,圖靈設(shè)想出了一個機器——圖靈機,它是計算機的理論原型,,圓滿地刻畫出了機械化運算過程的含義,,并最終為計算機的發(fā)明鋪平了道路。


圖靈機模型(見圖1-2)形象地模擬了人類進行計算的過程,。假如我們希望計算任意兩個3位數(shù)的加法:139 + 919,。我們需要一張足夠大的草稿紙以及一支可以在紙上不停地涂涂寫寫的筆。之后,,我們需要從個位到百位一位一位地按照10以內(nèi)的加法規(guī)則完成加法,。我們還需要考慮進位,例如9 + 9 = 18,,這個1就要加在十位上,。我們是通過在草稿紙上記下適當(dāng)?shù)臉?biāo)記來完成這種進位記憶的。最后,,我們把計算的結(jié)果輸出到了紙上,。



圖靈機把所有這些過程都模型化了:草稿紙被模型化為一條無限長的紙帶,筆被模型化為一個讀寫頭,,固定的10以內(nèi)的運算法則模型化為輸入給讀寫頭的程序,,對于進位的記憶則被模型化為讀寫頭的內(nèi)部狀態(tài)。于是,,設(shè)定好紙帶上的初始信息,,以及讀寫頭的當(dāng)前內(nèi)部狀態(tài)和程序規(guī)則,圖靈機就可以運行起來了,。它在每一時刻讀入一格紙帶的信息,,并根據(jù)當(dāng)前的內(nèi)部狀態(tài),查找相應(yīng)的程序,,從而給出下一時刻的內(nèi)部狀態(tài)并輸出信息到紙帶上,。關(guān)于圖靈機的詳細(xì)描述,請參見本書第2章,。


圖靈機模型一經(jīng)提出就得到了科學(xué)家們的認(rèn)可,,這無疑給了圖靈莫大的鼓勵。他開始鼓起勇氣,,展開想象的翅膀,進一步思考圖靈機運算能力的極限,。1940年,,圖靈開始認(rèn)真地思考機器是否能夠具備類人的智能,。他馬上意識到這個問題的要點其實并不在于如何打造強大的機器,而在于我們?nèi)祟惾绾慰创悄?,即依?jù)什么標(biāo)準(zhǔn)評價一臺機器是否具備智能,。于是,圖靈在1950年發(fā)表了《機器能思考嗎,?》一文,,提出了這樣一個標(biāo)準(zhǔn):如果一臺機器通過了“圖靈測試”,則我們必須接受這臺機器具有智能,。那么,,圖靈測試究竟是怎樣一種測試呢?


如圖1-3所示,,假設(shè)有兩間密閉的屋子,,其中一間屋子里面關(guān)了一個人,另一間屋子里面關(guān)了一臺計算機:進行圖靈測試的人工智能程序,。然后,,屋子外面有一個人作為測試者,測試者只能通過一根導(dǎo)線與屋子里面的人或計算機交流——與它們進行聯(lián)網(wǎng)聊天,。假如測試者在有限的時間內(nèi)無法判斷出這兩間屋子里面哪一個關(guān)的是人,,哪一個是計算機,那么我們就稱屋子里面的人工智能程序通過了圖靈測試,,并具備了智能,。事實上,圖靈當(dāng)年在《機器能思考嗎,?》一文中設(shè)立的標(biāo)準(zhǔn)相當(dāng)寬泛:只要有30%的人類測試者在5分鐘內(nèi)無法分辨出被測試對象,,就可以認(rèn)為程序通過了圖靈測試。

2014年6月12日,,一個名為“尤金”(Eugene Goostman)的聊天程序(見圖1-4)成功地在5分鐘內(nèi)蒙騙了30%的人類測試者,,從而達到了圖靈當(dāng)年提出來的標(biāo)準(zhǔn)。很多人認(rèn)為,,這款程序具有劃時代的意義,,它是自圖靈測試提出64年后第一個通過圖靈測試的程序。但是,,很快就有人提出這只不過是一個噱頭,,該程序并沒有宣傳的那么厲害。例如,,谷歌公司的工程總監(jiān),、未來學(xué)家雷·庫茲韋爾(Ray Kurzweil)就表示,這個聊天機器人號稱只有13歲,,并使用第二語言來回答問題,,這成為了該程序重大缺陷的借口,。另外,測試者只有5分鐘與之展開互動,,這大大增加了他們在短期內(nèi)被“欺騙”的概率,。



由此可見,圖靈將智能等同于符號運算的智能表現(xiàn),,而忽略了實現(xiàn)這種符號智能表現(xiàn)的機器內(nèi)涵,。這樣做的好處是可以將所謂的智能本質(zhì)這一問題繞過去,它的代價是人工智能研制者們會把注意力集中在如何讓程序欺騙人類測試者上,,甚至可以不擇手段,。所以,對于將圖靈測試作為評判機器具備智能的唯一標(biāo)準(zhǔn),,很多人開始質(zhì)疑,。因為人類智能還包括諸如對復(fù)雜形式的判斷、創(chuàng)造性地解決問題的方法等,,而這些特質(zhì)都無法在圖靈測試中體現(xiàn)出來,。


總而言之,圖靈的研究無疑大大推動了人工智能的進展,。然而,,圖靈本人卻于1954年死于一個被劇毒氰化物注射過的蘋果,享年僅僅42歲,。傳聞他是一名同性戀,,這在當(dāng)時的英國是非法的。于是英國政府強行給他注射一種藥物抑制他的同性戀傾向,,這導(dǎo)致他最終在治療期間痛苦萬分地自殺了,。據(jù)說,蘋果公司為了紀(jì)念這位計算機科學(xué)之父,,特意用那個被圖靈咬掉一口的蘋果作為公司的logo,。1966年,美國計算機協(xié)會設(shè)立了以圖靈命名的圖靈獎,,以專門獎勵那些對計算機事業(yè)作出重要貢獻的人,,這相當(dāng)于計算機領(lǐng)域的諾貝爾獎。


約翰·馮·諾依曼


就在哥德爾絞盡腦汁捉摸希爾伯特第二問題的時候,,另外一個來自匈牙利布達佩斯的天才少年也在思考同樣的問題,,他就是大名鼎鼎的約翰·馮·諾依曼(John von Neumann)。


然而,,馮·諾依曼遠沒有哥德爾走運,。到了1931年,馮·諾依曼即將在希爾伯特第二問題上獲得突破,卻突然得知哥德爾已經(jīng)發(fā)表了哥德爾定理,,先他一步,。于是,馮·諾依曼一氣之下開始轉(zhuǎn)行研究起了量子力學(xué),。就在他的量子力學(xué)研究即將結(jié)出碩果之際,另外一位天才物理學(xué)家保羅·狄拉克(Paul Dirac)又一次搶了他的風(fēng)頭,,出版了《量子力學(xué)原理》,,并一舉成名。這比馮·諾依曼的《量子力學(xué)的數(shù)學(xué)基礎(chǔ)》整整早了兩年,。


受到兩次打擊之后,,馮·諾依曼開始把部分注意力從基礎(chǔ)數(shù)學(xué)轉(zhuǎn)向了工程應(yīng)用領(lǐng)域,終于大獲成功,。1945年,,憑借出眾的才華,馮·諾依曼在火車上完成了早期的計算機EDVAC的設(shè)計,,并提出了我們現(xiàn)在熟知的“馮·諾依曼體系結(jié)構(gòu)”,。


馮·諾依曼的計算機與圖靈機是一脈相承的,但最大的不同就在于,,馮·諾依曼的讀寫頭不再需要一格一格地讀寫紙帶,,而是根據(jù)指定的地址,隨機地跳到相應(yīng)的位置完成讀寫,。這也就是我們今天所說的隨機訪問存儲器(Random Access Memory,,RAM)的前身。關(guān)于馮·諾依曼體系結(jié)構(gòu)和現(xiàn)代計算機的工作原理,,請參見本書第3章,。


馮·諾依曼的計算機終于使得數(shù)學(xué)家們的研究結(jié)出了碩果,也最終推動著人類歷史進入了信息時代,,使得人工智能之夢成為了可能,。


諾伯特·維納


我們要介紹的最后一位數(shù)學(xué)家是美國的天才神童諾伯特·維納(Norbert Wiener)。據(jù)說維納三歲的時候就開始在父親的影響下讀天文學(xué)和生物學(xué)的圖書,。七歲的時候他所讀的物理學(xué)和生物學(xué)的知識范圍已經(jīng)超出了他父親,。他年紀(jì)輕輕就掌握了拉丁語、希臘語,、德語和英語,,并且涉獵人類科學(xué)的各個領(lǐng)域。后來,,他留學(xué)歐洲,,曾先后拜師于羅素、希爾伯特、哈代等哲學(xué),、數(shù)學(xué)大師,。維納在他70年的科學(xué)生涯中,先后涉足數(shù)學(xué),、物理學(xué),、工程學(xué)和生物學(xué),共發(fā)表240多篇論文,,著作14本,。


然而,與我們的主題最相關(guān)的,,則要數(shù)維納于1948年提出來的新興學(xué)科“控制論”(Cybernetics)了,。“Cybernetics”一詞源于希臘語的“掌舵人”,。在控制論中,,維納深入探討了機器與人的統(tǒng)一性——人或機器都是通過反饋完成某種目的的實現(xiàn),因此他揭示了用機器模擬人的可能性,,這為人工智能的提出奠定了重要基礎(chǔ),。維納也是最早注意到心理學(xué)、腦科學(xué)和工程學(xué)應(yīng)相互交叉的人之一,,這促使了后來認(rèn)知科學(xué)的發(fā)展,。


這幾位數(shù)學(xué)大師不滿足于“躲進小樓成一統(tǒng)”,埋頭解決一兩個超級數(shù)學(xué)難題,。他們的思想大膽地?fù)肀Я税唏g復(fù)雜的世界,,最終用他們的方程推動了社會的進步,開啟了人工智能之夢,。


夢的延續(xù)(1956—1980)


在數(shù)學(xué)大師們鋪平了理論道路,,工程師們踏平了技術(shù)坎坷,計算機已呱呱落地的時候,,人工智能終于橫空出世了,。而這一歷史時刻的到來卻是從一個不起眼的會議開始的。


達特茅斯會議


1956年8月,,在美國漢諾斯小鎮(zhèn)寧靜的達特茅斯學(xué)院中,,約翰·麥卡錫(John McCarthy)、馬文·閔斯基(Marvin Minsky,,人工智能與認(rèn)知學(xué)專家),、克勞德·香農(nóng)(Claude Shannon,信息論的創(chuàng)始人),、艾倫·紐厄爾(Allen Newell,,計算機科學(xué)家),、赫伯特·西蒙(Herbert Simon,諾貝爾經(jīng)濟學(xué)獎得主)等科學(xué)家正聚在一起,,討論著一個完全不食人間煙火的主題:用機器來模仿人類學(xué)習(xí)以及其他方面的智能,。


會議足足開了兩個月的時間,雖然大家沒有達成普遍的共識,,但是卻為會議討論的內(nèi)容起了一個名字:人工智能,。因此,1956年也就成為了人工智能元年,。


黃金時期


達特茅斯會議之后,,人工智能獲得了井噴式的發(fā)展,好消息接踵而至,。機器定理證明——用計算機程序代替人類進行自動推理來證明數(shù)學(xué)定理——是最先取得重大突破的領(lǐng)域之一。在達特茅斯會議上,,紐厄爾和西蒙展示了他們的程序:“邏輯理論家”可以獨立證明出《數(shù)學(xué)原理》第二章的38條定理,;而到了1963年,該程序已能證明該章的全部52條定理,。1958年,,美籍華人王浩在IBM704計算機上以3~5分鐘的時間證明了《數(shù)學(xué)原理》中有關(guān)命題演算部分的全部220條定理。而就在這一年,,IBM公司還研制出了平面幾何的定理證明程序,。


1976年,凱尼斯·阿佩爾(Kenneth Appel)和沃夫?qū)す希╓olfgang Haken)等人利用人工和計算機混合的方式證明了一個著名的數(shù)學(xué)猜想:四色猜想(現(xiàn)在稱為四色定理),。這個猜想表述起來非常簡單易懂:對于任意的地圖,,我們最少僅用四種顏色就可以染色該地圖,并使得任意兩個相鄰的國家不會重色,;然而證明起來卻異常煩瑣,。配合著計算機超強的窮舉和計算能力,阿佩爾等人把這個猜想證明了,。


另一方面,,機器學(xué)習(xí)領(lǐng)域也獲得了實質(zhì)的突破,在1956年的達特茅斯會議上,,阿瑟·薩繆爾(Arthur Samuel)研制了一個跳棋程序,,該程序具有自學(xué)習(xí)功能,可以從比賽中不斷總結(jié)經(jīng)驗提高棋藝,。1959年,,該跳棋程序打敗了它的設(shè)計者薩繆爾本人,過了3年后,,該程序已經(jīng)可以擊敗美國一個州的跳棋冠軍,。


1956年,,奧利弗·薩爾夫瑞德(Oliver Selfridge)研制出第一個字符識別程序,開辟了模式識別這一新的領(lǐng)域,。1957年,,紐厄爾和西蒙等開始研究一種不依賴于具體領(lǐng)域的通用問題求解器,他們稱之為GPS(General Problem Solver),。1963年,,詹姆斯·斯拉格(James Slagle)發(fā)表了一個符號積分程序SAINT,輸入一個函數(shù)的表達式,,該程序就能自動輸出這個函數(shù)的積分表達式,。過了4年后,他們研制出了符號積分運算的升級版SIN,,SIN的運算已經(jīng)可以達到專家級水準(zhǔn),。


遇到瓶頸


所有這一切來得太快了,勝利沖昏了人工智能科學(xué)家們的頭腦,,他們開始盲目樂觀起來,。例如,1958年,,紐厄爾和西蒙就自信滿滿地說,,不出10年,計算機將會成為世界象棋冠軍,,證明重要的數(shù)學(xué)定理,,譜出優(yōu)美的音樂。照這樣的速度發(fā)展下去,,2000年人工智能就真的可以超過人類了,。


然而,歷史似乎故意要作弄輕狂無知的人工智能科學(xué)家們,。1965年,,機器定理證明領(lǐng)域遇到了瓶頸,計算機推了數(shù)十萬步也無法證明兩個連續(xù)函數(shù)之和仍是連續(xù)函數(shù),。薩繆爾的跳棋程序也沒那么神氣了,,它停留在了州冠軍的層次,無法進一步戰(zhàn)勝世界冠軍,。


最糟糕的事情發(fā)生在機器翻譯領(lǐng)域,,對于人類自然語言的理解是人工智能中的硬骨頭。計算機在自然語言理解與翻譯過程中表現(xiàn)得極其差勁,,一個最典型的例子就是下面這個著名的英語句子:


The spirit is willing but the flesh is weak. (心有余而力不足,。)


當(dāng)時,人們讓機器翻譯程序把這句話翻譯成俄語,,然后再翻譯回英語以檢驗效果,,得到的句子竟然是:


The wine is good but the meet is spoiled.(酒是好的,,肉變質(zhì)了。)


這簡直是驢唇不對馬嘴嘛,。怪不得有人挖苦道,,美國政府花了2000萬美元為機器翻譯挖掘了一座墳?zāi)埂S嘘P(guān)自然語言理解的更多內(nèi)容,,請參見本書第10章,。


總而言之,越來越多的不利證據(jù)迫使政府和大學(xué)削減了人工智能的項目經(jīng)費,,這使得人工智能進入了寒冷的冬天,。來自各方的事實證明,人工智能的發(fā)展不可能像人們早期設(shè)想的那樣一帆風(fēng)順,,人們必須靜下心來冷靜思考,。


知識就是力量


經(jīng)歷了短暫的挫折之后,AI研究者們開始痛定思痛,。愛德華·費根鮑姆(Edward A. Feigenbaum)就是新生力量的佼佼者,,他舉著“知識就是力量”的大旗,很快開辟了新的道路,。



根鮑姆分析到,傳統(tǒng)的人工智能之所以會陷入僵局,,就是因為他們過于強調(diào)通用求解方法的作用,,而忽略了具體的知識。仔細(xì)思考我們?nèi)祟惖那蠼膺^程就會發(fā)現(xiàn),,知識無時無刻不在起著重要作用,。因此,人工智能必須引入知識,。


于是,,在費根鮑姆的帶領(lǐng)下,一個新的領(lǐng)域?qū)<蚁到y(tǒng)誕生了,。所謂的專家系統(tǒng)就是利用計算機化的知識進行自動推理,,從而模仿領(lǐng)域?qū)<医鉀Q問題。第一個成功的專家系統(tǒng)DENDRAL于1968年問世,,它可以根據(jù)質(zhì)譜儀的數(shù)據(jù)推知物質(zhì)的分子結(jié)構(gòu),。在這個系統(tǒng)的影響下,各式各樣的專家系統(tǒng)很快陸續(xù)涌現(xiàn),,形成了一種軟件產(chǎn)業(yè)的全新分支:知識產(chǎn)業(yè),。1977年,在第五屆國際人工智能大會上,,費根鮑姆用知識工程概括了這個全新的領(lǐng)域,。


在知識工程的刺激下,,日本的第五代計算機計劃、英國的阿爾維計劃,、西歐的尤里卡計劃,、美國的星計劃和中國的863計劃陸續(xù)推出,雖然這些大的科研計劃并不都是針對人工智能的,,但是AI都作為這些計劃的重要組成部分,。


然而,好景不長,,在專家系統(tǒng),、知識工程獲得大量的實踐經(jīng)驗之后,弊端開始逐漸顯現(xiàn)了出來,,這就是知識獲取,。面對這個全新的棘手問題,新的“費根鮑姆”沒有再次出現(xiàn),,人工智能這個學(xué)科卻發(fā)生了重大轉(zhuǎn)變:它逐漸分化成了幾大不同的學(xué)派,。


群龍問鼎(1980—2010)


專家系統(tǒng)、知識工程的運作需要從外界獲得大量知識的輸入,,而這樣的輸入工作是極其費時費力的,,這就是知識獲取的瓶頸。于是,,在20世紀(jì)80年代,,機器學(xué)習(xí)這個原本處于人工智能邊緣地區(qū)的分支一下子成為了人們關(guān)注的焦點。


盡管傳統(tǒng)的人工智能研究者也在奮力掙扎,,但是人們很快發(fā)現(xiàn),,如果采用完全不同的世界觀,即讓知識通過自下而上的方式涌現(xiàn),,而不是讓專家們自上而下地設(shè)計出來,,那么機器學(xué)習(xí)的問題其實可以得到很好地解決。這就好比我們教育小孩子,,傳統(tǒng)人工智能好像填鴨式教學(xué),,而新的方法則是啟發(fā)式教學(xué):讓孩子自己來學(xué)。


事實上,,在人工智能界,,很早就有人提出過自下而上的涌現(xiàn)智能的方案,只不過它們從來沒有引起大家的注意,。一批人認(rèn)為可以通過模擬大腦的結(jié)構(gòu)(神經(jīng)網(wǎng)絡(luò))來實現(xiàn),,而另一批人則認(rèn)為可以從那些簡單生物體與環(huán)境互動的模式中尋找答案。他們分別被稱為連接學(xué)派和行為學(xué)派,。與此相對,,傳統(tǒng)的人工智能則被統(tǒng)稱為符號學(xué)派,。自20世紀(jì)80年代開始,到20世紀(jì)90年代,,這三大學(xué)派形成了三足鼎立的局面,。


符號學(xué)派



作為符號學(xué)派的代表,人工智能的創(chuàng)始人之一約翰·麥卡錫在自己的網(wǎng)站上掛了一篇文章《什么是人工智能》,,為大家闡明什么是人工智能(按照符號學(xué)派的理解),。


(人工智能)是關(guān)于如何制造智能機器,特別是智能的計算機程序的科學(xué)和工程,。它與使用機器來理解人類智能密切相關(guān),,但人工智能的研究并不需要局限于生物學(xué)上可觀察到的那些方法。


在這里,,麥卡錫特意強調(diào)人工智能研究并不一定局限于模擬真實的生物智能行為,,而是更強調(diào)它的智能行為和表現(xiàn)的方面,這一點和圖靈測試的想法是一脈相承的,。另外,,麥卡錫還突出了利用計算機程序來模擬智能的方法。他認(rèn)為,,智能是一種特殊的軟件,,與實現(xiàn)它的硬件并沒有太大的關(guān)系。


紐厄爾和西蒙則把這種觀點概括為“物理符號系統(tǒng)假說”(physical symbolic system hypothesis),。該假說認(rèn)為,,任何能夠?qū)⑽锢淼哪承┠J剑╬attern)或符號進行操作并轉(zhuǎn)化成另外一些模式或符號的系統(tǒng),就有可能產(chǎn)生智能的行為,。這種物理符號可以是通過高低電位的組成或者是燈泡的亮滅所形成的霓虹燈圖案,當(dāng)然也可以是人腦神經(jīng)網(wǎng)絡(luò)上的電脈沖信號,。這也恰恰是“符號學(xué)派”得名的依據(jù),。


在“物理符號系統(tǒng)假說”的支持下,符號學(xué)派把焦點集中在人類智能的高級行為,,如推理,、規(guī)劃、知識表示等方面,。這些工作在一些領(lǐng)域獲得了空前的成功,。


人機大戰(zhàn)


計算機博弈(下棋)方面的成功就是符號學(xué)派名揚天下的資本。早在1958年,,人工智能的創(chuàng)始人之一西蒙就曾預(yù)言,,計算機會在10年內(nèi)成為國際象棋世界冠軍。然而,,正如我們前面討論過的,,這種預(yù)測過于樂觀了,。事實比西蒙的預(yù)言足足晚了40年的時間。


1988年,,IBM開始研發(fā)可以與人下國際象棋的智能程序“深思”——一個可以以每秒70萬步棋的速度進行思考的超級程序,。到了1991年,“深思II”已經(jīng)可以戰(zhàn)平澳大利亞國際象棋冠軍達瑞爾·約翰森(Darryl Johansen),。1996年,,“深思”的升級版“深藍”開始挑戰(zhàn)著名的人類國際象棋世界冠軍加里·卡斯帕羅夫(Garry Kasparov),卻以2:4敗下陣來,。但是,,一年后的5月11日,“深藍”最終以3.5:2.5的成績戰(zhàn)勝了卡斯帕羅夫(見圖1-5),,成為了人工智能的一個里程碑,。


圖片來源:http://cdn./static/mt/assets/science/kasparov615.jpg。


人機大戰(zhàn)終于以計算機的勝利劃上了句號,。那是不是說計算機已經(jīng)超越了人類了呢,?要知道,計算機通過超級強大的搜索能力險勝了人類——當(dāng)時的“深藍”已經(jīng)可以在1秒鐘內(nèi)算兩億步棋,。而且,,“深藍”存儲了100年來幾乎所有的國際特級大師的開局和殘局下法。另外還有四位國際象棋特級大師親自“訓(xùn)練”“深藍”,,真可謂是超豪華陣容,。所以,最終的結(jié)果很難說是計算機戰(zhàn)勝了人,,更像是一批人戰(zhàn)勝了另一批人,。最重要的是,國際象棋上的博弈是在一個封閉的棋盤世界中進行的,,而人類智能面對的則是一個復(fù)雜得多的開放世界,。


然而,時隔14年后,,另外一場在IBM超級計算機和人類之間的人機大戰(zhàn)刷新了記錄,,也使得我們必須重新思考機器是否能戰(zhàn)勝人類這個問題。因為這次的比賽不再是下棋,,而是自由的“知識問答”,,這種競賽環(huán)境比國際象棋開放得多,因為提問的知識可以涵蓋時事,、歷史,、文學(xué)、藝術(shù)、流行文化,、科學(xué),、體育、地理,、文字游戲等多個方面,。因此,這次的機器勝利至少證明了計算機同樣可以在開放的世界中表現(xiàn)得不遜于人類,。


這場人機大戰(zhàn)的游戲叫作《危險》(Jeopardy),,是美國一款著名的電視節(jié)目。在節(jié)目中,,主持人通過自然語言給出一系列線索,,然后,參賽隊員要根據(jù)這些線索用最短的時間把主持人描述的人或者事物猜出來,,并且以提問的方式回答,。例如當(dāng)節(jié)目主持人給出線索“這是一種冷血的無足的冬眠動物”的時候,選手應(yīng)該回答“什么是蛇,?”而不是簡單地回答“蛇”,。由于問題會涉及各個領(lǐng)域,所以一般知識淵博的人類選手都很難獲勝,。


然而,,在2011年2月14日到2月16日期間的《危險》比賽中,IBM公司的超級計算機沃森(Watson)卻戰(zhàn)勝了人類選手(見圖1-6),。


圖片來源:http://cdn./wp-content/uploads/IBM-Watson.jpg,。


這一次,IBM打造的沃森是一款完全不同于以往的機器,。首先,,它必須是一個自然語言處理的高手,因為它必須在短時間內(nèi)理解主持人的提問,,甚至有的時候還必須理解語言中的隱含意思,。而正如我們前文所說,自然語言理解始終是人工智能的最大難題,。其次,沃森必須充分了解字謎,,要領(lǐng)會雙關(guān)語,,并且腦中還要裝滿諸如莎士比亞戲劇的獨白、全球主要的河流和各國首都等知識,,所有這些知識并不限定在某個具體的領(lǐng)域,。所以,沃森的勝利的確是人工智能界的一個標(biāo)志性事件,。


可以說,,人機大戰(zhàn)是人工智能符號學(xué)派1980年以來最出風(fēng)頭的應(yīng)用,。然而,這種無休止的人機大戰(zhàn)也難逃成為噱頭的嫌疑,。事實上,,歷史上每次吸引眼球的人機大戰(zhàn)似乎都必然伴隨著IBM公司的股票大漲,這也就不難理解為什么IBM會花重金開發(fā)出一款又一款大型計算機去參加這么多無聊的競賽,,而不是去做一些更實用的東西了,。


實際上,20世紀(jì)80年代以后,,符號學(xué)派的發(fā)展勢頭已經(jīng)遠不如當(dāng)年了,,因為人工智能武林霸主的地位很快就屬于其他學(xué)派了。


連接學(xué)派

我們知道,,人類的智慧主要來源于大腦的活動,,而大腦則是由一萬億個神經(jīng)元細(xì)胞通過錯綜復(fù)雜的相互連接形成的。于是,,人們很自然地想到,,我們是否可以通過模擬大量神經(jīng)元的集體活動來模擬大腦的智力呢?

對比物理符號系統(tǒng)假說,,我們不難發(fā)現(xiàn),,如果將智力活動比喻成一款軟件,那么支撐這些活動的大腦神經(jīng)網(wǎng)絡(luò)就是相應(yīng)的硬件,。于是,,主張神經(jīng)網(wǎng)絡(luò)研究的科學(xué)家實際上在強調(diào)硬件的作用,認(rèn)為高級的智能行為是從大量神經(jīng)網(wǎng)絡(luò)的連接中自發(fā)出現(xiàn)的,,因此,,他們又被稱為連接學(xué)派。


神經(jīng)網(wǎng)絡(luò)

連接學(xué)派的發(fā)展也是一波三折,。事實上,,最早的神經(jīng)網(wǎng)絡(luò)研究可以追溯到1943年計算機發(fā)明之前。當(dāng)時,,沃倫·麥卡洛克(Warren McCulloch)和沃爾特·匹茲 (Walter Pitts)二人提出了一個單個神經(jīng)元的計算模型,,如圖1-7所示。


在這個模型中,,左邊的I1, I2, … ,IN為輸入單元,,可以從其他神經(jīng)元接受輸出,然后將這些信號經(jīng)過加權(quán)(W1, W2, … ,WN)傳遞給當(dāng)前的神經(jīng)元并完成匯總,。如果匯總的輸入信息強度超過了一定的閾值(T),,則該神經(jīng)元就會發(fā)放一個信號y給其他神經(jīng)元或者直接輸出到外界。該模型后來被稱為麥卡洛克?匹茲模型,可以說它是第一個真實神經(jīng)元細(xì)胞的模型,。



1957年,,弗蘭克·羅森布拉特(Frank Rosenblatt)對麥卡洛克?匹茲模型進行了擴充,即在麥卡洛克?匹茲神經(jīng)元上加入了學(xué)習(xí)算法,,擴充的模型有一個響亮的名字:感知機,。感知機可以根據(jù)模型的輸出y與我們希望模型的輸出y*之間的誤差,調(diào)整權(quán)重W1, W2, …, WN來完成學(xué)習(xí),。


我們可以形象地把感知機模型理解為一個裝滿了大大小小水龍頭(W1, W2, …, WN)的水管網(wǎng)絡(luò),,學(xué)習(xí)算法可以調(diào)節(jié)這些水龍頭來控制最終輸出的水流,并讓它達到我們想要的流量,,這就是學(xué)習(xí)的過程,。這樣,感知機就好像一個可以學(xué)習(xí)的小孩,,無論什么問題,,只要明確了我們想要的輸入和輸出之間的關(guān)系,都可能通過學(xué)習(xí)得以解決,,至少它的擁護者是這樣認(rèn)為的,。


然而,好景不長,,1969年,,人工智能界的權(quán)威人士馬文·閔斯基給連接學(xué)派帶來了致命一擊。他通過理論分析指出,,感知機并不像它的創(chuàng)立者羅森布拉特宣稱的那樣可以學(xué)習(xí)任何問題,。連一個最簡單的問題:判斷一個兩位的二進制數(shù)是否僅包含0或者1(即所謂的XOR問題)都無法完成。這一打擊是致命的,,本來就不是很熱的神經(jīng)網(wǎng)絡(luò)研究差點就被閔斯基這一棒子打死了,。



多則不同


1974年,人工智能連接學(xué)派的救世主杰夫·辛頓(Geoffrey Hinton)終于出現(xiàn)了,。他曾至少兩次挽回連接學(xué)派的敗局,,1974年是第一次,第二次會在下文提到,。辛頓的出發(fā)點很簡單——“多則不同”:只要把多個感知機連接成一個分層的網(wǎng)絡(luò),,那么,它就可以圓滿地解決閔斯基的問題,。如圖1-8所示,,多個感知機連接成為一個四層的網(wǎng)絡(luò),最左面為輸入層,,最右面為輸出層,,中間的那些神經(jīng)元位于隱含層,右側(cè)的神經(jīng)元接受左側(cè)神經(jīng)元的輸出,。



但接下來的問題是,,“人多吃得多”,那么多個神經(jīng)元,,可能有幾百甚至上千個參數(shù)需要調(diào)節(jié),,我們?nèi)绾螌@樣復(fù)雜的網(wǎng)絡(luò)進行訓(xùn)練呢?辛頓等人發(fā)現(xiàn),,采用幾年前阿瑟·布賴森(Arthur Bryson)等人提出來的反向傳播算法(Back propagation algorithm,,簡稱BP算法)就可以有效解決多層網(wǎng)絡(luò)的訓(xùn)練問題。


還是以水流管道為例來說明,。當(dāng)網(wǎng)絡(luò)執(zhí)行決策的時候,,水從左側(cè)的輸入節(jié)點往右流,直到輸出節(jié)點將水吐出,。而在訓(xùn)練階段,,我們則需要從右往左來一層層地調(diào)節(jié)各個水龍頭,要使水流量達到要求,,我們只要讓每一層的調(diào)節(jié)只對它右面一層的節(jié)點負(fù)責(zé)就可以了,,這就是反向傳播算法。事實證明,,多層神經(jīng)網(wǎng)絡(luò)裝備上反向傳播算法之后,,可以解決很多復(fù)雜的識別和預(yù)測等問題。


幾乎是在同一時間,,又有幾個不同的神經(jīng)網(wǎng)絡(luò)模型先后被提出,,這些模型有的可以完成模式聚類,有的可以模擬聯(lián)想思維,,有的具有深厚的數(shù)學(xué)物理基礎(chǔ),,有的則模仿生物的構(gòu)造。所有這些大的突破都令連接學(xué)派名聲大噪,,異軍突起,。


統(tǒng)計學(xué)習(xí)理論


然而,連接學(xué)派的科學(xué)家們很快又陷入了困境,。雖然各種神經(jīng)網(wǎng)絡(luò)可以解決問題,,但是,它們究竟為什么會成功以及為什么在有些問題上會屢遭失敗,,卻沒有人能說得清楚,。對網(wǎng)絡(luò)運行原理的無知,也使得人們對如何提高神經(jīng)網(wǎng)絡(luò)運行效率的問題無從下手,。因此,,連接學(xué)派需要理論的支持,。



2000年左右,弗拉基米爾·萬普尼克(Vladimir Naumovich Vapnik)和亞歷克塞·澤范蘭杰斯(Alexey Yakovlevich Chervonenkis)這兩位俄羅斯科學(xué)家提出了一整套新的理論:統(tǒng)計學(xué)習(xí)理論,,受到連接學(xué)派的頂禮膜拜,。


該理論大意可概括為“殺雞焉用宰牛刀”。我們的模型一定要與待解決的問題相匹配,,如果模型過于簡單,,而問題本身的復(fù)雜度很高,就無法得到預(yù)期的精度,。反過來,,若問題本身簡單,而模型過于復(fù)雜,,那么模型就會比較僵死,,無法舉一反三,即出現(xiàn)所謂的“過擬合”(overfitting)現(xiàn)象,。


實際上,,統(tǒng)計學(xué)習(xí)理論的精神與奧卡姆剃刀原理有著深刻的聯(lián)系。威廉·奧卡姆(William Occum,,1287—1347)是中世紀(jì)時期的著名哲學(xué)家,,他留下的最重要的遺產(chǎn)就是奧卡姆剃刀原理。該原理說,,如果對于同一個問題有不同的解決方案,,那么我們應(yīng)該挑選其中最簡單的一個。神經(jīng)網(wǎng)絡(luò)或者其他機器學(xué)習(xí)模型也應(yīng)該遵循類似的原理,,只有當(dāng)模型的復(fù)雜度與所解決的問題相匹配的時候,,才能讓模型更好地發(fā)揮作用。


然而,,統(tǒng)計學(xué)習(xí)理論也有很大的局限性,,因為理論的嚴(yán)格分析僅僅限于一類特殊的神經(jīng)網(wǎng)絡(luò)模型:支持向量機(Supporting Vector Machine)。而對于更一般的神經(jīng)網(wǎng)絡(luò),,人們還未找到統(tǒng)一的分析方法,。所以說,連接學(xué)派的科學(xué)家們雖然會向大腦學(xué)習(xí)如何構(gòu)造神經(jīng)網(wǎng)絡(luò)模型,,但實際上他們自己也不清楚這些神經(jīng)網(wǎng)絡(luò)究竟是如何工作的,。不過,他們這種尷尬局面也是無獨有偶,,另外一派后起之秀雖然來勢洶洶,,卻也沒有解決理論基礎(chǔ)問題,這就是行為學(xué)派,。


行為學(xué)派


行為學(xué)派的出發(fā)點與符號學(xué)派和連接學(xué)派完全不同,,他們并沒有把目光聚焦在具有高級智能的人類身上,,而是關(guān)注比人類低級得多的昆蟲。即使這樣簡單的動物也體現(xiàn)出了非凡的智能,,昆蟲可以靈活地擺動自己的身體行走,,還能夠快速地反應(yīng),躲避捕食者的攻擊,。而另一方面,盡管螞蟻個體非常簡單,,但是,,當(dāng)很多小螞蟻聚集在一起形成龐大的蟻群的時候,卻能表現(xiàn)出非凡的智能,,還能形成嚴(yán)密的社會分工組織,。


正是受到了自然界中這些相對低等生物的啟發(fā),行為學(xué)派的科學(xué)家們決定從簡單的昆蟲入手來理解智能的產(chǎn)生,。的確,,他們?nèi)〉昧瞬诲e的成果。


機器昆蟲



羅德尼·布魯克斯(Rodney Brooks)是一名來自美國麻省理工學(xué)院的機器人專家,。在他的實驗室中有大量的機器昆蟲(如圖1-9所示),。相對于那些笨拙的機器人鐵家伙來說,這些小昆蟲要靈活得多,。

這些機器昆蟲沒有復(fù)雜的大腦,,也不會按照傳統(tǒng)的方式進行復(fù)雜的知識表示和推理。它們甚至不需要大腦的干預(yù),,僅憑四肢和關(guān)節(jié)的協(xié)調(diào),,就能很好地適應(yīng)環(huán)境。當(dāng)我們把這些機器昆蟲放到復(fù)雜的地形中的時候,,它們可以痛快地爬行,,還能聰明地避開障礙物。它們看起來的智能事實上并不來源于自上而下的復(fù)雜設(shè)計,,而是來源于自下而上的與環(huán)境的互動,。這就是布魯克斯所倡導(dǎo)的理念。



如果說符號學(xué)派模擬智能軟件,,連接學(xué)派模擬大腦硬件,,那么行為學(xué)派就算是模擬身體了,而且是簡單的,、看起來沒有什么智能的身體,。例如,行為學(xué)派的一個非常成功的應(yīng)用就是美國波士頓動力公司(Boston Dynamics)研制開發(fā)的機器人“大狗② ,。如圖1-10所示,,“大狗”是一個四足機器人,,它能夠在各種復(fù)雜的地形中行走、攀爬,、奔跑,,甚至還可以背負(fù)重物?!按蠊贰蹦M了四足動物的行走行為,,能夠自適應(yīng)地根據(jù)不同的地形調(diào)整行走的模式。推薦感興趣的讀者掃描下方二維碼觀看視頻介紹,。

圖片來源:http://grant./walkman.htm,。 BigDog,參見http://www./robot_bigdog.html,。

 


當(dāng)這只大狗伴隨著“沙沙”的機器運作聲朝你走來時,,你一定會被它的氣勢所嚇到,因為它的樣子很像是一頭公牛呢,!


進化計算



我們從生物身上學(xué)到的東西還不僅僅是這些,。從更長的時間尺度看,生物體對環(huán)境的適應(yīng)還會迫使生物進化,,從而實現(xiàn)從簡單到復(fù)雜,、從低等到高等的躍遷。


約翰·霍蘭(John Holland)是美國密西根大學(xué)的心理學(xué),、電器工程以及計算機的三科教授,。他本科畢業(yè)于麻省理工學(xué)院,后來到了密西根大學(xué)師從阿瑟·伯克斯(Arthur Burks,,曾是馮·諾依曼的助手)攻讀博士學(xué)位,。1959年,他拿到了全世界首個計算機科學(xué)的博士頭銜,。別看霍蘭個頭不高,,他的骨子里卻有一種離經(jīng)叛道的氣魄。他在讀博期間就對如何用計算機模擬生物進化異常著迷,,并最終發(fā)表了他的遺傳算法,。


遺傳算法對大自然中的生物進化進行了大膽的抽象,最終提取出兩個主要環(huán)節(jié):變異(包括基因重組和突變)和選擇,。在計算機中,,我們可以用一堆二進制串來模擬自然界中的生物體。而大自然的選擇作用——生存競爭,、優(yōu)勝劣汰——則被抽象為一個簡單的適應(yīng)度函數(shù),。這樣,一個超級濃縮版的大自然進化過程就可以搬到計算機中了,,這就是遺傳算法,。

圖片來源:http://www./armor/detail.asp?armor_id=184,。


遺傳算法在剛發(fā)表的時候并沒有引起多少人的重視。然而,,隨著時間的推移,,當(dāng)人工智能的焦點轉(zhuǎn)向機器學(xué)習(xí)時,遺傳算法就一下子家喻戶曉了,,因為它的確是一個非常簡單而有效的機器學(xué)習(xí)算法,。與神經(jīng)網(wǎng)絡(luò)不同,遺傳算法不需要把學(xué)習(xí)區(qū)分成訓(xùn)練和執(zhí)行兩個階段,,它完全可以指導(dǎo)機器在執(zhí)行中學(xué)習(xí),,即所謂的做中學(xué)(learning by doing)。同時,,遺傳算法比神經(jīng)網(wǎng)絡(luò)具有更方便的表達性和簡單性。


無獨有偶,,美國的勞倫斯·福格爾(Lawrence Fogel),、德國的因戈·雷伯格(Ingo Rechenberg)以及漢斯·保羅·施韋費爾(Hans-Paul Schwefel)、霍蘭的學(xué)生約翰·科扎 (John Koza)等人也先后提出了演化策略,、演化編程和遺傳編程,。這使得進化計算大家庭的成員更加多樣化了。


人工生命


無論是機器昆蟲還是進化計算,,科學(xué)家們關(guān)注的焦點都是如何模仿生物來創(chuàng)造智能的機器或者算法,。克里斯托弗·蘭頓(Chirstopher Langton)進行了進一步提煉,,提出了“人工生命”這一新興學(xué)科,。人工生命與人工智能非常接近,但是它的關(guān)注點在于如何用計算的手段來模擬生命這種更加“低等”的現(xiàn)象,。


人工生命認(rèn)為,,所謂的生命或者智能實際上是從底層單元(可以是大分子化合物,也可以是數(shù)字代碼)通過相互作用而產(chǎn)生的涌現(xiàn)屬性(emergent property),?!坝楷F(xiàn)”(emergence)這個詞是人工生命研究中使用頻率最高的詞之一,它強調(diào)了一種只有在宏觀具備但不能分解還原到微觀層次的屬性,、特征或行為,。單個的蛋白質(zhì)分子不具備生命特征,但是大量的蛋白質(zhì)分子組合在一起形成細(xì)胞的時候,,整個系統(tǒng)就具備了“活”性,,這就是典型的涌現(xiàn)。同樣地,,智能則是比生命更高一級(假如我們能夠?qū)⒅悄芎蜕殖刹煌燃壍脑挘┑挠楷F(xiàn)——在生命系統(tǒng)中又涌現(xiàn)出了一整套神經(jīng)網(wǎng)絡(luò)系統(tǒng),,從而使得整個生命體具備了智能屬性?,F(xiàn)實世界中的生命是由碳水化合物編織成的一個復(fù)雜網(wǎng)絡(luò),而人工生命則是寄生于01世界中的復(fù)雜有機體,。


人工生命的研究思路是通過模擬的形式在計算機數(shù)碼世界中產(chǎn)生類似現(xiàn)實世界的涌現(xiàn),。因此,從本質(zhì)上講,,人工生命模擬的就是涌現(xiàn)過程,,而不太關(guān)心實現(xiàn)這個過程的具體單元。我們用01數(shù)字代表蛋白質(zhì)分子,,并為其設(shè)置詳細(xì)的規(guī)則,,接下來的事情就是運行這個程序,然后盯著屏幕,,喝上一杯咖啡,,等待著令人吃驚的“生命現(xiàn)象”在電腦中出現(xiàn)。


模擬群體行為是人工生命的典型應(yīng)用之一,。1983年,,計算機圖形學(xué)家克雷格·雷諾茲(Craig Reynolds)曾開發(fā)了一個名為Boid的計算機模擬程序(見圖1-11),它可以逼真地模擬鳥群的運動,,還能夠聰明地躲避障礙物,。后來,肯尼迪(Kennedy)等人于1995年擴展了Boid模型,,提出了PSO(粒子群優(yōu)化)算法,,成功地通過模擬鳥群的運動來解決函數(shù)優(yōu)化等問題。



類似地,,利用模擬群體行為來實現(xiàn)智能設(shè)計的例子還有很多,,例如蟻群算法、免疫算法等,,共同特征都是讓智能從規(guī)則中自下而上地涌現(xiàn)出來,,并能解決實際問題。關(guān)于人工生命的詳細(xì)討論,,可以參考本書11~13章,。


然而,行為學(xué)派帶來的問題似乎比提供的解決方法還多,。究竟在什么情況下能夠發(fā)生涌現(xiàn),?如何設(shè)計底層規(guī)則使得系統(tǒng)能夠以我們希望的方式涌現(xiàn)?行為學(xué)派,、人工生命的研究者們無法回答,。更糟糕的是,幾十年過去了,人工生命研究似乎仍然只擅長于模擬小蟲子,、螞蟻之類的低等生物,,高級的智能完全沒有像他們預(yù)期的那樣自然涌現(xiàn),而且沒有絲毫跡象,。

圖片來源:http://www./cwr/boids/,。


【未完】

點擊左下角【閱讀原文】或者回復(fù)AI獲取更多內(nèi)容。


    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,,所有內(nèi)容均由用戶發(fā)布,,不代表本站觀點。請注意甄別內(nèi)容中的聯(lián)系方式,、誘導(dǎo)購買等信息,,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,,請點擊一鍵舉報,。
    轉(zhuǎn)藏 分享 獻花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多