大腦經(jīng)常模糊各種感官——這是營銷人員在食品包裝設計中經(jīng)常利用的一個特質,，而人工智能似乎也有這種特質,。

一個粉紅色的球體會是什么味道？“長相思白葡萄酒”聽起來味道如何,？

這些問題聽起來可能很荒謬,，但大量文獻告訴我們，人類大腦自然會將各種感官體驗融合在一起,。

我們可能沒有意識到這種現(xiàn)象,，但我們會將不同的顏色,、形狀和聲音與不同的味道聯(lián)系起來，從而微妙地塑造我們的感知體驗,。例如,，我們喝酒時使用的玻璃杯的顏色，酒吧播放的背景音樂,，都能決定我們所感受到的葡萄酒甜度和麝香味程度,。

挪威商學院的卡洛斯·韋拉斯科解釋說：“這種感官之間的交叉對話幾乎一直在持續(xù)發(fā)生?！痹跇O端情況下,，對于一些人來說，這種交叉對話可能會表現(xiàn)為模糊的感官體驗,，比如單詞可能會觸發(fā)特定的味道,，或者音樂會產(chǎn)生五彩斑斕的聯(lián)想——這被稱為聯(lián)覺。

雖然認為你可以“品嘗”顏色或聲音的想法似乎足夠荒謬,，但韋拉斯科的最新研究表明,，生成式人工智能系統(tǒng)也可能做到這一點。與所有的人工智能算法一樣,，這很大程度上反映了它們所訓練的數(shù)據(jù)中存在的偏見,，因此它們可能只是突出了這類聯(lián)想有多么普遍。韋拉斯科和他的同事們希望利用這一現(xiàn)象來探尋其他影響人類感官的方法,。

首先,，我們來解釋一下術語?？茖W家使用“感官模態(tài)”一詞來描述身體用來編碼信息的方式——例如我們的味蕾,、鼓膜、視網(wǎng)膜或皮膚中的“觸覺小體”,。因此,，我們把在不同感官之間形成的聯(lián)系被稱為“跨模態(tài)對應”。

20世紀70年代首次針對這種“跨模態(tài)對應”現(xiàn)象進行了實驗,，研究表明,，紅色和粉紅色與甜味相關聯(lián)，黃色或綠色與酸味相關聯(lián),，白色與咸味相關聯(lián),，棕色或黑色與苦味相關聯(lián)。自那以后,，研究人員使用多種實驗方法多次復現(xiàn)了這種情況,。 

研究人員可能會讓參與者對抽象問題做出主觀判斷，如：“在1到10的范圍內,，10表示最甜,，紅色有多甜,？”從中可以看出，平均而言,，每種顏色在不同文化中都有大量人共享的獨特味道特征,。該實驗是由中國清華大學的王小安教授主導的一項多國合作研究項目，在中國,、印度和馬來西亞的參與者中發(fā)現(xiàn)了類似的跨模態(tài)對應,。 

或者，研究人員可能會給參與者提供多種顏色的同一種食物或飲料,，并要求他們判斷每種的味道,。例如，日本早稻田大學的埃里科·杉森和彌生川上發(fā)現(xiàn),，當苦巧克力被包裝在粉紅色的包裝里而不是黑色的包裝里時,，它的味道會明顯更甜。 

食物的形狀也會產(chǎn)生類似的效果,。我們傾向于將更圓的形狀與甜味聯(lián)系起來,，而將更尖的形狀視為更酸或更苦——這會對人們對食物的感知產(chǎn)生連鎖反應。我們吃東西時不僅用舌頭,，還用眼睛,。 

這些通感的起源仍然是一個有爭議的問題。牛津大學跨模態(tài)研究實驗室負責人查爾斯·斯賓塞說：“目前最穩(wěn)妥的假設是我們基因上就學會了所有這些通感,?！薄八鼈兛梢员灰暈榄h(huán)境統(tǒng)計數(shù)據(jù)的內化。在自然界中,，水果從綠色（酸味）變?yōu)楦t、更暖的色調（甜味）,。如果我們祖先已內化了這些統(tǒng)計數(shù)據(jù),，將紅色調與甜味聯(lián)系起來，我們就會知道爬哪棵樹能摘到維持我們生命的水果,?！?/p>

形狀與味道之間的聯(lián)系更難解釋?！?span style="color: rgb(61, 170, 214);">這可能是與刺激相關或與刺激觸發(fā)的情緒相關,，”斯賓塞說道，“例如,，我們可能會將甜味與愉悅聯(lián)系起來,，并且我們更喜歡圓形，因為與尖銳的形狀相比,，圓形更不容易傷害我們,。因此,，通過這種間接的聯(lián)系，我們開始將甜味與曲線聯(lián)系起來,。相比之下,，苦味物質更可能是有毒的——因此我們可能會將它們與同樣更有可能對身體造成傷害的尖銳形狀聯(lián)系起來?！?/p>

人工智能的迅速崛起激勵著維拉斯科,、斯賓塞以及他們在東京大學的同事木戶浩介去研究基于人類數(shù)據(jù)訓練的生成式人工智能（AI）是否會報告相同的通感。他們要求由AI驅動的聊天機器人ChatGPT回答之前給人類參與者提出的同樣類型的提示,。例如： 

“你在多大程度上將圓形與甜,、酸、咸,、苦和鮮味聯(lián)系起來,？請在1（完全不）到7（非常）的7點量表上回答這個問題?！?span style="letter-spacing: 1.3px;"> 

以及.....“在列出的11種顏色（黑色,、藍色、棕色,、綠色,、灰色、橙色,、粉色,、紫色、紅色,、白色,、黃色）中，你認為哪種顏色與甜味最相配,？” 

研究人員用英文,、西班牙文和日文進行了數(shù)百次聊天，并對其結果進行了平均取值,，發(fā)現(xiàn)AI確實復現(xiàn)了人類參與者的情況——盡管他們使用的AI版本之間存在一些差異,。 

總體而言，ChatGPT-4o比ChatGPT-3.5更可靠地反映了人類的聯(lián)想,?！斑@些差異可能源于模型架構的差異，例如ChatGPT-4o中參數(shù)數(shù)量的增加,，以及更大且更多樣化的訓練集,，”木戶說道。

出于好奇，我決定研究谷歌的Gemini等其他大型語言模型（LLM）是否也能反映我們的感官聯(lián)想,。當我問它哪種顏色最甜時,，它回答道：“許多人將粉色與甜味聯(lián)系起來，這可能是因為粉色與棉花糖和泡泡糖等含糖零食相關,?！彼€提到綠色代表酸味，白色代表咸味,，黑色代表苦味,。 

這種匹配似乎幾乎不可思議——但就在回答的中途，Gemini向我指出了斯賓塞之前關于這些跨模態(tài)聯(lián)想的一篇研究論文,，這表明它是直接從科學文獻中得出了這一回答,。 

斯賓塞在我們的談話中提到了這種可能性?！拌b于我們對大型語言模型的測試是基于已知且已發(fā)表在文獻中的內容,，也許它只是在反饋它所閱讀的內容，”他說道,。 

在未來,，他希望研究生成式AI是否能對其他尚未在科學文獻中記載的跨模態(tài)關系生成對應假設，然后在人類受試者身上對這些假設進行復現(xiàn),。 

“你可以潛在地使用大型語言模型和生成式AI來發(fā)現(xiàn)你感興趣的任何維度的完美對應關系,，”他說道。這種方法有助于產(chǎn)品或包裝利用我們大腦通感,，從而使得我們更容易購買一些產(chǎn)品,。

當然，也存在一些警告,。AI有時會“產(chǎn)生幻覺”——也就是說,，對問題作出誤導性的回答。即使它們的回答是可靠的,，也可能缺乏人類大腦中的微妙或獨特之處,，而這些獨特之處可能會為一些設計增添興奮感或趣味性。有時,，你可能希望僅僅利用感官品質之間的直觀聯(lián)系,，而不必完全復制它們,。 

因此,，維拉斯科說，AI識別的任何跨模態(tài)對應關系都需要與人類創(chuàng)造力相結合,?！斑@是靈感，而不是確定的解決方案,?！?/p>

編譯：你喜歡嗎