作者：陳童

翻譯：方爽

來源： 戰(zhàn)略前沿技術(shù)

概要：一直以來，互動(dòng)都是困擾著優(yōu)化利用電腦的一個(gè)問題,。

1. 引 言

一直以來,，互動(dòng)都是困擾著優(yōu)化利用電腦的一個(gè)問題。人類與計(jì)算機(jī)交互所使用的方法也由來已久,。但探索仍在繼續(xù),，新的設(shè)計(jì)的技術(shù)系統(tǒng)日益更新升級(jí)，過去的幾十年中這一領(lǐng)域的研究一直快速增長(zhǎng)著,。在人機(jī)交互(HCI)領(lǐng)域中的成長(zhǎng)不僅僅體現(xiàn)在互動(dòng)質(zhì)量的提高,，在它的成長(zhǎng)史中也開辟了不同的分支。不同的研究分支有異于設(shè)計(jì)常規(guī)互動(dòng),，而是更多的關(guān)注多峰性而不是單峰性,、關(guān)注智能自適應(yīng)互動(dòng)而不是基于命令/行動(dòng)的互動(dòng)，最終呈現(xiàn)的是主動(dòng)而不是被動(dòng)的互動(dòng)。本文旨在提供一個(gè)人機(jī)交互系統(tǒng)發(fā)展現(xiàn)狀的概述,，涵蓋上文提及的重要研究分支的研究現(xiàn)狀,。第二節(jié)將介紹人機(jī)交互的基本的定義和術(shù)語(yǔ)，概述現(xiàn)有的技術(shù)和該領(lǐng)域的最新進(jìn)展,，隨后將描述人機(jī)交互設(shè)計(jì)中不同架構(gòu),。最后一部分將介紹一些人機(jī)交互的應(yīng)用及其未來發(fā)展方向。

2.人機(jī)交互：定義,，術(shù)語(yǔ)

人機(jī)交互有時(shí)稱為人與機(jī)器的互動(dòng),。人機(jī)交互的概念自然代表著計(jì)算機(jī)、或更普遍來說的機(jī)器自身的興起,。事實(shí)上,原因很清楚:最復(fù)雜的機(jī)器是毫無價(jià)值的,除非他們可以被人類使用得當(dāng),。這個(gè)基本的爭(zhēng)論代表著在設(shè)計(jì)人機(jī)交互時(shí)應(yīng)考慮的主要的術(shù)語(yǔ):功能性和可用性[1]。

為什么一個(gè)真正被設(shè)計(jì)出來的系統(tǒng)可以由這個(gè)系統(tǒng)的功能來最終定義,？例如,，系統(tǒng)的功能性可以怎樣幫助達(dá)成系統(tǒng)的目的？一個(gè)系統(tǒng)的功能可以由它提供給用戶一系列操作與服務(wù)來界定,。當(dāng)然,功能性的價(jià)值只有在它被用戶有效利用時(shí)才是可見的[2],。可用性是一個(gè)帶有某些功能的系統(tǒng)可以可以被其用戶有效利用和充分實(shí)現(xiàn)特定目標(biāo)的范圍和程度,。功能性和可用性適當(dāng)?shù)钠胶馐且粋€(gè)系統(tǒng)獲得真正有效性的必要條件[3],。

 當(dāng)頭腦中有這些概念時(shí)再考慮到計(jì)算機(jī)、機(jī)器和系統(tǒng)這些在文章中通?？梢曰Q使用的術(shù)語(yǔ)時(shí),人機(jī)交互是應(yīng)該是一個(gè)使用戶,、機(jī)器和所需的服務(wù)之間產(chǎn)生配合的設(shè)計(jì)，以在服務(wù)的質(zhì)量和最優(yōu)性能上達(dá)到一個(gè)特定的效果[4],。確定什么因素使一個(gè)一定的人機(jī)交互設(shè)計(jì)得好基本上是主觀的,、由實(shí)際情況決定的。例如,一架飛機(jī)零件設(shè)計(jì)工具應(yīng)該在視圖和設(shè)計(jì)上提供高的精度,，而圖形編輯軟件可能不需要這樣的精度,。目前擁有的技術(shù)還可以影響用于相同目的但類型不同的人機(jī)交互設(shè)計(jì)。一個(gè)很好的例子是使用命令,菜單,圖形用戶界面(GUI),或虛擬現(xiàn)實(shí)來訪問任何指定計(jì)算機(jī)的某種功能,。在下一節(jié)中將更加詳細(xì)地概述用于與計(jì)算機(jī)進(jìn)行交互現(xiàn)有的方法與設(shè)備,，以及該領(lǐng)域的最新進(jìn)展,。

 3.人機(jī)交互概述

人機(jī)交互在過去十年中取得了巨大進(jìn)步,，幾乎使人們無法識(shí)別哪些概念是虛幻的,，哪些概念不是虛幻的，甚至是可以成為現(xiàn)實(shí)的,。研究中的推力和營(yíng)銷手段的不斷變化促使新技術(shù)可以及時(shí)提供給人們使,。然而,并不是所有的現(xiàn)有技術(shù)都可以被公眾接觸到或是負(fù)擔(dān)得起。在該節(jié)的第一部分將概述一些或多或少是可以被公眾使用的技術(shù),。第二部分將呈現(xiàn)人機(jī)交互研究前景,。

3.1現(xiàn)有的人機(jī)交互技術(shù)

人機(jī)交互設(shè)計(jì)應(yīng)該考慮人類行為和需要的許多方面，來確保其有用性,。與簡(jiǎn)單的交互方法本身相比,，人類參與機(jī)器交互程度的復(fù)雜性有時(shí)是隱形的。現(xiàn)有的互動(dòng)復(fù)雜程度的不同不僅是因?yàn)楣δ芑蚩捎眯猿潭炔煌?，也與機(jī)器在市場(chǎng)金融,、經(jīng)濟(jì)方面的影響有關(guān)。例如,一個(gè)電水壺不需要復(fù)雜的互動(dòng),，它的功能僅僅是燒水,，除了一個(gè)開關(guān)外，多余的互動(dòng)功能都不劃算,。然而,一個(gè)簡(jiǎn)單的網(wǎng)站,，在功能上可能有限，但為了吸引并留住顧客其可用性應(yīng)是足夠復(fù)雜的[1],。

因此,在人機(jī)交互的設(shè)計(jì)中,，活動(dòng)程度應(yīng)該被充分考慮，哪怕只有一個(gè)用戶與一臺(tái)機(jī)器機(jī)器,。用戶活躍度有三個(gè)不同的層次:物理層面[5],認(rèn)知層面[6]和情感層面[7],。物理層面決定了人類和計(jì)算機(jī)力學(xué)相互作用；在認(rèn)知層面解決用戶了解系統(tǒng)并與之交互的問題,。情感層面是最近新提出的一個(gè)問題,，它不僅試圖使互動(dòng)成為愉悅的用戶體驗(yàn)，也會(huì)通過改變用戶的態(tài)度和情感來讓用戶繼續(xù)使用這臺(tái)機(jī)器[1],。

本文的重點(diǎn)主要集中在物理層面交互的發(fā)展,，并展示不同的交互方法是如何組合的(多模式交互)，探討每個(gè)方法如何提高表現(xiàn)(智能交互)從而為用戶提供一個(gè)更好界面?，F(xiàn)有的人機(jī)交互物理技術(shù)基本上可以根據(jù)設(shè)備基于不同人類感覺設(shè)計(jì),，分類。這些設(shè)備是主要依靠三個(gè)人類感官:視覺,、聽覺和觸覺,。[1]。

依靠視覺的輸入設(shè)備是最常用的類型,，通?；陂_關(guān)或者指向裝置[8][9]。這個(gè)基于開關(guān)的設(shè)備可以是任何類型的接口，可以像使用鍵盤一樣使用的按鈕和開關(guān)[10],。指向設(shè)備有很多,，如鼠標(biāo)、操縱桿,、觸摸屏面板,、圖形平板電腦、軌跡球和觸控輸入筆等[11],。操縱桿是指那些有開關(guān)和指示能力的,。而輸出設(shè)備可以是任何類型的視覺顯示或打印設(shè)備[3]。

依靠聽覺的設(shè)備更為先進(jìn),，通常需要某種類型的語(yǔ)音識(shí)別[12],。這些設(shè)備旨在促進(jìn)盡可能多的交互,，因此也更難以建立[13]。然而,，聽覺輸出設(shè)備更容易創(chuàng)建,。如今,由機(jī)器產(chǎn)生的各種非語(yǔ)音[14]和語(yǔ)音信號(hào)和消息都被視為輸出信號(hào)。嗶嗶聲,、警報(bào)以及GPS設(shè)備逐向道路導(dǎo)航命令都是簡(jiǎn)單的示例,。

最困難和最昂貴的是構(gòu)建觸覺裝置[15]?！斑@種類型的界面通過觸摸,、重量和相對(duì)剛度[1]生成皮膚和肌肉的感覺?！坝|覺裝置[16]通常生產(chǎn)用于虛擬現(xiàn)實(shí)[17]或殘疾輔助[18],。

人機(jī)交互最新的方法和技術(shù)在正試圖整合原交互方法，并與其他先進(jìn)技術(shù)結(jié)合，如網(wǎng)絡(luò)和動(dòng)畫,。這些新進(jìn)展可分為三個(gè)部分:可穿戴設(shè)備[19],，無線設(shè)備[20]和虛擬設(shè)備[21]。技術(shù)的發(fā)展如此之快,，以至這些新技術(shù)之間的界限逐漸消失,，日益混合。這些設(shè)備的一些例子包括:GPS導(dǎo)航系統(tǒng)[22],，軍事報(bào)國(guó)加強(qiáng)設(shè)備(如熱視覺[23],、跟蹤其他士兵運(yùn)動(dòng)使用的GPS、環(huán)境掃描),，無線電頻率識(shí)別(RFID)產(chǎn)品,、個(gè)人數(shù)字助理(PDA)、房地產(chǎn)虛擬旅游業(yè)務(wù)[24],。其中一些新設(shè)備升級(jí)整合了之前的交互方法,。康柏的iPAQ提出的一個(gè)鍵盤解決方案可作為個(gè)案演示,，被稱為Canesta鍵盤,，如圖1。這是一個(gè)虛擬鍵盤,，將鍵盤字母用紅色的光投射在固體表面上,。設(shè)備通過傳感器追蹤用戶在固體表面上打字的手指運(yùn)動(dòng)，并發(fā)送對(duì)應(yīng)按鍵到設(shè)備中[25],。

3.2在HCI的研究進(jìn)展

在以下部分中,將介紹人機(jī)交互最近的研究方向和進(jìn)展,，即智能與自適應(yīng)交互和無處不在的計(jì)算。這些交互包括不同級(jí)別的用戶活動(dòng):身體,、認(rèn)知和情感,。

3.2.1智能和自適應(yīng)人機(jī)交互

廣大公眾所使用的設(shè)備雖然仍然是某種的純命令/動(dòng)作設(shè)置，而不是復(fù)雜的物理設(shè)備,，我們的研究將是針對(duì)智能與自適應(yīng)交互接口設(shè)計(jì),。我們還不不知道有關(guān)智能理論的確切概念，然而我們可以通過在市場(chǎng)上的新設(shè)備的功能性和實(shí)用性來定義這些概念正如前面提到過的,它是重要的經(jīng)濟(jì)和技術(shù),提供了更方便的人機(jī)交互設(shè)計(jì),更愉快的和令人滿意的用戶體驗(yàn),。為了實(shí)現(xiàn)這個(gè)目標(biāo),接口也越來越自然,便于每天使用,。進(jìn)化的接口在筆記工具是一個(gè)很好的例子,。第一次有打字機(jī),然后鍵盤和觸摸屏平板電腦現(xiàn)在,你可以用自己的筆跡進(jìn)行書寫，機(jī)器進(jìn)行識(shí)別,，甚至你可以進(jìn)行語(yǔ)音輸入,，由機(jī)器進(jìn)行識(shí)別，而不需再用手書寫,。新一代接口的一個(gè)重要的因素是區(qū)分智能方式,，界面和用戶交互，智能人機(jī)交互設(shè)計(jì)界面,將至少?gòu)哪撤N智能感知響應(yīng)用戶,。一個(gè)例子是使得說話人使用自然的語(yǔ)言來與用戶和設(shè)備進(jìn)行交流,。明確的對(duì)用戶進(jìn)行視覺跟蹤并進(jìn)行相應(yīng)的回應(yīng)。另一方面,自適應(yīng)人機(jī)交互的設(shè)計(jì),可能不會(huì)使用智能接口的創(chuàng)建,但使用它的方式繼續(xù)與用戶的互動(dòng)[33],。一個(gè)自適應(yīng)人機(jī)交互可能是一個(gè)網(wǎng)站使用GUI銷售各種產(chǎn)品,。這個(gè)網(wǎng)站將是自適應(yīng)——某種程度上——如果它有能力識(shí)別用戶,并保持一個(gè)他的搜索，購(gòu)買記錄查,，并建議它認(rèn)為用戶可能需要銷售的產(chǎn)品,。大多數(shù)的這些類型的適應(yīng)活動(dòng)是那些處理認(rèn)知與情感水平的用戶活動(dòng)[1]。另一個(gè)例子,，它使用的智能與自適應(yīng)接口是具有手寫識(shí)別能力的,，它可以適應(yīng)手寫PDA或平板電腦登錄的用戶，它擁有的字跡識(shí)別和修正能力來記住用戶的文本,。最后,，另一個(gè)要考慮的有關(guān)智能接口的因素是大多數(shù)非智能人機(jī)交互設(shè)計(jì)在本質(zhì)上是被動(dòng)的，即它們只在用戶調(diào)用時(shí)候響應(yīng),，而最終的智能和適應(yīng)性的接口往往是積極的接口,。這個(gè)例子是根據(jù)用戶的口味提出自己的智能廣告牌或廣告。在接下來的部分,，將組合不同的人機(jī)交互方法和并將如何能有助于智能自適應(yīng)自然界面的方法進(jìn)行討論,。

3.2.2無處不在的計(jì)算和環(huán)境智能

在人機(jī)交互領(lǐng)域的最新研究成果，是無處不在的普適計(jì)算（普適計(jì)算）,。這個(gè)術(shù)語(yǔ)經(jīng)?；Q使用環(huán)境智能和普適計(jì)算，是指人機(jī)交互的最終方法是刪除在環(huán)境中的計(jì)算機(jī)的桌面和嵌入,，使之成為無形的,，而他們周圍無處不在。普適計(jì)算的想法最初是由馬克·韋澤在1998年他在施樂PARC計(jì)算機(jī)科學(xué)實(shí)驗(yàn)室擔(dān)任首席技術(shù)專家時(shí)候提出的,。他的想法是,，將世界各地的計(jì)算機(jī)和日常物品進(jìn)行連接，人們可以同時(shí)將環(huán)境和物品進(jìn)行無線溝通,。普適計(jì)算也被命名為計(jì)算的第三次浪潮,。第一波是大型機(jī)時(shí)代,，很多人一臺(tái)電腦。然后是第二次浪潮,，一人一臺(tái)電腦被稱為個(gè)人電腦時(shí)代?，F(xiàn)在的普適計(jì)算引入了多臺(tái)計(jì)算機(jī)，成為一個(gè)人的時(shí)代[27],。圖2示出了計(jì)算的主要趨勢(shì)。

4人機(jī)交互系統(tǒng)架構(gòu)

人機(jī)交互設(shè)計(jì)的最重要的因素是它的配置,。事實(shí)上,，任何給定的接口通常是由它提供的輸入和輸出的數(shù)量和多樣性定義的。人機(jī)交互系統(tǒng)的體系結(jié)構(gòu)顯示這些輸入和輸出是什么,，以及他們?nèi)绾我黄鸸ぷ?。以下各?jié)介紹基于不同的配置和設(shè)計(jì)的接口。

4.1單峰人機(jī)交互系統(tǒng)

正如前面提到的,一個(gè)接口主要依靠它輸入和輸出設(shè)備的數(shù)量和多樣性,，這種渠道讓用戶可以通過此接口與計(jì)算機(jī)進(jìn)行交互,。每一個(gè)不同的獨(dú)立的單通道稱為方式 [36]。一個(gè)系統(tǒng),是基于只有一個(gè)形態(tài)叫做單峰,?；诓煌问降男再|(zhì),可以分為三個(gè)類別:

4.1.1基于視覺
4.1.2基于音頻
4.1.3基于傳感器

接下來的小節(jié)描述每個(gè)類別，每個(gè)方式,，并提供實(shí)例和參考,。

4.1.1基于視覺的人機(jī)交互

基于視覺的人機(jī)交互研究可能是該領(lǐng)域中最普遍的?？紤]應(yīng)用程序的范圍和各種開放問題和方法,研究人員試圖解決可視為視覺信號(hào)的人的不同方面的反應(yīng),。本節(jié)中的一些主要研究領(lǐng)域如下：

面部表情分析
身體運(yùn)動(dòng)跟蹤（大型）
手勢(shì)識(shí)別
凝視檢測(cè)（眼動(dòng)跟蹤）

由于應(yīng)用的不同每個(gè)地區(qū)目標(biāo)也不同，但是每個(gè)區(qū)域的普遍觀念是大體一致的,。面部表情分析一般是處理視覺情緒認(rèn)知,。這個(gè)領(lǐng)域的研究焦點(diǎn)是人體運(yùn)動(dòng)跟蹤和手勢(shì)識(shí)別，這個(gè)領(lǐng)域可以有不同的研究目的但他們大多是用于直接命令中人與計(jì)算機(jī)的互動(dòng),。目光檢測(cè)則主要是以間接形式的使用戶與機(jī)器間進(jìn)行互動(dòng),，更好地理解用戶的注意力,意圖或敏感的情況[44]。一個(gè)例外是幫助殘疾的眼跟蹤系統(tǒng),，它主要作用在命令和動(dòng)作場(chǎng)景,，如指針運(yùn)動(dòng),閃爍,點(diǎn)擊。值得注意的是,，一些研究人員試圖協(xié)助甚至取代其他類型的相互作用（音頻,，傳感器為主）與視覺方法。例如,，唇讀或唇運(yùn)動(dòng)跟蹤是已知的用于語(yǔ)音識(shí)別的糾錯(cuò)的一個(gè)有效的幫助,。

4.1.2基于音頻的人機(jī)交互

基于音頻的計(jì)算機(jī)和人之間的交互是人機(jī)交互系統(tǒng)的另一個(gè)重要領(lǐng)域,。這個(gè)領(lǐng)域處理不同的音頻信號(hào)獲得的信息。雖然音頻信號(hào)的性質(zhì)可能不可以作為視覺信號(hào),，但從音頻信號(hào)收集到的信息可以更值得信賴,，更有用，在某些情況下,，成為獨(dú)特的信息提供者,。本節(jié)中研究區(qū)域可分為以下幾部分組成：

語(yǔ)音識(shí)別
說話人識(shí)別
聽覺情感分析
人為噪聲/登錄檢測(cè)（喘氣，感嘆,，笑,，哭，等）
音樂互動(dòng)

從歷史上看,，語(yǔ)音識(shí)別和說話人識(shí)別的研究一直是主要的焦點(diǎn),。最近的努力是在人機(jī)交互分析領(lǐng)域整合人類情感。相比其他的音調(diào)和音高的語(yǔ)音數(shù)據(jù),，典型的人類聽覺的跡象,，如嘆息，驚呼等幫助的情感分析,，設(shè)計(jì)更智能化的人機(jī)交互系統(tǒng),。音樂的生成和互動(dòng)是一個(gè)人機(jī)互動(dòng)藝術(shù)領(lǐng)域非常新的應(yīng)用，它主要集中在音頻和視覺研究中,。

4.1.3基于傳感器的人機(jī)交互

本部分結(jié)合了各個(gè)領(lǐng)域的廣泛應(yīng)用,。這些不同領(lǐng)域的共性是,在人機(jī)交互中至少有一個(gè)物理傳感器。這些傳感器如下所示可以非常原始的或非常復(fù)雜,。

1筆式交互
2鼠標(biāo)和鍵盤
3操縱桿
4運(yùn)動(dòng)跟蹤傳感器和數(shù)字轉(zhuǎn)換器
5觸覺傳感器
6壓力傳感器
7味道/氣味傳感器,。

這些傳感器已經(jīng)存在了一段時(shí)間,其中的一些非常新的技術(shù)。筆式傳感器主要在移動(dòng)設(shè)備領(lǐng)域,，并且涉及到筆勢(shì)和手寫識(shí)別領(lǐng)域,。鍵盤、鼠標(biāo)和操縱桿已在3.1節(jié)討論,。更多信息參考:[8][9][10][11],。運(yùn)動(dòng)跟蹤傳感器/數(shù)字轉(zhuǎn)換器是的最先進(jìn)的技術(shù)，它徹底改變了電影,、動(dòng)畫,、藝術(shù)和游戲產(chǎn)業(yè)。他們以可穿戴布或者關(guān)節(jié)傳感器的形式出現(xiàn),，使得電腦更能與現(xiàn)實(shí)的世界進(jìn)行交互,，人們可以創(chuàng)建他們的世界。圖3描述了這樣的一個(gè)裝置，觸覺和壓力傳感器應(yīng)用在機(jī)器人和虛擬現(xiàn)實(shí)領(lǐng)域,。新的機(jī)器人包括數(shù)以百計(jì)的觸覺傳感器,使機(jī)器人敏感和有觸摸能力,，這些類型的傳感器還用于醫(yī)療手術(shù)應(yīng)用

傳感器的觸控筆專門興趣移動(dòng)設(shè)備和相關(guān)筆手勢(shì)[30]和手寫識(shí)別領(lǐng)域。鍵盤,、鼠標(biāo)和操縱桿已在3.1節(jié)討論,。更多信息參考:[8][9][10][11]。運(yùn)動(dòng)跟蹤傳感器/ digitizers是最先進(jìn)的技術(shù),徹底改變了電影,、動(dòng)畫,、藝術(shù)和游戲產(chǎn)業(yè)。他們會(huì)在形式的可穿戴布或關(guān)節(jié)傳感器,使電腦更能與現(xiàn)實(shí)和人類能夠創(chuàng)建他們的世界幾乎,。圖3描述了這樣的一個(gè)裝置,。觸覺和壓力傳感器是應(yīng)用程序的特殊利益在機(jī)器人和虛擬現(xiàn)實(shí)[15][16][18]。新的機(jī)器人包括數(shù)以百計(jì)的觸覺傳感器,使機(jī)器人敏感和知道摸[52][53],。這些類型的傳感器還用于醫(yī)療手術(shù)應(yīng)用[54],。在味覺和嗅覺傳感器研究領(lǐng)域也有一些研究工作,，但是他們并不像其他領(lǐng)域那樣風(fēng)行,。

4.2多通道人機(jī)交互系統(tǒng)

這個(gè)術(shù)語(yǔ)是指的多通道組合多個(gè)形式。在MMHCI系統(tǒng),這些形式主要是參考方法,系統(tǒng)響應(yīng)輸入,即溝通渠道[36],。這些渠道的定義是繼承自人類類型的通信,基本上是他的感官:視覺,、聽覺、觸覺,、嗅覺和味覺,。用機(jī)器進(jìn)行交互包括這些可能的類型但是不限于這些類型。因此,，通過兩個(gè)或者兩個(gè)以上是輸入模式而不是傳統(tǒng)的鍵盤和鼠標(biāo)設(shè)備,，一個(gè)多通道界面可以成為人機(jī)交互的促進(jìn)者。這些輸入設(shè)備的類型和工作模式可能相差很大,，多通道界面將整合不同組合的語(yǔ)音,、手勢(shì)、目光,、面部表情和其他非傳統(tǒng)模式的輸入,。最普遍的一種支持的輸入組合方法是手勢(shì)和語(yǔ)音[56]。雖然一個(gè)理想的多模態(tài)人機(jī)交互系統(tǒng)應(yīng)該包含單個(gè)交互的方式,，相關(guān)性的組合,，每一種模式的實(shí)際邊界和開放問題在每個(gè)形態(tài)反對(duì)限制上的融合，盡管在MMHCI上有很多進(jìn)展,，大多數(shù)現(xiàn)有的多通道系統(tǒng)應(yīng)該區(qū)分對(duì)待,，只在最后將不同的方式結(jié)合在一起。原因在于,在每個(gè)地區(qū)的開放問題尚未完善意味著仍然有工作需要完成以獲得可靠的工具,，此外,，角色的不同的方式和他們的相互作用的份額并不科學(xué),。“人兒,，人們?cè)谟枚嗤ǖ澜裣π盘?hào)傳達(dá)和交往時(shí)候,，需要分析多個(gè)不同傳感器獲得的輸入信號(hào)，信號(hào)不是獨(dú)立的,，不能在最后的時(shí)候進(jìn)行結(jié)合,，相反這些輸入數(shù)據(jù)應(yīng)該被處理在一個(gè)聯(lián)合的空間內(nèi)，在實(shí)踐中,，除了上下文的問題檢測(cè)和發(fā)展相結(jié)合的多感官信息的上下文相關(guān)模型,，人們應(yīng)該配合所需的聯(lián)合特征空間的大小。問題包括大維度,，不同的功能,，格式和時(shí)間校正。

一個(gè)有趣的方面是不同方式的合作,。例如,嘴唇運(yùn)動(dòng)跟蹤(視覺基礎(chǔ))可以幫助語(yǔ)音識(shí)別方法(音頻基礎(chǔ)),，語(yǔ)音識(shí)別方法(音頻基礎(chǔ))可以幫助命令采集在手勢(shì)識(shí)別(視覺的基礎(chǔ))。接下來的一節(jié)將顯示一些應(yīng)用智能多式聯(lián)運(yùn)系統(tǒng),。

5 應(yīng)用

一種典型的多通道系統(tǒng)是“把他放在那里”示范系統(tǒng)[57],。這個(gè)系統(tǒng)允許一個(gè)物體移動(dòng)到一個(gè)新的位置并在屏幕上的地圖說:“把東西放在那里”而指向?qū)ο蟊旧砣缓笾赶蚶硐氲哪康牡亍６嗤ǖ澜缑嬉呀?jīng)被用在許多應(yīng)用程序包括使用地圖的模擬,如上述系統(tǒng);信息亭,如AT&T的MATCHKiosk[58]和[56]生物認(rèn)證系統(tǒng),。

多通道界面相比傳統(tǒng)的交互擁有很多優(yōu)勢(shì),。首先,他們可以提供一個(gè)更自然的和用戶友好的體驗(yàn)。例如,在一個(gè)房地產(chǎn)系統(tǒng)稱為真正的獵手[24],你可以用一根手指點(diǎn)到一個(gè)房子,，來查詢房子的信息,。使用一個(gè)指向手勢(shì)選擇一個(gè)對(duì)象,并使用語(yǔ)音使查詢關(guān)于它演示了類型的自然體驗(yàn)多通道界面提供給他們的用戶。另一個(gè)關(guān)鍵的優(yōu)勢(shì)是他們有適應(yīng)不同人不同情況的能力,。例如,，MATCHKiosk的允許使用語(yǔ)音或手寫在地圖上搜索指定類型的企業(yè)。因此,，在嘈雜的環(huán)境中,，可提供通過手寫輸入，而不是語(yǔ)音,。一些其他的多通道系統(tǒng)應(yīng)用如下：

智能家居/辦公室
駕駛員狀態(tài)監(jiān)視
智能游戲
電子商務(wù)
協(xié)助殘疾人士

在下面的章節(jié)中,，一些重要的多通道系統(tǒng)的應(yīng)用將會(huì)更詳細(xì)的進(jìn)行論述。

5.1 適合殘疾人使用的多通道系統(tǒng)

好的多通道應(yīng)用程序可以解決和幫助殘疾人（如雙手殘疾的人）,，這比起普通的程序更需要其他類型的接口,。在這樣的系統(tǒng)中，殘疾用戶可以聲音和頭部運(yùn)動(dòng)來操作機(jī)器，,。圖4是這種系統(tǒng)的一個(gè)實(shí)際的例子,。使用兩種方式:言語(yǔ)和頭部動(dòng)作。這兩個(gè)形式都十分活躍,。頭部位置表示在當(dāng)前時(shí)刻的光標(biāo)在屏幕上的坐標(biāo),。在另一方面，對(duì)話提供所需的由光標(biāo)選擇的對(duì)象必須執(zhí)行的動(dòng)作的含義的信息,。

兩種模式之間的同步是通過在語(yǔ)音檢測(cè)的開始計(jì)算的光標(biāo)位置,。這主要是由于這樣的事實(shí)，在完整的句子的發(fā)音的過程中,，光標(biāo)所在位置的可移動(dòng)磁頭移動(dòng),，則光標(biāo)可以指向其他的圖形對(duì)象，而且必須要完成的命令,，該命令出現(xiàn)在在很短的時(shí)間,，然后再開始的短語(yǔ)輸入一個(gè)人的大腦。圖5顯示了本系統(tǒng)的原理圖,。
Human’s                              Markers on
speech                              human’s head

圖5：圖雙峰系統(tǒng)[65]

盡管一些減小操作速度,多通道系統(tǒng)允許不使用標(biāo)準(zhǔn)的鼠標(biāo)和鍵盤進(jìn)行操作,。因此,這種系統(tǒng)可以成功地用于控制免提PC和手部有殘疾的人士。

5.2情感識(shí)別多通道系統(tǒng)

我們的世界里,，電腦越來越普及,，它成為更加重要的機(jī)器,。它們?nèi)ジ兄徒忉屗芯€索,內(nèi)隱記憶和外顯,使我們可以向他們提供我們的意圖,，一個(gè)自然的人機(jī)交互方式，不能僅僅基于明確表示命令,。電腦將不得不在此基礎(chǔ)上,，推斷出一個(gè)人的情緒狀態(tài)檢測(cè)各種行為信號(hào)。這是一個(gè)顯著的一塊拼圖,，一個(gè)放在一起準(zhǔn)確地預(yù)測(cè)一個(gè)人的意圖和未來的行為,。人們能夠根據(jù)他們觀察一個(gè)人的臉，身體和聲音的情緒狀態(tài)做出預(yù)測(cè),。研究表明,，如果一個(gè)人獲得這些方式只有一個(gè)，面對(duì)的方式會(huì)產(chǎn)生最好的預(yù)測(cè),。當(dāng)用臉部和身體進(jìn)行預(yù)測(cè),，預(yù)測(cè)的精度就可以提高百分之三十五,。這表明,，受影響的確認(rèn)，它具有的大部分集中在面部表情,，可以大大受益于多通道融合技術(shù)。一直試圖整合不止一個(gè)形態(tài)識(shí)別影響,，其中的五官和身體姿勢(shì)的功能相結(jié)合產(chǎn)生的一個(gè)指標(biāo),。綜合臉部和身體的方式是另一個(gè)工作，作者表明,，與人類相似,，機(jī)器分類的情緒時(shí)是更基于臉部和身體的數(shù)據(jù)，而不是任何方式的單獨(dú)數(shù)據(jù),。作者試圖影響識(shí)別面部和語(yǔ)音數(shù)據(jù)融合,。再次，與人類判斷,，機(jī)器分類的情緒如中性,，悲傷，憤怒,，或開心的是最準(zhǔn)確的面部和聲音結(jié)合數(shù)據(jù),。他們記錄了四種情緒：“悲傷，憤怒,，幸福和中性狀態(tài)”,。詳細(xì)的面部運(yùn)動(dòng)數(shù)據(jù)和聲音數(shù)據(jù)相聯(lián)系，實(shí)驗(yàn)表明,，面部識(shí)別系統(tǒng)的性能,，克服了一個(gè)僅基于聲信息。結(jié)果還表明,，適當(dāng)融合兩種模式將有可衡量的改進(jìn),。結(jié)果表明，有聲信息的基礎(chǔ)上的情感識(shí)別系統(tǒng)只給70.9％的整體性能,，基于面部表情識(shí)別系統(tǒng)相比,，85％的整體性能。因此由于這樣的事實(shí),，臉頰區(qū)域研究給情感分類給出重要的信息,。另一方面，面部識(shí)別和聲學(xué)信息的基礎(chǔ)上的系統(tǒng)的雙峰融合,，這個(gè)分類系統(tǒng)的整體性能是89.1％,。

5.3使用地圖的多通道應(yīng)用程序

不同的輸入方式是適合表達(dá)不同的信息。例如,演講提供了一個(gè)簡(jiǎn)單和自然機(jī)制來表達(dá)查詢有關(guān)選擇的對(duì)象或要求對(duì)象發(fā)起一個(gè)給定的操作,。然而,演講也可能有不適合的任務(wù),如選擇一個(gè)特定的區(qū)域在屏幕上或定義出一個(gè)特定的路徑,。這些類型的任務(wù)更好的適應(yīng)用手或筆手勢(shì)。然而,使查詢關(guān)于一個(gè)給定的區(qū)域并選擇該地區(qū)都是典型的任務(wù),應(yīng)該有一個(gè)地圖界面,因此,自然的結(jié)論是,使用地圖的界面可以極大地改善用戶體驗(yàn),支持多個(gè)模式的輸入,特別是語(yǔ)音和手勢(shì),。

樹籬[70]是一個(gè)更廣泛的認(rèn)識(shí)和使用地圖的應(yīng)用程序,使用語(yǔ)音和筆手勢(shì)輸入,。樹籬是軍事訓(xùn)練的應(yīng)用程序,允許用戶使用兩者之一或兩者同時(shí)形式來表達(dá)一個(gè)完整的命令,。。例如,，用戶可以簡(jiǎn)單地繪制出一個(gè)預(yù)定義的符號(hào)排在一個(gè)給定的位置在地圖上創(chuàng)建一個(gè)新的排在該位置用鋼筆,。或者,用戶可以使用語(yǔ)音來指定他們的目的在建立一個(gè)新的坐標(biāo),可以指定用聲音的坐標(biāo)位置,。最后,用戶可以用聲音表達(dá)他們的意圖,。在一個(gè)新的位置用鋼筆進(jìn)行手勢(shì)指定，一個(gè)更新的多通道地圖應(yīng)用程序是真正的獵手,。這是一個(gè)房地產(chǎn)接口,，用戶同時(shí)使用語(yǔ)音查詢觸摸輸入選擇對(duì)象或地區(qū)。例如,，用戶可以問：“這個(gè)多少錢,？”一邊指著地圖上的房子。導(dǎo)游是另一種基于地圖應(yīng)用程序,，它受益與多通道交互技術(shù)已經(jīng)顯示出了巨大的潛力,。這樣的一個(gè)例子是MATCHKiosk[58],交互式城市指南。在類似的方式來快速設(shè)置,，MATCHKiosk允許一個(gè)僅使用語(yǔ)音來表達(dá)一定的查詢,，如“在華盛頓找出我的印度餐館” 使用筆輸入寫出“餐館”;使用雙向輸入說“印度餐館在這個(gè)區(qū)”,在亞歷山大畫一個(gè)圈。這些例子說明MATCHKiosk公司手寫識(shí)別,可以經(jīng)常代替語(yǔ)音輸入,。雖然對(duì)于一個(gè)用戶演講可能是更自然的選擇,但是在嘈雜的環(huán)境中,有書法作為備份可以減少用戶受挫,。

5.4多通道人機(jī)交互應(yīng)用

類似于一些使用地圖界面,人機(jī)接口通常必須提供一種機(jī)制來指向特定的位置和表達(dá)操作發(fā)起請(qǐng)求。正如前面所討論的,前者類型的交互是伴隨而至的手勢(shì),而后者是通過演講更好地適應(yīng),。因此,人機(jī)界面建立海軍研究實(shí)驗(yàn)室(NRL)應(yīng)該是意料之中的[71],。海軍研究實(shí)驗(yàn)室的接口允許用戶指向一個(gè)位置而說“走過去”。此外,它允許用戶使用PDA屏幕作為第三可能的交互,，這可能是使出語(yǔ)音或手勢(shì)識(shí)別失敗時(shí),。另一種多通道人機(jī)界面是一個(gè)互動(dòng)系統(tǒng)實(shí)驗(yàn)室建造的(ISL)[72],它允許使用語(yǔ)音請(qǐng)求機(jī)器人做一些手勢(shì)可以用來指向?qū)ο蟮囊醚葜v,。這樣的一個(gè)例子是要求機(jī)器人,“開關(guān)燈”,而指向燈,。此外,在ISL的接口,系統(tǒng)可能會(huì)要求當(dāng)用戶當(dāng)不確定輸入時(shí)候進(jìn)行澄清。例如,如果沒有手勢(shì)是公認(rèn)的,是指向一個(gè)光,系統(tǒng)可能會(huì)要求用戶:“哪個(gè)光?

5.5 在醫(yī)學(xué)中的多通道人機(jī)交互

20世紀(jì)80年代早期,，外科醫(yī)生開始靠傳統(tǒng)方法以達(dá)到自己的極限,。人的手不能實(shí)行的許多任務(wù)，需要更大的放大倍率和小工具,。需要更高的精度,，定位和操縱人體的敏感部位。數(shù)字機(jī)器人由于其快速的改進(jìn),，計(jì)算機(jī)科技和神經(jīng)成像技術(shù)已經(jīng)成為街機(jī)這些局限性的領(lǐng)先解決方案,。機(jī)器人手術(shù)被引入到手術(shù)區(qū)[73],。

州立大學(xué),卡爾斯魯厄大學(xué)(德國(guó))和哈佛醫(yī)學(xué)院(美國(guó))一直致力于開發(fā)人機(jī)界面,自適應(yīng)機(jī)器人和多代理技術(shù)用于神經(jīng)外科手術(shù)[54]。神經(jīng)外科手術(shù)機(jī)器人由以下主要組件：臂,，反饋的視覺傳感器,，控制器，定位系統(tǒng)和一個(gè)數(shù)據(jù)處理中心,。傳感器為外科醫(yī)生提供反饋從手術(shù)部位的實(shí)時(shí)成像,，其中后者更新與新的指令的機(jī)器人的控制器，通過使用計(jì)算機(jī)接口和一些操縱桿,。

神經(jīng)外科手術(shù)機(jī)器人提供手術(shù)規(guī)模要小得多,，具有更高的準(zhǔn)確度和精密度。

6.結(jié)論

人機(jī)交互的重要組成部分,是系統(tǒng)設(shè)計(jì),。系統(tǒng)的質(zhì)量取決于它是如何表示和用戶使用,。因此,大量的已經(jīng)注意到更好的人機(jī)交互設(shè)計(jì)。新的研究方向是取代普通的常規(guī)方法,，是更為交互與智能,自適應(yīng),多通道,、自然的方法。環(huán)境智能或普適計(jì)算稱為第三波正試圖嵌入到環(huán)境的技術(shù),以使它同時(shí)成為更自然的和無形的技術(shù),。虛擬現(xiàn)實(shí)也是一個(gè)推進(jìn)人機(jī)交互領(lǐng)域的重要部分,。本文試圖對(duì)這些問題作一概述,并提供一個(gè)現(xiàn)有的調(diào)查研究，做一個(gè)全面的參考資料列表,。