近期,，雷鋒網(wǎng)醫(yī)健AI掘金志邀請(qǐng)科大訊飛醫(yī)療市場(chǎng)與解決方案部負(fù)責(zé)人劉洋，做客雷鋒網(wǎng)公開(kāi)課,，以“訊飛語(yǔ)音技術(shù)在疫情中的創(chuàng)新應(yīng)用”為題,，詳細(xì)介紹了訊飛醫(yī)療在語(yǔ)音技術(shù)在感知智能,、認(rèn)知智能層面的探索與最新成果。

后續(xù)將有更多課程上線,，添加微信公眾號(hào)  醫(yī)健AI掘金志  在公眾號(hào)聊天框回復(fù)“聽(tīng)課”,，進(jìn)群可收看本節(jié)課程視頻回放。

劉洋認(rèn)為,，AI技術(shù)的應(yīng)用才是王道,，場(chǎng)景選擇有時(shí)比技術(shù)選擇更加重要。其次,，在切入各個(gè)應(yīng)用時(shí),，要避免傳統(tǒng)的、簡(jiǎn)單粗暴的端到端解決方案,；最后,，創(chuàng)新醫(yī)學(xué)和人工智能結(jié)合的路上，應(yīng)該跳出單純的技術(shù)或者算法創(chuàng)新,。除了選擇場(chǎng)景,，選擇什么樣的數(shù)據(jù)，用什么樣的方式獲取數(shù)據(jù),，這也是構(gòu)建各種人工智能醫(yī)學(xué)應(yīng)用需要深入思考的問(wèn)題,。

在演講中，劉洋圍繞智醫(yī)助理電話機(jī)器人,、智能醫(yī)學(xué)語(yǔ)音錄入,、放從醫(yī)院隔離點(diǎn)智能管理三大方面，分享了訊飛醫(yī)療在實(shí)際應(yīng)用成果,。

以下為劉洋演講全文內(nèi)容,，醫(yī)健AI掘金志做了不改變?cè)獾木庉?/strong>

我是訊飛醫(yī)療的劉洋，感謝雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))的邀請(qǐng),，今天分享的主題是《訊飛語(yǔ)音技術(shù)在疫情中的創(chuàng)新應(yīng)用》,。在進(jìn)入正題之前，我分享一下自己對(duì)于醫(yī)療AI應(yīng)用的觀點(diǎn)：應(yīng)用才是王道,，場(chǎng)景選擇有時(shí)比技術(shù)選擇更加重要,。

其次，在切入各個(gè)應(yīng)用時(shí),，要避免傳統(tǒng)的,、簡(jiǎn)單粗暴的端到端解決方案。

深度學(xué)習(xí)在很多領(lǐng)域里都發(fā)揮了巨大效能,，例如人臉識(shí)別,、語(yǔ)音識(shí)別，但是在醫(yī)療領(lǐng)域,，可能還要更加謹(jǐn)慎,。醫(yī)學(xué)的出發(fā)點(diǎn)之一就是保障患者免受傷害,。

所以在訓(xùn)練模型，包括選擇具體的切入點(diǎn)時(shí),，一定要注意,，系統(tǒng)一定不能過(guò)于簡(jiǎn)單粗暴。否則,，市場(chǎng)會(huì)給我們非常嚴(yán)酷的教訓(xùn),。

第三，我們?cè)趧?chuàng)新醫(yī)學(xué)和人工智能結(jié)合的路上,，應(yīng)該跳出單純的技術(shù)或者算法創(chuàng)新,。除了選擇場(chǎng)景之外，選擇什么樣的數(shù)據(jù),，用什么樣的方式獲取數(shù)據(jù),，這也是構(gòu)建各種人工智能醫(yī)學(xué)應(yīng)用需要深入思考的。一些傳統(tǒng)的數(shù)據(jù)可能不適合深度學(xué)習(xí)算法,。

首先看一下,，訊飛從成立到現(xiàn)在走過(guò)的歷程。

現(xiàn)在是訊飛醫(yī)療的第4個(gè)年頭,，我們是2016年在訊飛內(nèi)部孵化的一個(gè)獨(dú)立團(tuán)隊(duì),，目前秉承著兩條技術(shù)主線。

第一條主線是圍繞訊飛的主賽道——智能語(yǔ)音層面,，主打是面向智慧醫(yī)院,、便于醫(yī)生使用的工具。

第二條主線是圍繞認(rèn)知智能層面——如何去構(gòu)建基于醫(yī)學(xué)認(rèn)知智能的輔助診斷系統(tǒng),。2017年,，我們較早地與中科大第一附院共同建設(shè)智慧醫(yī)院，將語(yǔ)音應(yīng)用到診療的各個(gè)環(huán)節(jié),，例如導(dǎo)醫(yī),、語(yǔ)音病歷還有智能隨訪。

此外,，2017年,，我們參加了國(guó)家執(zhí)業(yè)醫(yī)師考試的筆試測(cè)試，得到一個(gè)非常不錯(cuò)的成績(jī),。

基于這兩條路線，最近三年,，我們?cè)诋a(chǎn)業(yè)和應(yīng)用上不斷探索,。

2018年，我們把基于醫(yī)考的技術(shù),，嘗試在基層開(kāi)展人工智能輔助診斷應(yīng)用,，從一個(gè)社區(qū)做到一個(gè)縣,，2019年，我們已經(jīng)覆蓋了50個(gè)縣,。

截止2019年底,，在人工智能基層輔診方面，我們已在全國(guó)超過(guò)100多個(gè)區(qū)縣得到應(yīng)用,，覆蓋將近4萬(wàn)的基層醫(yī)生,。

在語(yǔ)音交互層面，我們也從早期的單點(diǎn)語(yǔ)音識(shí)別,，包括語(yǔ)音電子病歷,，慢慢向綜合的門診解決方案擴(kuò)展。

現(xiàn)在,，訊飛醫(yī)療有300多名員工,，10%的員工都是具有臨床背景的醫(yī)生，也正是在臨床和技術(shù)兩方面的儲(chǔ)備下,，我們才有今年的成績(jī),。

在醫(yī)學(xué)和人工智能結(jié)合的道路上，不能只看技術(shù),。我們一直和醫(yī)院,、主管部門還有客戶學(xué)習(xí)，也達(dá)成了很多的戰(zhàn)略合作,。

另外,，訊飛也承建了很多國(guó)家的平臺(tái)，包括唯一一個(gè)認(rèn)知智能的國(guó)家重點(diǎn)實(shí)驗(yàn)室,，也入選科技部的新一代人工智能五大創(chuàng)新平臺(tái),。

我們積極跟醫(yī)療、衛(wèi)生行業(yè)的各種協(xié)會(huì),、聯(lián)盟合作,，共同推進(jìn)人工智能在行業(yè)良性的發(fā)展。

訊飛的技術(shù)積累

我分享一下訊飛在語(yǔ)音層面的技術(shù)積累,。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展,，可能會(huì)有人認(rèn)為語(yǔ)音識(shí)別的門檻沒(méi)有以前高，實(shí)際上不完全是這樣,。

對(duì)于通用場(chǎng)景下的語(yǔ)音識(shí)別,，大家確實(shí)可以用一些開(kāi)源工具，包括一些開(kāi)源模型,，很快地構(gòu)建起來(lái),。

但是，應(yīng)用場(chǎng)景現(xiàn)在越來(lái)越復(fù)雜，客戶對(duì)于語(yǔ)音識(shí)別的要求越來(lái)越復(fù)雜,。比如如何在遠(yuǎn)場(chǎng)識(shí)別做到比較好的收音,、降低混響，以及嘈雜環(huán)境下,，如何去提高收音效果,？

這些是目前語(yǔ)音識(shí)別的主流方向，訊飛擁有十幾年的技術(shù)積累,，每年也會(huì)參加一些國(guó)際知名的語(yǔ)音識(shí)別大賽,。

可以看到訊飛對(duì)于復(fù)雜場(chǎng)景下的語(yǔ)音識(shí)別已經(jīng)做的很好。也正是因?yàn)橛羞@樣的技術(shù)積累,，我們能夠比較快地在各種應(yīng)用場(chǎng)景下快速構(gòu)建相適應(yīng)的模型,。

我也會(huì)跟大家分享一下，為什么在醫(yī)學(xué)場(chǎng)景里面,，抗干擾的能力以及遠(yuǎn)場(chǎng)識(shí)別是如此重要,。

第二個(gè)領(lǐng)域是語(yǔ)音合成，合成,，就是讓機(jī)器像人一樣發(fā)音,。如果是不追求情感，不追求自然,、連續(xù)的話,，快速構(gòu)建這樣的能力并不是很難。但在現(xiàn)在的場(chǎng)景下,，越來(lái)越要求我們能夠?qū)崿F(xiàn)很好的自然度,，還有連貫、柔和的合成效果,，讓聲音聽(tīng)起來(lái)更具情感,，技術(shù)挑戰(zhàn)非常高。

所以,，如果大家對(duì)語(yǔ)音合成感興趣,，希望大家能夠技術(shù)選擇和工程實(shí)踐時(shí)，更多去考慮怎么讓聲音更加有特色,。

現(xiàn)在,，像高德地圖里各個(gè)明星的聲音，都是訊飛利用公開(kāi)的語(yǔ)料自動(dòng)合成的,，效果已經(jīng)可以做得非常自然,。

在醫(yī)學(xué)領(lǐng)域，很多患者,、居民在聽(tīng)到語(yǔ)音服務(wù)時(shí),，也越來(lái)越要求聲音更加個(gè)性化，而且具有關(guān)懷感。這就對(duì)語(yǔ)音合成的效果提出非常高的挑戰(zhàn),。

這是在國(guó)際知名的Blizzard Challenge比賽里面，我們也是連續(xù)14年全球的冠軍,。

除了語(yǔ)音領(lǐng)域之外,，訊飛醫(yī)療團(tuán)隊(duì)在其他一些醫(yī)學(xué)領(lǐng)域的AI技術(shù)積累上，也一直保持領(lǐng)先的的狀態(tài),，包括每年也會(huì)參加一些國(guó)際上知名的公開(kāi)數(shù)據(jù)集測(cè)試,，包括像LUNA、IDRiD,，也包括像肝臟分割等等,。

最后一部門，也是比較難的領(lǐng)域——認(rèn)知智能的突破,。

前段時(shí)間,，獲得圖靈獎(jiǎng)的LeCun，還有英特爾幾位大咖,，他們都表示,，人工智能的未來(lái)，一定屬于實(shí)現(xiàn)認(rèn)知智能突破的機(jī)構(gòu)和團(tuán)隊(duì),。訊飛很早加入這個(gè)領(lǐng)域,，在自然語(yǔ)言理解、認(rèn)知智能推理等領(lǐng)域,，我們都有非常強(qiáng)的技術(shù)積累,。

我覺(jué)得，認(rèn)知智能在醫(yī)學(xué)中的應(yīng)用,，有非常好的應(yīng)用前景,。醫(yī)生進(jìn)行臨床學(xué)習(xí)時(shí)，要通過(guò)大量閱讀醫(yī)學(xué)文獻(xiàn),，這給機(jī)器在知識(shí)圖譜構(gòu)建,，還有自然語(yǔ)言理解的基礎(chǔ)上帶來(lái)挑戰(zhàn)。如果有一些突破的話,，對(duì)于構(gòu)建輔助醫(yī)生工作的虛擬助手,，是一個(gè)非常好的技術(shù)積累。

基于上述的技術(shù)積累,，我們才有可能在2017年通過(guò)這項(xiàng)考試,。這件事對(duì)我們最大的幫助是，讓我們看到人工智能在很多領(lǐng)域的巨大作用,。

但是,，我們依然認(rèn)為，現(xiàn)有的人工智能還處于弱人工智能狀態(tài)。

當(dāng)然,，這次醫(yī)考也給了我們非常強(qiáng)的信心：基于現(xiàn)有的NLP技術(shù),，我們有可能去打造一個(gè)具備全科醫(yī)生潛質(zhì)的AI系統(tǒng)。

訊飛醫(yī)療在構(gòu)建產(chǎn)品時(shí)的一個(gè)基本思路是,，通過(guò)人機(jī)耦合的方式,，一方面讓機(jī)器承擔(dān)更多的事務(wù)性工作，讓醫(yī)生把更多的時(shí)間留給需要人文關(guān)懷和專業(yè)知識(shí)的患者,；

另一方面,，我們讓機(jī)器去學(xué)習(xí)、沉淀臨床專家的知識(shí),，通過(guò)可計(jì)算的方法,，去賦能基層醫(yī)生。

因?yàn)榻裉斓闹黝}是訊飛醫(yī)療語(yǔ)音在醫(yī)學(xué),，尤其是在疫情防控中的一些應(yīng)用,，所以我選了三個(gè)題。

過(guò)去4年,，我們?cè)卺t(yī)學(xué)語(yǔ)音交互與臨床結(jié)合過(guò)程中,，曾經(jīng)探索過(guò)非常多的方向，有些方向沉淀下來(lái),，還有一些方向,，我們認(rèn)為可能是一些偽需求，或者是技術(shù)上還不可達(dá)的需求,。

第一個(gè),，電話機(jī)器人。電話機(jī)器人可以歸類到聊天機(jī)器人,，從業(yè)務(wù)邏輯上看,，電話機(jī)器人并不難，無(wú)非就是有一個(gè)人工智能的后臺(tái),，可以自動(dòng)響應(yīng)居民,、客戶的問(wèn)題。

如果是基于這樣一個(gè)命題,，我們?nèi)?gòu)建模型,，很大概率會(huì)因?yàn)樗阉骺臻g的“爆炸”導(dǎo)致產(chǎn)品或者算法的不可解。

如果想把這個(gè)產(chǎn)品真正給居民服務(wù)的話,，需要把這個(gè)題降維：

第一,，先從呼出做起，不要考慮很復(fù)雜的呼入場(chǎng)景,，因?yàn)楹羧雸?chǎng)景的問(wèn)題非常開(kāi)放,。對(duì)于開(kāi)放場(chǎng)景的聊天機(jī)器人來(lái)說(shuō),，Siri或者是Cortana做的都不是特別好，最后有可能會(huì)答非所問(wèn),。如果在醫(yī)療場(chǎng)景下進(jìn)行這樣的嘗試,，很可能會(huì)誤導(dǎo)我們的患者。

所以,，重新定義這個(gè)問(wèn)題非常重要,。

所以，我們做的第一個(gè)降維就是把“呼入”這個(gè)場(chǎng)景優(yōu)化掉,。因?yàn)椤昂舫觥笨梢宰寵C(jī)器人去主導(dǎo)聊天，讓人類去做機(jī)械式響應(yīng),。這樣可以把問(wèn)題的復(fù)雜度降到系統(tǒng),、算法、資源可達(dá)的程度,。

第二,、呼出覆蓋哪一種場(chǎng)景？是做一個(gè)通用型的呼出,，還是基于決策樹(shù)的細(xì)分場(chǎng)景呼出,，我們要考慮到哪些場(chǎng)景能夠真正可行。

第二,，居民在聽(tīng)的時(shí)候,，不會(huì)輕易地掛斷電話，所以我會(huì)結(jié)合這兩個(gè)問(wèn)題,，帶大家看一看,，訊飛是如何進(jìn)行選擇的。

按照目前的實(shí)驗(yàn)方法,，我們?cè)O(shè)計(jì)了一套大概能夠覆蓋80%業(yè)務(wù)的話術(shù),。醫(yī)生在選擇外呼服務(wù)之前，是通過(guò)話術(shù)模板來(lái)定義一個(gè)或n個(gè)推廣方案,，然后選擇被隨訪的人群,，剩下的事情由機(jī)器進(jìn)行自動(dòng)化地執(zhí)行和并發(fā)執(zhí)行，這也是我之前提到的人機(jī)耦合的方式,。

人做人類擅長(zhǎng)的部分,，機(jī)器做機(jī)器擅長(zhǎng)的部分，實(shí)現(xiàn)好用的同時(shí),，進(jìn)而實(shí)現(xiàn)商業(yè)轉(zhuǎn)化,。

講一講在電話機(jī)器人這個(gè)領(lǐng)域里，我們需要關(guān)注的技術(shù),。

第一,、語(yǔ)音合成,。我之前提到，如果想做到好用,，這里面,，那么語(yǔ)言合成要盡可能自然、生動(dòng),，這里可以用很多方法,，可以用TTS的方法，然后調(diào)優(yōu),，也可以用錄音拼接的方式,。我覺(jué)得這都不是絕對(duì)的，關(guān)鍵是看你最終要做成的產(chǎn)品,，它所面對(duì)的場(chǎng)景是什么,？

比如說(shuō)一個(gè)簡(jiǎn)單的通知，你沒(méi)有必要用TTS的方法去做,，因?yàn)橛锌赡茏匀欢炔桓?。如果是需要多輪?duì)話、自定義字段比較多的話,，用拼接方法可能就不經(jīng)濟(jì),。那么，應(yīng)該考慮選擇一個(gè)比較合適的TTS模型進(jìn)行語(yǔ)音合成,。

第二,、需要考慮的是電話信道下的語(yǔ)音識(shí)別，考慮到成本問(wèn)題,，大家在選擇外呼電話時(shí),，優(yōu)選的話是基于 VIP的方式，但是它本身信號(hào)的采樣率會(huì)非常低,，會(huì)導(dǎo)致進(jìn)行語(yǔ)音識(shí)別的原始音頻信號(hào)是壓縮的,，可能會(huì)有大量損失。

對(duì)人來(lái)說(shuō)沒(méi)有太多的問(wèn)題,，因?yàn)槿硕呀?jīng)經(jīng)過(guò)幾萬(wàn)年進(jìn)化,，具有很強(qiáng)的容錯(cuò)能力，但是對(duì)于機(jī)器來(lái)講,，這樣一種音頻就找不到相應(yīng)的邊界,；其次，相關(guān)算法不能適應(yīng)這種高壓縮的音頻信號(hào),。

第三個(gè)就是語(yǔ)義理解,，為什么這點(diǎn)非常重要？

做一些復(fù)雜場(chǎng)景的電話交流時(shí),，要考慮上下文,。而且非常關(guān)鍵的問(wèn)題在于接聽(tīng)的居民或者患者,，對(duì)于同一個(gè)問(wèn)題的回答，會(huì)有多種表述方式,。比如問(wèn)是否去過(guò)武漢,？包括去過(guò)湖北，用戶可能會(huì)說(shuō),，好像是路過(guò)一下,。

在這些情況下，要對(duì)不同的回答具備相應(yīng)的語(yǔ)義理解能力,。所以在制定電話機(jī)器人時(shí),，對(duì)于語(yǔ)義的理解和識(shí)別，要考慮針對(duì)不同的場(chǎng)景,，如何做到高效的配置,。對(duì)于企業(yè)來(lái)說(shuō)，要考慮到每個(gè)產(chǎn)品或者模塊的研發(fā)成本的,，

第三個(gè)就是多輪對(duì)話，對(duì)于外呼場(chǎng)景來(lái)講,，這點(diǎn)可能還好,。但是我們要考慮的問(wèn)題是多輪對(duì)話的管理。此外,，在這個(gè)過(guò)程中,，如何去引導(dǎo)居民快速實(shí)現(xiàn)信息或者數(shù)據(jù)的獲取。

總結(jié)下來(lái),，如果這些技術(shù)都能實(shí)現(xiàn),，我們就能做到更好的智能交互，根據(jù)用戶的不同類型,，選擇不同的語(yǔ)音合成模型,，也包括通過(guò)認(rèn)知智能技術(shù)進(jìn)行話術(shù)、語(yǔ)義的理解,。

我也分享一點(diǎn)經(jīng)驗(yàn),。早些年我們測(cè)試時(shí)，也用過(guò)播音員的語(yǔ)音合成模型,，也用年輕或者年老的聲音,。

但是，真正在提供外呼服務(wù)時(shí),，我們給客戶更多的選擇,，可以選根據(jù)不同的采訪對(duì)象，選擇不同的聲音,。比如,，對(duì)于老年人,，采用輕快的聲音,，他可能聽(tīng)不懂,，因?yàn)槔夏耆说姆磻?yīng)跟理解能力會(huì)有欠缺,。因此,，第一,，發(fā)音要慢。其次,，受訪者會(huì)有很多反問(wèn)的場(chǎng)景,，比如他說(shuō)“沒(méi)聽(tīng)清，你再說(shuō)一遍,?！?/p>

所以，后續(xù)在設(shè)計(jì)多人對(duì)話時(shí),，要多考慮這些問(wèn)題,，這是技術(shù)層面,。解決了這些技術(shù)層面的問(wèn)題,，只是做了這件事情的第一步。從科研角度來(lái)看,，這是沒(méi)問(wèn)題的,。但是，如果把這樣的技術(shù)變成產(chǎn)品推向市場(chǎng),，還有很多問(wèn)題需要解決,。

此外，對(duì)話可能會(huì)被打斷,、可能會(huì)被掛掉,、有可能答非所問(wèn)、有可能延遲,，都有可能導(dǎo)致語(yǔ)音識(shí)別的錯(cuò)誤，使得聊天沒(méi)有更好的辦法進(jìn)行下去,，我們要從功能還有產(chǎn)品的交互設(shè)計(jì)角度去考慮。

電話機(jī)器人一旦上線，就像核武器一樣,，它是個(gè)大規(guī)模殺傷性武器。

但是,，如果你們沒(méi)有和運(yùn)營(yíng)商或者電話標(biāo)注的團(tuán)隊(duì)進(jìn)行很好的合作，那么群呼號(hào)碼可能會(huì)被標(biāo)志成一個(gè)騷擾電話,。即使你的技術(shù)做的再好、合成效果也很棒,，但是變成了一個(gè)騷擾電話，這樣依然沒(méi)辦法觸達(dá)我們的客戶,。

另外,，主管部門會(huì)考慮,，當(dāng)電話機(jī)器人具備上千次的并發(fā)量時(shí),，發(fā)布的內(nèi)容要帶有一定的責(zé)任感，尤其要避免違法違紀(jì)的信息,。還想再提的一點(diǎn)是人機(jī)協(xié)同。人機(jī)協(xié)同主要是什么,？就是說(shuō),，即使現(xiàn)在機(jī)器人的能力已經(jīng)很好，但是依然存在不能解決,、不能回答的問(wèn)題,。

怎么辦呢,？最好的方法就是增加轉(zhuǎn)人工的方式，遇到解決不了的問(wèn)題,，可以跳轉(zhuǎn)到人工,。比如說(shuō)，方言的普通話的支持,。基于我們?nèi)珖?guó)幾千萬(wàn)通的電話統(tǒng)計(jì)分析，如果機(jī)器人說(shuō)的是普通話,，接聽(tīng)人大部分也都會(huì)用普通話回答，但是很難避免帶有口音的普通話,。

這就需要你的系統(tǒng),，尤其是語(yǔ)音識(shí)別的引擎,，支持多方言場(chǎng)景下的高效識(shí)別。

下面我簡(jiǎn)單列舉一下我們之前做過(guò)的場(chǎng)景,。

這是2018年的語(yǔ)音合成模型，聲音聽(tīng)起來(lái)還是有些太正式，剛才是在基本公共衛(wèi)生隨訪的場(chǎng)景下,，大家能從實(shí)際錄音中聽(tīng)出來(lái)，患者比較配合,。

但是居民的回答情況有非常多不相關(guān)的內(nèi)容，尤其是語(yǔ)音合成越好,，這種情況就會(huì)越明顯,。我們的系統(tǒng)在識(shí)別語(yǔ)音之后要進(jìn)行結(jié)果的提取,。

這是我們從大年臘月27、28,，就開(kāi)始積極準(zhǔn)備疫情防控的電話語(yǔ)音機(jī)器人,。從1月份到疫情高發(fā)的2月底,，我們的團(tuán)隊(duì)都沒(méi)有休息,，也保障了全國(guó)將近30個(gè)省和直轄市的智能疫情防控工作,。

對(duì)于六大人群，尤其是返程人員,、居家隔離、重點(diǎn)人群等,，我們?cè)诜浅６痰臅r(shí)期內(nèi)一共上線100多套話術(shù),。

為什么上線這么多話術(shù),？這也是我前面提到的，如何去降維這個(gè)過(guò)程,。如果把所有的話術(shù)揉在一起,，耦合的太緊，產(chǎn)品的設(shè)計(jì),、算法的設(shè)計(jì)會(huì)具有非常大的風(fēng)險(xiǎn),。不同的話術(shù)，對(duì)應(yīng)的就是一個(gè)典型的應(yīng)用場(chǎng)景,。

在疫情之前,，我們也一直在做常態(tài)化的應(yīng)用,，目前,，與家庭醫(yī)生簽約、基本公共衛(wèi)生相關(guān)的一些應(yīng)用,，我們可以覆蓋80%以上,、需要人類打電話完成的工作,，我們有上百個(gè)話術(shù)模板,。這些模板也可以供基層醫(yī)生應(yīng)用。

這是我們疫情提前應(yīng)用的情況,。截止上周末的數(shù)據(jù),，我們每周都會(huì)新增近100萬(wàn)的外呼量，也可以看到最近時(shí)間輸入型疫情更多,，從地圖上能看出來(lái),。

像黑龍江、內(nèi)蒙,、新疆,，是最近這段時(shí)間疫情電話活躍的地方。我們的平臺(tái)在疫情期間承諾免費(fèi)提供給客戶,，讓機(jī)器人覆蓋更多場(chǎng)景,，幫助客戶減少簡(jiǎn)單機(jī)械的勞動(dòng)。

這個(gè)場(chǎng)景我講的時(shí)間多一點(diǎn),，這是一個(gè)非常典型,、綜合的場(chǎng)景，包含了語(yǔ)音識(shí)別,、語(yǔ)音合成、語(yǔ)義理解等多項(xiàng)技術(shù),。

現(xiàn)在,，除了臺(tái)灣省還有香港外，全國(guó)所有省份都在用我們的智能語(yǔ)音外呼服務(wù)。

智能醫(yī)學(xué)語(yǔ)音錄入

智能醫(yī)學(xué)語(yǔ)音錄入很好理解,，相當(dāng)于我們做了一個(gè)醫(yī)學(xué)版本的語(yǔ)音輸入法,。

很多研究機(jī)構(gòu)都做過(guò)相關(guān)的統(tǒng)計(jì)：醫(yī)生在職業(yè)生涯里面，有80%以上的時(shí)間是進(jìn)行醫(yī)學(xué)文書的整理和錄入工作,。丁香園也做過(guò)一些調(diào)研,，國(guó)內(nèi)的一些住院醫(yī)師每天要花4小時(shí)以上的時(shí)間寫病歷。

如何去降低醫(yī)生的工作強(qiáng)度,，提高文書的錄入質(zhì)量,，這也是擺在各級(jí)醫(yī)護(hù)人員面前的難題。

從邏輯和業(yè)務(wù)上,，這個(gè)問(wèn)題很好理解,，做一個(gè)語(yǔ)音識(shí)別就好了。但是實(shí)際上在國(guó)內(nèi)很多的地方,，發(fā)達(dá)地區(qū)或好一些,。但是在更多的情況下，全國(guó)中西部地區(qū)的很多醫(yī)院還做不到,。左邊這張圖是我們經(jīng)常遇到的就診場(chǎng)景,，這種場(chǎng)景顯而易見(jiàn)，不適合用語(yǔ)音錄入,。一是,，無(wú)法保證隱私；二是,，現(xiàn)場(chǎng)環(huán)境會(huì)有大量雜音錄入系統(tǒng),。。

我們面對(duì)的第一個(gè)問(wèn)題是,，如何降噪,，尤其在開(kāi)放環(huán)境下如何去降噪。第二個(gè)問(wèn)題,，醫(yī)學(xué)語(yǔ)音錄入只能解決轉(zhuǎn)寫的問(wèn)題,，也就是“所說(shuō)即所得”。但對(duì)于醫(yī)生來(lái)說(shuō),，他要的不是“所說(shuō)即所得”,。

例如，大家平時(shí)使用轉(zhuǎn)寫服務(wù),，會(huì)發(fā)現(xiàn)有很多廢話,，還有語(yǔ)氣詞、助詞,，這些詞不適合直接寫到專業(yè)的醫(yī)學(xué)系統(tǒng)如電子病歷里,。

這就需要我們把與診療無(wú)關(guān),、不規(guī)范的表述進(jìn)行調(diào)整。

這是我們最早做的一個(gè)場(chǎng)景,，在口腔領(lǐng)域做語(yǔ)音電子病歷,。除了過(guò)濾閑聊的內(nèi)容，系統(tǒng)還要做到醫(yī)學(xué)專業(yè)表述的自動(dòng)替換,，像一些牙位圖,、計(jì)量單位、體征數(shù)據(jù),，都要轉(zhuǎn)換成臨床醫(yī)生習(xí)慣,、符合臨床管理要求的文書。

因此,，語(yǔ)音錄入只解決了信號(hào)輸入和轉(zhuǎn)換的問(wèn)題,，真正要在臨床上有價(jià)值，還是需要做語(yǔ)義理解,。

第一步,，解決降噪的問(wèn)題。通用的方法大家都知道,，做麥克風(fēng)陣列,，再加語(yǔ)義層面上的內(nèi)容整理，我們做過(guò)很多版本,，可以提一下我們新的應(yīng)用模式：基于4G模塊的麥克風(fēng)即插即用,，不用裝任何軟件，就可以實(shí)現(xiàn)類似于醫(yī)學(xué)云的輸入,。

它可以應(yīng)用于各種場(chǎng)景,，麥克風(fēng)除了降噪，還有很強(qiáng)的指向性,，只收錄醫(yī)生的語(yǔ)音,。

軟件層面，在語(yǔ)音識(shí)別引擎里,，訊飛輸入法會(huì)把大量語(yǔ)氣詞進(jìn)行優(yōu)化,，這是一個(gè)基本的解決方法。相對(duì)復(fù)雜的模式,，基于我們的硬件和語(yǔ)音識(shí)別能力,，我們可以多往前走一步，跟具體的業(yè)務(wù)系統(tǒng)結(jié)合起來(lái),。這就是我們?cè)缙谠谧鲩T診語(yǔ)音電子病歷等事情的邏輯,。

一開(kāi)始做醫(yī)學(xué)語(yǔ)音錄入時(shí)，很多人的想法是我講的簡(jiǎn)單的端到端方式,。但是,，做到一定程度之后,，你會(huì)發(fā)現(xiàn)這種方式并不能完整解決用戶的問(wèn)題。除了病歷本身所要具備的功能之外,，這里有非常多的問(wèn)題。

例如,，語(yǔ)音識(shí)別出來(lái)的結(jié)果,，怎么達(dá)到電子病歷規(guī)范的管理要求。這里面有一個(gè)非常明顯的例子：醫(yī)生問(wèn)患者,，還有什么地方不舒服嗎,？

患者會(huì)說(shuō)一些詞不達(dá)意的話，怎么把患者的語(yǔ)言從醫(yī)生聲音里面剔出去,。其次,，怎么能夠把醫(yī)生錄入的信息自動(dòng)匹配到電子病歷的具體位置上，比如哪些話應(yīng)該錄在主訴的位置,，哪些話錄入檢驗(yàn),、檢查，而且匹配到具體的位置,，這需要與業(yè)務(wù)系統(tǒng)進(jìn)行深度融合,。

大家可能會(huì)想到一種方式，做接口就好了,，這是一種方法,。但是對(duì)于第三方的廠商，做電子病歷比較厲害的,，像嘉和還有其他大廠,，他們的版本不容易為你的語(yǔ)音識(shí)別進(jìn)行定制化改造。

因此,，雖然你可以給他提供相應(yīng)的API和接口,，但是他們獲取到的也只是前面提到的轉(zhuǎn)寫數(shù)據(jù)，對(duì)于這些廠商來(lái)講,，需要一個(gè)翻譯的過(guò)程,，就是把轉(zhuǎn)寫的東西匹配到具體位置，再上傳到電子病歷的具體位置,。

基于我的經(jīng)驗(yàn)來(lái)看,，很多廠商做的并不是特別好。因此,，就需要考慮自己做一套更適合語(yǔ)音的電子病歷,。

當(dāng)你去基于我們的某種技術(shù)去解決一個(gè)具體的應(yīng)用場(chǎng)景，一定要考慮,，符合人工智能應(yīng)用的數(shù)據(jù)如何整理,、采集,、呈現(xiàn)？

為什么我們會(huì)做一個(gè)相對(duì)完整版的語(yǔ)音電子病歷,？因?yàn)樽R(shí)別之后,，怎么把這些信息上傳到病歷里，這里有非常多的細(xì)節(jié),，需要我們?cè)趹?yīng)用過(guò)程中打磨,。

這是另外一個(gè)場(chǎng)景，把語(yǔ)音識(shí)別匹配到一個(gè)超聲報(bào)告的具體位置上,。例如,，產(chǎn)科醫(yī)生在檢查時(shí)，并不會(huì)按照?qǐng)?bào)告模板上的位置來(lái)寫,，他可能先看到胎心,，也會(huì)先寫羊水深度。

因此,，我們就要自動(dòng)去匹配相關(guān)的位置,，然后填到相應(yīng)的模板里去。

前面講了通用場(chǎng)景下的語(yǔ)音識(shí)別和轉(zhuǎn)寫,，包括把語(yǔ)音識(shí)別轉(zhuǎn)寫的結(jié)果和一些具體的應(yīng)用系統(tǒng)融合的解決方案,。這次疫情期間，我們也給一線醫(yī)生帶來(lái)一些簡(jiǎn)便的應(yīng)用,，幫助他們減少醫(yī)學(xué)文書工作,。

左邊是在武漢的某一家方艙醫(yī)院應(yīng)用場(chǎng)景，右邊是湖北另一家醫(yī)院影像科醫(yī)生寫報(bào)告的場(chǎng)景,。

方艙醫(yī)院隔離點(diǎn)智能管理

基于我們的移動(dòng)醫(yī)生護(hù)理系統(tǒng),，我們做了一個(gè)輕量版的應(yīng)用，幫助各級(jí)方艙醫(yī)院的醫(yī)生去進(jìn)行更好的管理,。

患者從醫(yī)院出院之后,，要到方艙醫(yī)院隔離14天，如果檢測(cè)結(jié)果呈陰性,，還要回到家中再康復(fù)14天,。按照疫情管理的規(guī)范，臨床醫(yī)生需要從頭到尾管理患者的健康,。

這就給醫(yī)護(hù)人員帶來(lái)非常多的工作量,，每天需要去看一下患者在家隔離的數(shù)據(jù)?；谶@樣的場(chǎng)景,，我們拿相對(duì)成熟的云醫(yī)生的移動(dòng)醫(yī)護(hù)助理，然后改成一個(gè)康復(fù)智能護(hù)航系統(tǒng)，主要就是為了解決移動(dòng)查房,，包括患者體征數(shù)據(jù)手機(jī)和健康宣教,。

目前，這個(gè)產(chǎn)品覆蓋湖北全省17個(gè)地市,，539個(gè)隔離監(jiān)測(cè)點(diǎn),。醫(yī)生要給居民下達(dá)一些健康處方、醫(yī)囑,，可以用語(yǔ)音的方式錄入,。患者上報(bào)體征,，也可以用語(yǔ)音錄入。

最后提兩個(gè)其他應(yīng)用,，一個(gè)是在全國(guó)近百個(gè)區(qū)縣做的基于醫(yī)學(xué)認(rèn)知的基層全科CDSS系統(tǒng),，這也是訊飛醫(yī)療非常重要的一個(gè)方向，我們堅(jiān)信人工智能具備全科醫(yī)生的潛質(zhì),，對(duì)于國(guó)家醫(yī)改,、提升全民健康素養(yǎng)是非常重要的。

這次疫情中,，我們也發(fā)現(xiàn)很多基層醫(yī)療機(jī)構(gòu),，因?yàn)槿狈Ρ匾臋z查工具，也缺乏新冠肺炎臨床診療指南的能力,。除了沖在一線的醫(yī)生,，基層的醫(yī)療力量沒(méi)有最大化。

在疫情爆發(fā)前,，我們的智醫(yī)助理就按照臨床指南上線了這種新冠肺炎的診斷模型,，讓幾百名醫(yī)生具備早期篩查新冠肺炎的能力。

除了提高診斷的合理率之外,，還可以從源頭上去規(guī)范電子病歷,，提高臨床數(shù)據(jù)質(zhì)量。

這是我們醫(yī)學(xué)多模態(tài)和多場(chǎng)景下的語(yǔ)音工具在全國(guó)的應(yīng)用情況,。目前北,、上、廣還有浙江一些頂級(jí)醫(yī)院在應(yīng)用,，也非常歡迎大家通過(guò)我們這個(gè)平臺(tái),，一起去為客戶打造更好的醫(yī)療AI應(yīng)用。

這就是今天我分享的主要內(nèi)容,，謝謝大家,。雷鋒網(wǎng)