2020年8月7日-9日，第五屆CCF-GAIR全球人工智能與機(jī)器人峰會(huì)于上周五正式在深圳開(kāi)幕,。

CCF-GAIR 2020將延續(xù)過(guò)去的強(qiáng)大陣容,，在新基建機(jī)遇下，CCF-GAIR 2020 設(shè)立了 15 個(gè)主題專場(chǎng),。

在工業(yè)互聯(lián)網(wǎng)專場(chǎng),，騰訊云副總裁趙建春發(fā)表了題為《騰訊云人工智能在工業(yè)互聯(lián)網(wǎng)領(lǐng)域的實(shí)踐》的主題演講。

以下為演講實(shí)錄：

各位朋友大家下午好,，非常榮幸能夠在這里和大家分享一下騰訊云人工智能在工業(yè)互聯(lián)網(wǎng)領(lǐng)域的案例和實(shí)踐,。

人工智能的概念是在1956年提出來(lái)的，到現(xiàn)在已經(jīng)有60多年的歷史,，期間經(jīng)歷過(guò)幾次的高潮和低谷,，最近20年可以說(shuō)是人工智能快速發(fā)展的20年，主要是受互聯(lián)網(wǎng),、移動(dòng)互聯(lián)網(wǎng)的需求驅(qū)動(dòng),，尤其是移動(dòng)互聯(lián)網(wǎng)。人工智能在消費(fèi)互聯(lián)網(wǎng)里面積累了豐富的經(jīng)驗(yàn),，現(xiàn)在開(kāi)始走入到產(chǎn)業(yè)互聯(lián)網(wǎng)和工業(yè)里面來(lái)了,。騰訊今年正好是22年，比較完整經(jīng)歷了互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)的年代,，在內(nèi)部也積累了非常多的人工智能的經(jīng)驗(yàn),，同時(shí)，形成了騰訊AI Lab,、騰訊優(yōu)圖,、微信人工智能實(shí)驗(yàn)室，現(xiàn)在也依托騰訊云把這些實(shí)驗(yàn)室積累的人工智能的能力向產(chǎn)業(yè)界進(jìn)行輸出,。尤其是優(yōu)圖實(shí)驗(yàn)室,，因?yàn)樗`屬于云與智慧產(chǎn)業(yè)事業(yè)群，它更是這個(gè)能力輸出的排頭兵。

由于咱們論壇是工業(yè)互聯(lián)網(wǎng)論壇,，我介紹一下騰訊云工業(yè)產(chǎn)品的整體架構(gòu),，在底層是大家熟悉的IaaS平臺(tái)、物聯(lián)網(wǎng)平臺(tái)和5G的基礎(chǔ)能力,。之上是四大基座：大數(shù)據(jù)基座,、工業(yè)業(yè)務(wù)基座、工業(yè)營(yíng)銷基座和工業(yè)智能基座,。往上是支撐服務(wù)生態(tài)的產(chǎn)品和生態(tài),，包括工業(yè)生態(tài)能力、行業(yè)定制,，生態(tài)集成，去共同支撐為區(qū)域企業(yè)提供數(shù)字化解決方案的平臺(tái),，目前在全國(guó)落地了8家,。還有項(xiàng)目牽引和基座做的泛工業(yè)解決方案。

再看看工業(yè)智能基座,，底層也是我們的基礎(chǔ)云,，之上是基礎(chǔ)服務(wù)產(chǎn)品、大數(shù)據(jù)能力,、AI能力,、引擎、計(jì)算機(jī)語(yǔ)言識(shí)別,、自然語(yǔ)言處理,。往上做應(yīng)用服務(wù)產(chǎn)品，包括騰訊云人工智能服務(wù)平臺(tái),、智能對(duì)話平臺(tái),、數(shù)據(jù)資產(chǎn)管理平臺(tái)等等。向上會(huì)做各種單向的應(yīng)用,，比如說(shuō)人臉核身,、文字識(shí)別、人臉識(shí)別和圖像識(shí)別等,。更上面是行業(yè)解決方案,，比如說(shuō)智慧工業(yè)、智慧交通等等,。

基于這些能力,，在過(guò)去幾年騰訊云嘗試非常多的工業(yè)領(lǐng)域的AI應(yīng)用，有很多的收獲,，也有不少的教訓(xùn),，最大的感受是落地工業(yè)AI是挑戰(zhàn)和機(jī)遇并存的，大家可以看一下，就不一一念了,，如果大家做這個(gè)領(lǐng)域的事情時(shí)就會(huì)有同樣的感觸,，大家可以看一下是不是有同樣的感觸，現(xiàn)在給大家介紹一些騰訊在工業(yè)AI領(lǐng)域的實(shí)踐具體案例,。

首先來(lái)看一下我們和合作伙伴給華星光電做的ADC自動(dòng)缺陷檢測(cè)項(xiàng)目,，這個(gè)項(xiàng)目的背景是這樣的，華星光電是深圳建市以來(lái),，單筆投資最大的工業(yè)項(xiàng)目,，達(dá)到443億的投資，我們需要在7×24小時(shí)的不停擺產(chǎn)線中嵌入AI系統(tǒng)運(yùn)行,，這個(gè)系統(tǒng)是不能停擺的,，否則會(huì)造成比較大的經(jīng)濟(jì)損失。產(chǎn)線在每個(gè)工序之后,，需要對(duì)生產(chǎn)出來(lái)的基板進(jìn)行顯微拍照和分類,，分類之后進(jìn)行修復(fù)和丟棄。如果是有殘次的面板,，進(jìn)入下一個(gè)環(huán)節(jié),，產(chǎn)生成品的時(shí)候，殘次品就會(huì)造成更大的經(jīng)濟(jì)損失,。之前質(zhì)量檢測(cè)是人工進(jìn)行的,，每個(gè)工人每天要檢測(cè)超過(guò)1萬(wàn)張照片，而且是小黑屋看電腦,，很枯燥,，檢測(cè)面臨著人力需求大、培訓(xùn)上崗周期長(zhǎng)（2-3個(gè)月）,，離職率達(dá)到20-30%,。人員準(zhǔn)確率會(huì)受經(jīng)驗(yàn)影響和誤判的可能性。

華星光電從立項(xiàng)到真正交付使用達(dá)到可靠的標(biāo)準(zhǔn),，經(jīng)過(guò)了比較長(zhǎng)的時(shí)間,，并不像想象中那么順利，前后經(jīng)過(guò)了一年多的時(shí)間,。之所以這樣,，是我們的工程師需要對(duì)這個(gè)領(lǐng)域的知識(shí)和缺陷進(jìn)行學(xué)習(xí)和理解；工廠需要給我們提供大量的樣本數(shù)據(jù),，并且工人用的額外時(shí)間對(duì)樣品進(jìn)行打標(biāo)和分類,，花了很多的時(shí)間，經(jīng)過(guò)很多次的交互,；圖片處理也不像之前想象的用深度學(xué)習(xí)分類一下就好,，主要還是分類的樣本很少,、分類不足、部分分類少,、分類不準(zhǔn)的問(wèn)題,。實(shí)際環(huán)境還有圖片傾斜、尺寸偏差,、顏色偏差的問(wèn)題,，這些問(wèn)題之下，需要進(jìn)行缺陷的定位,，然后對(duì)缺陷進(jìn)行分類,，分類的同時(shí)還要判斷缺陷對(duì)液晶面板造成的金屬相交和斷線的問(wèn)題，這些都是因?yàn)橐诤诵南到y(tǒng)里面嵌入自動(dòng)化的系統(tǒng)替代人工,。

整體的方案就是如此,，電路板因?yàn)楸Ｃ艿囊蛩刂唤亓撕苄〔糠帧Ｖ饕蚣苁沁@樣,，圖片先做傾斜校正,、尺寸、顏色校正,、再用深學(xué)習(xí)分類，同時(shí),，通過(guò)金屬切片的模板摳圖來(lái)做電路板的相交和電路分析,。首先是縮放校正和尺寸校正，前面的圖可以看出有大量的水平或垂直線,，先用LDS篩選長(zhǎng)線段做傾斜角度的估計(jì)然后進(jìn)行傾斜的校正,，校正完之后會(huì)再檢測(cè)長(zhǎng)水平線和豎直水平線，并對(duì)水平和垂直方向上的直線做聚合,，找出最大間距,，以此進(jìn)行判斷，然后進(jìn)行縮放的校正,。同時(shí),，由于生產(chǎn)環(huán)境和相機(jī)參數(shù)的問(wèn)題，同一個(gè)生產(chǎn)環(huán)節(jié)的照片和顏色的差異,，同時(shí),，由于時(shí)間和人力的限制，訓(xùn)練極的顏色和實(shí)際生產(chǎn)的顏色也有比較大的偏差,，在推理之前,，會(huì)對(duì)圖片進(jìn)行RGB均值聚類，之后再推送到分割網(wǎng)當(dāng)中去,。大部分圖片是黃褐色和棕色,，少量呈現(xiàn)紅色，如果把訓(xùn)練數(shù)據(jù)僅包括1和3的黃綠色圖片，生產(chǎn)環(huán)境當(dāng)中存在24這樣的總褐色圖片,，表現(xiàn)是很不理想的,。

在圖像的校正完之后，下一步就是缺陷的定位,，由于之前的樣本數(shù)量比較少,，同時(shí)存在小樣本覆蓋的問(wèn)題，所以采用了周期對(duì)比+語(yǔ)義分割+深度學(xué)習(xí)的方式,，因?yàn)槊姘宕嬖谥罅康闹貜?fù)性周期,，對(duì)于超過(guò)3個(gè)重復(fù)性周期就采用重復(fù)對(duì)比的方式，選定一個(gè)區(qū)域的像素,，比相同周期的象素過(guò)大或者是過(guò)小,，這個(gè)點(diǎn)就是缺陷點(diǎn)。這個(gè)方法好處是準(zhǔn)確性比較高,，不足是周期性比較少的區(qū)域和邊緣區(qū)域效果不太好,，對(duì)于周期性比較小、邊緣區(qū)域就采用標(biāo)準(zhǔn)語(yǔ)義分割的方式進(jìn)行象素的聚類,，之后分類,，再找到缺陷。好處是比較簡(jiǎn)單,，不足是需要大量的標(biāo)注,，標(biāo)注的區(qū)域比實(shí)際的缺陷要大，因?yàn)槿说臉?biāo)注比實(shí)際標(biāo)注大一點(diǎn),。

做完缺陷定位之后就進(jìn)行深度學(xué)習(xí)的分類,，我們可以看到深度學(xué)習(xí)網(wǎng)絡(luò)分類之后，再投射到二維鏡面,，這是分類的花瓣圖,。同時(shí)，在項(xiàng)目中,，客戶不僅關(guān)心面板上的缺陷類型,，他還關(guān)心這個(gè)缺陷對(duì)于電路造成的影響，比如說(shuō)缺陷落在金屬上,，導(dǎo)致金屬斷路,。金屬殘留落到金屬上，可能會(huì)造成金屬的短路,。所以,，我們對(duì)金屬面板摳圖模板的分析，這是金屬器件的模板,。我們用金屬殘留和線路進(jìn)行相關(guān)性的獲取,，比如說(shuō)第一個(gè)是金屬殘留,，進(jìn)行相交操作的時(shí)候，發(fā)現(xiàn)它和兩個(gè)金屬線都有交集,，這樣我們就能判斷這個(gè)金屬殘留對(duì)于電路造成的短路影響,。第二個(gè)金屬殘留和這兩條線進(jìn)行交集時(shí)，發(fā)現(xiàn)它并沒(méi)有交集,，就說(shuō)明它對(duì)電路不造成影響,。雖然有金屬殘留，但是不影響電路板的性能,。還有殘缺,，殘缺和金屬線相交之后，發(fā)現(xiàn)了斷路,，造成斷路影響,。還有一種更復(fù)雜的情況，這些金屬是成組的,，這一排是互相連接的,，有金屬落在上面不產(chǎn)生短路，但是上下兩排相交會(huì)造成短路,。

華星光電項(xiàng)目初期很多工作是獨(dú)立實(shí)現(xiàn)的,，效率比較低，最終項(xiàng)目交付之后,，總結(jié)項(xiàng)目經(jīng)驗(yàn),，打造工業(yè)平臺(tái)，封裝數(shù)據(jù),、任務(wù)管理、微服務(wù),、容器化等的服務(wù),，用可視化、拖拽式來(lái)管理,，大大提高工作效率?，F(xiàn)在模型訓(xùn)練和調(diào)優(yōu)至少提升60%的效率。項(xiàng)目上的周期也縮短到了“周”的級(jí)別,。

這個(gè)項(xiàng)目意義還是蠻重大的,，首先它是目前為止國(guó)內(nèi)最大規(guī)模的工業(yè)AI質(zhì)檢項(xiàng)目，也是首個(gè)應(yīng)用到核心工作生產(chǎn)環(huán)節(jié)的項(xiàng)目,，并不是輔助項(xiàng)目,，而是直接在核心環(huán)節(jié)的項(xiàng)目。質(zhì)檢覆蓋率超過(guò)80%,，同時(shí),，每年為客戶節(jié)省成本超千萬(wàn)元,。檢測(cè)速度比之前的人提升5-10倍，分類準(zhǔn)確率接近90%高于人工的80%,。相比人工質(zhì)檢有更高的穩(wěn)定性和擴(kuò)展性,，因?yàn)槿说漠a(chǎn)能快速提升，質(zhì)檢的工作很難跟得上,。

相比液晶面板這樣的高度自動(dòng)化的產(chǎn)線的情況,，在機(jī)械裝備業(yè)、制造業(yè),，對(duì)現(xiàn)場(chǎng)工人的依賴更加的明顯,。我們來(lái)看某大型客機(jī)公司的效率優(yōu)化項(xiàng)目。這是我們和合作伙伴一起為空客做的項(xiàng)目,，空客做客機(jī)裝配時(shí),，它有800多萬(wàn)個(gè)零件，由好多個(gè)工人裝配數(shù)月,，這個(gè)裝配不像咱之前想象的是汽車的高度自動(dòng)化的,，它也很自動(dòng)化，但是還是有大量的人工裝配過(guò)程,。我們就和合作伙伴通過(guò)分析裝配車間的攝像頭,、拍照視頻，對(duì)圖像識(shí)別技術(shù)對(duì)現(xiàn)場(chǎng)工人匿名分析,，分析非常頻繁的路徑,、路徑和裝配的貨位之間的關(guān)系進(jìn)行合理的分析。

基于人體識(shí)別和軌跡追蹤的視覺(jué)算法,，為生產(chǎn)管理和優(yōu)化提供可視化的數(shù)據(jù),，為人員提供可視化的統(tǒng)計(jì)、為工序貨位提供可靠依據(jù),，同時(shí)依靠電子圍欄,，劃定安全的生產(chǎn)區(qū)域，防止出現(xiàn)這樣的安全生產(chǎn)的問(wèn)題,。下面是人員優(yōu)化的工效可視圖,，藍(lán)色的是有效的工作時(shí)間，灰色的是無(wú)效工作時(shí)間,。如果說(shuō)把藍(lán)色的柱狀圖有明顯的提高,，其實(shí)這個(gè)裝配效率會(huì)有大大提升，同時(shí),，也會(huì)帶來(lái)很明顯的經(jīng)濟(jì)效益,。

下面是常見(jiàn)的設(shè)備維護(hù)性的項(xiàng)目，是落地的案例,。在工業(yè)里面的煉油,、煤礦焦化都是流程性的行業(yè),，單個(gè)設(shè)備、核心設(shè)備價(jià)值很高,，同時(shí),，產(chǎn)品比較單一，需要通過(guò)大規(guī)模的生產(chǎn)來(lái)保證規(guī)?；男?yīng),，同時(shí)需要連續(xù)的生產(chǎn)來(lái)保持利潤(rùn)。如果一旦核心設(shè)備產(chǎn)生故障就會(huì)造成非常大的損失,。2011年的時(shí)候某國(guó)有煤礦企業(yè)一個(gè)齒輪機(jī)的損壞,，造成了一個(gè)月的非計(jì)劃性停產(chǎn)，導(dǎo)致5.9億產(chǎn)值的經(jīng)濟(jì)損失,。因此,，保證核心設(shè)備的健康運(yùn)行，及時(shí)發(fā)現(xiàn)故障是非常非常重要的,。

我們?yōu)槟趁旱V企業(yè)做了煤礦的皮帶機(jī)的預(yù)測(cè)性維護(hù),，通過(guò)信號(hào)采集、干草堆現(xiàn)象分析,、包絡(luò)解調(diào),、特征信號(hào)識(shí)別等手段確定軸承外圈損傷，我們給出預(yù)計(jì)剩余壽命10個(gè)月,，建議企業(yè)提前進(jìn)行采購(gòu),，這樣就避免了超億元的損失。

騰訊也打造了設(shè)備健康管理,，借助智能診斷算法可以發(fā)現(xiàn)設(shè)備早期的故障,，結(jié)合小程序助手來(lái)幫助企業(yè)從容面對(duì)故障維修。這是現(xiàn)在的小程序,，你可以進(jìn)行設(shè)備故障的監(jiān)控,，監(jiān)控出現(xiàn)異常的及時(shí)上報(bào)，在線進(jìn)行維修會(huì)簽,、審批、維修,，最終來(lái)完成閉環(huán)的流程,。

現(xiàn)在我們也支持齒輪箱、電機(jī),、振動(dòng)篩,、空壓機(jī)、煤磨,、泵,、風(fēng)機(jī),、輥壓機(jī)、液耦等等,。還有這些品類和品牌,，并不斷的擴(kuò)充當(dāng)中。

下面看能源行業(yè)知識(shí)圖譜項(xiàng)目,，能源行業(yè)數(shù)據(jù)量大,、經(jīng)驗(yàn)分散，同時(shí)基礎(chǔ)的監(jiān)控,、測(cè)量數(shù)據(jù)上報(bào)非常大量,，同時(shí)在運(yùn)維現(xiàn)場(chǎng)時(shí)，資料查詢,、異常發(fā)生相似度搜索,、輔助診斷和輔助決策一直是比較大的挑戰(zhàn)，為此我們通過(guò)結(jié)合物聯(lián)網(wǎng)進(jìn)行數(shù)據(jù)采集,、和基礎(chǔ)數(shù)據(jù)的采集,，共同打造了物聯(lián)認(rèn)知大腦，結(jié)合圖神經(jīng)網(wǎng)絡(luò),、業(yè)務(wù)算法模型來(lái)共同做設(shè)備運(yùn)行狀態(tài)的感知,。線網(wǎng)運(yùn)行風(fēng)險(xiǎn)預(yù)測(cè)、設(shè)備故障告警的判斷,、檢修自動(dòng)生成,，設(shè)備智能監(jiān)控、設(shè)備知識(shí)查詢,、智能調(diào)度和智能醫(yī)生等等,。

這個(gè)系統(tǒng)不僅僅可以能源行業(yè)應(yīng)用，只是我們先應(yīng)用在了能源行業(yè),。在電力系統(tǒng)里面我們已經(jīng)多次的進(jìn)行了應(yīng)用,，當(dāng)異常的時(shí)候，大腦可以進(jìn)行搜索,，搜索當(dāng)前的設(shè)備在歷史上的運(yùn)行狀態(tài),，可以數(shù)十倍提升診斷效率。就像醫(yī)生看病一樣,，出現(xiàn)故障時(shí),，醫(yī)生可以通過(guò)歷史上很多不能說(shuō)的經(jīng)驗(yàn)，而找到這樣的相似案例,，大大提高效率,。

下面是工業(yè)AI視覺(jué)巡檢案例，工廠的規(guī)范,，安全生產(chǎn)是制造業(yè)行業(yè)非常重要的工作,，以前是靠各種流程規(guī)范和約束,，以及人員進(jìn)行巡檢、抽檢保障,，現(xiàn)在結(jié)合AI的機(jī)器技術(shù),，通過(guò)圖像采集，對(duì)數(shù)據(jù)進(jìn)行標(biāo)注,、訓(xùn)練,、封裝，通過(guò)數(shù)據(jù)BI的展現(xiàn),，還有聯(lián)動(dòng)告警平臺(tái),，很好解決安全生產(chǎn)的問(wèn)題，并且協(xié)同實(shí)現(xiàn)聯(lián)動(dòng)告警,、聯(lián)動(dòng)人員績(jī)效考核,、聯(lián)動(dòng)應(yīng)急指揮、聯(lián)動(dòng)門禁和禁區(qū)管理等等的工作,。這個(gè)是我們聯(lián)合合作伙伴為某大型家電制造企業(yè)打造的AI視覺(jué)巡檢的項(xiàng)目,，大家可以看到工人正在施工做產(chǎn)線的工作，底下就會(huì)自動(dòng)發(fā)現(xiàn)沒(méi)有按照標(biāo)準(zhǔn)規(guī)范操作的異常操作,，及時(shí)的進(jìn)行提醒,，右邊是定義的規(guī)范操作，1234都有標(biāo)準(zhǔn)的操作,，如果沒(méi)有按照規(guī)范操作,，就會(huì)進(jìn)行相應(yīng)的聯(lián)動(dòng)處理、報(bào)警,。

由于時(shí)間的關(guān)系,，我們還做了很多和工業(yè)AI相關(guān)的嘗試沒(méi)有辦法一一向大家介紹，后面的四個(gè)項(xiàng)目也只是簡(jiǎn)單地介紹了一下,，工業(yè)領(lǐng)域的AI項(xiàng)目很多都是剛剛起步,，行業(yè)知識(shí)多且深、跨界人才少,，AI介入核心環(huán)節(jié)困難重重,，但當(dāng)我們解決一個(gè)問(wèn)題之后就像爬過(guò)一座山峰，回頭看的時(shí)候,，爬過(guò)的辛勞和困難都已經(jīng)成為過(guò)去,，不再痛苦，并且成為寶貴經(jīng)驗(yàn),。向前看的時(shí)候,，正因?yàn)槲覀兘鉀Q了具體的困難和問(wèn)題,，我們可以到新的不同的地方,，比如說(shuō)湖,、島和森林，有了更多的可能,，比如華星光電就從原來(lái)有人工中斷的過(guò)程變成更加全自動(dòng)的過(guò)程,。

因此，騰訊云也希望和您一起越過(guò)一個(gè)個(gè)山峰,，共同遇見(jiàn)更多美好和可能,。這里的您有兩個(gè)意思，一是我們希望有更多工業(yè)AI領(lǐng)域的合作伙伴和我們合作,，去一起打造垂直領(lǐng)域的人工智能解決方案,。工業(yè)領(lǐng)域的行業(yè)知識(shí)非常深，騰訊很難深入到每個(gè)行業(yè),，所以,，就需要合作伙伴和我們一起來(lái)打造這個(gè)行業(yè)的解決方案。另外,，我們希望有更多的工廠,、企業(yè)愿意把自己的生產(chǎn)環(huán)境當(dāng)中想用智能化解決的問(wèn)題交給騰訊，讓騰訊和騰訊的合作伙伴一起來(lái)解決,，幫助企業(yè)和工廠來(lái)實(shí)現(xiàn)智慧工廠,，智能制造的能力。

好,，這是我今天的分享,，謝謝大家。