|
本文介紹了汽車之家團(tuán)隊(duì)在ICCV 2019一篇關(guān)于視頻理解論文相關(guān)的工作。針對(duì)視頻多標(biāo)簽分類的問題,，論文提出了將視頻多標(biāo)簽之間相關(guān)性特征加入到網(wǎng)絡(luò)之中,，結(jié)果證明該方法可以顯著的提高視頻多標(biāo)簽分類效果。 作者 | 王磊
來源｜AI 科技評(píng)論 隨著視頻應(yīng)用的不斷普及,，視頻內(nèi)容理解與分析成為計(jì)算機(jī)視覺領(lǐng)域的一個(gè)熱門研究方向,。2017年，Google開源了其大規(guī)模視頻內(nèi)容數(shù)據(jù)集Youtube8M,，鼓勵(lì)研究者通過該數(shù)據(jù)集利用深度學(xué)習(xí)技術(shù)進(jìn)行視頻理解的研究,。
最新的Youtube-8M數(shù)據(jù)集包括兩部分，第一部分為video-level（視頻層級(jí)）的標(biāo)注,，該部分總計(jì)包含610萬個(gè)已標(biāo)注的視頻,，3862個(gè)分類，平均每個(gè)視頻標(biāo)注了3個(gè)標(biāo)簽,；第二部分為segment-level（視頻片段標(biāo)注）,，該部分挑選了1000個(gè)分類，對(duì)視頻中隨機(jī)抽取的5秒片段進(jìn)行標(biāo)注,，該部分總共有23.7萬個(gè)標(biāo)注數(shù)據(jù),；值得注意的是，segment-level的數(shù)據(jù)標(biāo)注僅標(biāo)注了抽取的5秒視頻片段是否屬于某一特定標(biāo)簽,，并沒有標(biāo)識(shí)該視頻片段的所有標(biāo)簽,。近年來，視頻理解成為計(jì)算機(jī)視覺領(lǐng)域的一個(gè)熱點(diǎn)方向,。相比較圖像內(nèi)容,，視頻內(nèi)容更為復(fù)雜多樣，因此對(duì)于視頻內(nèi)容而言,，單個(gè)標(biāo)簽很難完整的表征視頻的內(nèi)容,，對(duì)于視頻內(nèi)容理解分析大多為多標(biāo)簽的分類問題。
在視頻標(biāo)簽中,，很多標(biāo)簽之間會(huì)有一定的相關(guān)性并成對(duì)出現(xiàn),；如圖一所示（標(biāo)簽從Youtube8M數(shù)據(jù)集中選?。?dāng)寶馬（BMW）,、發(fā)動(dòng)機(jī)（Engine）的標(biāo)簽出現(xiàn)時(shí),，汽車（Car）的標(biāo)簽大概率也會(huì)出現(xiàn)；但是當(dāng)汽車的標(biāo)簽出現(xiàn)時(shí),，寶馬標(biāo)簽出現(xiàn)的可能性則非常低,。通過對(duì)Youtube8M數(shù)據(jù)集的部分標(biāo)簽數(shù)據(jù)進(jìn)行分析，可以得到一個(gè)圖來表征各個(gè)標(biāo)簽之間的關(guān)系,，如圖二所示。圖二中每個(gè)不同顏色的節(jié)點(diǎn)代表一個(gè)獨(dú)立的標(biāo)簽類別,，不同節(jié)點(diǎn)之間的連線代表著兩個(gè)節(jié)點(diǎn)之間是否有相關(guān)性,，節(jié)點(diǎn)之間連線上的數(shù)值則代表了不同的標(biāo)簽之間聯(lián)系的緊密程度，數(shù)值越大,，則聯(lián)系越高,；沒有聯(lián)系的節(jié)點(diǎn)之間則不會(huì)有線連接。通過對(duì)視頻的多標(biāo)簽之間的相關(guān)性進(jìn)行建模分析,，并通過圖神經(jīng)網(wǎng)絡(luò)將標(biāo)簽類別映射為對(duì)應(yīng)類別分類器加入到最終的視頻多標(biāo)簽分類網(wǎng)絡(luò)之中,，可以提升整體模型的學(xué)習(xí)分類能力。圖2.標(biāo)簽相關(guān)性Wighted-Graph表示圖卷積神經(jīng)網(wǎng)絡(luò)（Graph Convolutional Network） 如何有效獲取目標(biāo)標(biāo)簽之間的相關(guān)性,？如何利用這些標(biāo)簽相關(guān)性提升網(wǎng)絡(luò)的特征學(xué)習(xí)以及分類表現(xiàn),？這是視頻多標(biāo)簽分類的兩個(gè)重要問題。由于圖的特點(diǎn)可以很好的表征各個(gè)標(biāo)簽之間的相互依賴性,，因此我們選擇基于圖神經(jīng)網(wǎng)絡(luò)進(jìn)行建模學(xué)習(xí),，并用于最終視頻分類網(wǎng)絡(luò)中。一個(gè)圖神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖三所示：圖3.圖神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)Input輸入有兩個(gè),，一個(gè)為特征描述矩陣H（n*d）,，另一個(gè)為相關(guān)系數(shù)矩陣A（n*n），其中n為節(jié)點(diǎn)個(gè)數(shù),，即所有標(biāo)簽的個(gè)數(shù),，d為特征的維度，特征維度根據(jù)采用的CNN結(jié)構(gòu)決定,。相關(guān)系數(shù)矩陣是GCN網(wǎng)絡(luò)中表征標(biāo)簽關(guān)系的一個(gè)矩陣,，因此如何構(gòu)建相關(guān)系數(shù)矩陣 A 就成了GCN 模型中一個(gè)非常重要的問題。由于Youtube8M數(shù)據(jù)集有超過600萬的video-level的視頻標(biāo)注數(shù)據(jù),，因此我們可以通過挖掘標(biāo)簽在數(shù)據(jù)集中的共現(xiàn)情況來初始化相關(guān)系數(shù)矩陣A,。 為標(biāo)簽i在數(shù)據(jù)中出現(xiàn)的次數(shù)， 為標(biāo)簽i和標(biāo)簽j兩個(gè)標(biāo)簽一起出現(xiàn)的概率,，兩者相除便可以得到不同標(biāo)簽之間的條件概率矩陣P,。考慮到標(biāo)注數(shù)據(jù)中可能存在不準(zhǔn)確的情況以及標(biāo)簽在訓(xùn)練和測(cè)試集中共現(xiàn)的次數(shù)可能會(huì)相差比較大，因此我們?cè)O(shè)置了一個(gè)閾值剔除相關(guān)性比較弱的噪聲的影響。對(duì)于上面得到的矩陣P,，只有其值大于某特定值（論文中為0.5）的時(shí)候才會(huì)考慮,，否則矩陣中這兩個(gè)標(biāo)簽的相關(guān)度會(huì)設(shè)置為0,因此優(yōu)化后的條件概率矩陣如下所示：Hidden Layer用來學(xué)習(xí)節(jié)點(diǎn)之間的相關(guān)信息并更新節(jié)點(diǎn)表示，每一個(gè)Hidden Layer都可以用一個(gè)非線性函數(shù)表示：Hidden Layer可以有多層,，堆疊多個(gè) GCN 層來對(duì)節(jié)點(diǎn)之間交織的復(fù)雜關(guān)系進(jìn)行建模,。在本論文中Hidden Layer為兩層，通過訓(xùn)練學(xué)習(xí)便可以得到優(yōu)化后的表征標(biāo)簽相關(guān)性的矩陣Output,，并用于幫助視頻標(biāo)簽分類最終的完整網(wǎng)絡(luò)結(jié)構(gòu)如圖四所示,，我們使用InceptionV3來提取輸入視頻的特征；NeXtVLAD網(wǎng)絡(luò)是第二屆Youtube8M比賽單模型冠軍網(wǎng)絡(luò),，該網(wǎng)絡(luò)可以很好的視頻的多維度特征進(jìn)行聚合,，并且在降低特征維度的同時(shí)還能很好的保證模型性能；在網(wǎng)絡(luò)的下半部分,，我們用一個(gè)雙層的GCN網(wǎng)絡(luò)來幫助進(jìn)行最后的視頻標(biāo)簽分類,。最終的對(duì)比實(shí)驗(yàn)中，加入GCN后的視頻多標(biāo)簽分類網(wǎng)絡(luò)MAP（Mean-Average-Precision）提高了接近一個(gè)百分點(diǎn),，GCN網(wǎng)絡(luò)的加入顯著性顯著的提高了視頻多標(biāo)簽的分類能力,；也證明了對(duì)于多標(biāo)簽分類任務(wù)，通過研究多標(biāo)簽之間的相關(guān)依賴關(guān)系提升網(wǎng)絡(luò)分類能力是一個(gè)很好的方向,。
圖四.整體網(wǎng)絡(luò)結(jié)構(gòu)視頻理解與分析是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)熱門問題,，針對(duì)視頻的特征提取以及特征聚合全世界的研究已經(jīng)做了大量的工作。本文提出了從多標(biāo)簽相關(guān)性的視角來提升視頻的多標(biāo)簽分類能力并進(jìn)行了有效的實(shí)驗(yàn)驗(yàn)證,。通過對(duì)視頻的圖像特征,、時(shí)序特征、標(biāo)簽相關(guān)性特征進(jìn)行融合的分類網(wǎng)絡(luò)可以很好的增強(qiáng)神經(jīng)網(wǎng)絡(luò)的視頻理解能力,。
|
