摘要

現(xiàn)有的RGB-D顯著性對象檢測(SOD)模型需要大量的計算和內存消耗才能準確檢測顯著性對象。這限制了這些RGB-D SOD模型的實際應用,。為了解決這一問題,，本文提出了一種新型的輕量級RGB-D SOD模型。不同于現(xiàn)有大多數(shù)模型通常采用雙流或單流結構,，作者提出采用中層融合結構設計輕型RGB-D SOD模型,，由于中層融合結構可以同時利用雙流結構的模態(tài)共享信息和模態(tài)特定信息，并且可以顯著降低單流結構的網絡參數(shù),。在此基礎上,，設計了一種新型的信息感知多模態(tài)特征融合模塊，以有效地捕獲交叉模態(tài)互補信息,。然后,，設計了一種輕量級特征級和決策級特征融合(LFDF)模塊，以更少的參數(shù)聚集不同階段的特征級和決策級顯著性信息,。在中層融合結構中加入了IMFF和LFDF模塊,，該模型只有3.9M參數(shù)，運行速度為33幀/秒。在多個基準數(shù)據(jù)集上的實驗結果驗證了該方法的有效性和優(yōu)越性,。

這項工作的主要貢獻如下:

(1)通過對中級特征融合的回顧,，提出了一種輕型RGB-D SOD模型，該模型效率高,、精度好,、模型尺寸小，有助于SOD的實際應用,。

(2)設計了一種新的信息感知多模態(tài)特征融合(IMFF)模塊,，利用RGB圖像和深度圖像中所有的區(qū)分性顯著性信息。與大多數(shù)現(xiàn)有模型采用簡單的融合策略(例如,，串聯(lián)和元素級加)不同,，作者提出的IMFF模塊根據(jù)多模態(tài)特征所包含的信息量進行融合。

(3)提出了一種輕量級的特征級和決策級特征融合(LFDF)模塊,，以更少的參數(shù)有效地聚合不同階段的特征級和決策級顯著性信息,，實現(xiàn)更好的顯著性預測。

框架結構

大多數(shù)現(xiàn)有RGB-D SOD方法的架構,。(a)二束結構,。(b)及(c)單流結構。(d)作者提出的模型的中層融合結構,。

提出的輕量級RGB-D SOD模型的框架,。

作者提出的IMFF模塊的架構。

實驗結果

由不同模型生成的顯著性地圖的可視化,。

結論

在本文中,，作者提出了第一個基于中層融合結構的輕量級RGB-D SOD模型。通過重新訪問中層融合結構,，該模型顯著降低了網絡參數(shù),。此外，本文提出的IMFF模塊利用RGB和深度圖像中不同局部區(qū)域的信息量,，可以有效地捕獲參數(shù)較少的交叉模態(tài)互補信息,。同時，所提出的LFDF模塊通過特征層和決策層信息的交叉層聯(lián)合融合,，可以有效提取交叉層的互補信息,。基于中層融合結構,，該模型只有3.9M參數(shù),，運行速度為33幀/秒。此外,，在多個基準上的實驗結果表明,，本文提出的IMFF和LFDF模塊可以在一定程度上彌補由于減小參數(shù)引起的性能下降,。