高分辨率遙感影像語義分割的半監(jiān)督全卷積網(wǎng)絡(luò)法

耿艷磊^1,2, 陶超^1,2, 沈靖^1,2, 鄒崢嶸^1,2     

1. 中南大學(xué)地球科學(xué)與信息物理學(xué)院, 湖南 長(zhǎng)沙 410083;
2. 中南大學(xué)有色金屬成礦預(yù)測(cè)與地質(zhì)環(huán)境監(jiān)測(cè)教育部重點(diǎn)實(shí)驗(yàn)室, 湖南 長(zhǎng)沙 410083

收稿日期：2019-01-24,；修回日期：2019-07-11

基金項(xiàng)目：國家自然科學(xué)基金（41771458）；國家重點(diǎn)研發(fā)項(xiàng)目（2018YFB0504501）,；湖湘青年英才計(jì)劃（2018RS3012）,；湖南省國土廳國土資源科研項(xiàng)目（2017-13）；湖南省教育廳創(chuàng)新平臺(tái)開放基金項(xiàng)目（18K005）

第一作者簡(jiǎn)介：耿艷磊(1993-), 男, 碩士, 研究方向?yàn)楦叻直媛蔬b感影像智能解譯,。E-mail:[email protected]

通信作者：陶超, E-mail: [email protected]

摘要：在遙感領(lǐng)域,，利用大量的標(biāo)簽影像數(shù)據(jù)來監(jiān)督訓(xùn)練全卷積網(wǎng)絡(luò)，實(shí)現(xiàn)影像語義分割的方法會(huì)導(dǎo)致標(biāo)簽繪制成本昂貴,，而少量標(biāo)簽數(shù)據(jù)的使用會(huì)導(dǎo)致網(wǎng)絡(luò)性能下降,。針對(duì)這一問題，本文提出了一種基于半監(jiān)督全卷積網(wǎng)絡(luò)的高分辨率遙感影像語義分割方法,。通過采用一種集成預(yù)測(cè)技術(shù),，同時(shí)優(yōu)化有標(biāo)簽樣本上的標(biāo)準(zhǔn)監(jiān)督分類損失及無標(biāo)簽數(shù)據(jù)上的非監(jiān)督一致性損失，來訓(xùn)練端到端的語義分割網(wǎng)絡(luò),。為驗(yàn)證方法的有效性,，分別使用ISPRS提供的德國Vaihingen地區(qū)無人機(jī)影像數(shù)據(jù)集及國產(chǎn)高分一號(hào)衛(wèi)星影像數(shù)據(jù)進(jìn)行試驗(yàn)。試驗(yàn)結(jié)果表明,，與傳統(tǒng)方法相比,，無標(biāo)簽數(shù)據(jù)的引入可有效提升語義分割網(wǎng)絡(luò)的分類精度并可有效降低有標(biāo)簽數(shù)據(jù)過少對(duì)網(wǎng)絡(luò)學(xué)習(xí)性能的影響。

關(guān)鍵詞：遙感影像    語義分割    半監(jiān)督    全卷積網(wǎng)絡(luò)    

High-resolution remote sensing image semantic segmentation based on semi-supervised full convolution network method

GENG Yanlei^1,2, TAO Chao^1,2, SHEN Jing^1,2, ZOU Zhengrong^1,2     

1. School of Geosciences and Info-Physics, Central South University, Changsha 410083, China;
2. Key Laboratory of Metallogenic Prediction of Nonferrous Metals and Geological Environment Monitoring(Central South University), Ministry of Education, Changsha 410083, China

Foundation support: The National Natural Science Foundation of China (No. 41771458); The National Key Research and Development Program (No. 2018YFB0504501); The Young Elite Scientists Sponsorship Program by Hunan province of China (No. 2018RS3012); Land and Resource Department Scientific Research Program of Hunan Province, China (No. 2017-13); Hunan Science and Technology Department Innovation Platform Open Fund Project (No. 18K005)

First author: GENG Yanlei(1993—), male, master, majors in semantic segmentation of high resolution remote sensing images based on deep learning.E-mail:[email protected].

Corresponding author: TAO Chao, E-mail: [email protected].

Abstract: In the field of remote sensing, the method of realizing image semantic segmentation by using a large amount of label image data to supervise training full convolution network will result in expensive label drawing cost, while the use of a small amount of label data would lead to network performance degradation. To solve this problem, this paper proposes a semi-supervised full convolution network based semantic segmentation method for high resolution remote sensing images. Specifically, we explore an ensemble prediction technique to train the end-to-end semantic segmentation network by simultaneously optimizing a standard supervised classification loss on labeled samples along with an additional unsupervised consistence loss term imposed on labeled and unlabeled data. In the experiments, the image data set of Vaihingen in Germany provided by ISPRS and satellite GF-1 data were used, and the experimental results show that the proposed method can effectively improve the network performance degradation caused by using only a small amount of label data.

Key words: remote sensing image    semantic segmentation    semi-supervised    full convolution network    

隨著遙感技術(shù)的發(fā)展,，獲取到的遙感影像分辨率不斷提高,，其包含的信息也更加豐富^[1]，為更好地服務(wù)人類提供了有利條件,。影像地物提取可以應(yīng)用到災(zāi)害評(píng)估,、城市規(guī)劃等眾多方向^[2]，但人工目視解譯方法成本昂貴，且更新效率低,。如何有效地自動(dòng)提取遙感影像上不同類別地物,，是遙感應(yīng)用智能化的研究方向，它可以加快推進(jìn)數(shù)字中國,、智慧城市建設(shè)進(jìn)程,。

為實(shí)現(xiàn)自動(dòng)化遙感影像語義分割，在過去很長(zhǎng)的時(shí)間內(nèi),，許多研究工作都是根據(jù)人類對(duì)各種地物的理解認(rèn)知，設(shè)定不同的特征參數(shù),，對(duì)影像地物進(jìn)行提取,。根據(jù)一種或者多種人為歸納的地物特征對(duì)影像地物識(shí)別，如采用角點(diǎn)特征,、形狀特征,、顏色紋理梯度等單一特征或者組合特征對(duì)地物(建筑、植被,、道路等)識(shí)別檢測(cè)^[3-8],。然而，影像地物的特征千變?nèi)f化,，即使為同一種地物,，其特征也是差異明顯。例如建筑物的顏色紋理差異,，形狀尺寸動(dòng)態(tài)變化,，以及成像的光照角度、分辨率不同,，都給建筑物提取增加了難度,。因此，基于人為設(shè)定特征針對(duì)多種影像地物的自動(dòng)提取也更加困難,。隨著電腦(尤其是顯卡)的計(jì)算能力提高,，深度學(xué)習(xí)技術(shù)得以迅速發(fā)展，其中卷積神經(jīng)網(wǎng)絡(luò)^[9-10](convolutional neural network,，CNN)不斷在自然圖像分類領(lǐng)域創(chuàng)造新的記錄,。由于卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)訓(xùn)練數(shù)據(jù)特征，不再需要人工假定特征的特性,，從而被一些研究者應(yīng)用到遙感影像地物提取方向^[11-14],。核心思路是以較小的影像塊作為網(wǎng)絡(luò)輸入，學(xué)習(xí)影像塊的特征,，對(duì)影像塊中心像素分類,，進(jìn)而實(shí)現(xiàn)整張影像像素點(diǎn)的分類，完成影像地物語義分割，但是這種方法存在檢測(cè)成本昂貴(檢測(cè)時(shí)間長(zhǎng),，執(zhí)行效率下降,，占用機(jī)器大量?jī)?nèi)存)的弊端，不適用于大量影像的處理,。直到全卷積網(wǎng)絡(luò)^[15](full convolution network,，F(xiàn)CN)的提出，突破了CNN應(yīng)用到語義分割領(lǐng)域的限制,。但由于FCN僅在CNN基礎(chǔ)上采用最后的巻積層特征進(jìn)行上采樣得到最后的分割圖,，導(dǎo)致分割效果模糊。因此一些研究者嘗試將FCN改進(jìn)應(yīng)用到遙感影像地物檢測(cè),，例如HF_FCN^[2]是在FCN的基礎(chǔ)上改進(jìn)而來,，減少了網(wǎng)絡(luò)參數(shù)，提高了在復(fù)雜場(chǎng)景下的建筑物語義分割精度,。

目前,，主流的全卷積網(wǎng)絡(luò)大都是基于FCN的思想和先進(jìn)的CNN網(wǎng)絡(luò)進(jìn)行擴(kuò)展，如HF_FCN是基于VGG16^[11]擴(kuò)展而來,。無論CNN還是FCN都需要大量的訓(xùn)練數(shù)據(jù),，造成數(shù)據(jù)標(biāo)簽制作成本巨大，最重要的是語義分割任務(wù)需要像素級(jí)標(biāo)簽數(shù)據(jù),，以及考慮到遙感影像場(chǎng)景的復(fù)雜性,，導(dǎo)致標(biāo)簽繪制成本更加昂貴。若是只采用少量標(biāo)簽數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò),，會(huì)導(dǎo)致網(wǎng)絡(luò)性能驟降,。而文獻(xiàn)[16]提出一種簡(jiǎn)單有效的半監(jiān)督訓(xùn)練CNN進(jìn)行圖像分類的方法，其在簡(jiǎn)單的小尺寸自然圖像數(shù)據(jù)集cifar-10^[17]上,，通過使用少量標(biāo)簽數(shù)據(jù)和大量無標(biāo)簽數(shù)據(jù)聯(lián)合訓(xùn)練CNN,，有效地改進(jìn)了少量標(biāo)簽數(shù)據(jù)訓(xùn)練CNN效果差的問題。受此啟發(fā),，本文提出一種基于半監(jiān)督全卷積網(wǎng)絡(luò)的遙感影像地物語義分割方法,，結(jié)合在少量醫(yī)學(xué)圖像上得到高精度分割效果、且性能先進(jìn)的全卷積網(wǎng)絡(luò)U_Net^[18],，應(yīng)用到場(chǎng)景復(fù)雜的高分辨率遙感影像上進(jìn)行地物提取,，同時(shí)也采用先進(jìn)的全卷積網(wǎng)絡(luò)HF_FCN, deeplab_v3+^[19]網(wǎng)絡(luò)用于驗(yàn)證。試驗(yàn)結(jié)果表明,，本文方法有效地改善了在少量標(biāo)簽數(shù)據(jù)下訓(xùn)練全卷積網(wǎng)絡(luò)效果差的問題以及間接地減少了標(biāo)簽繪制成本,，并適用于復(fù)雜場(chǎng)景下的遙感影像地物識(shí)別。

1 原理與方法

在深度學(xué)習(xí)圖像處理領(lǐng)域,，語義分割是給每個(gè)像素點(diǎn)賦予其所屬的對(duì)象類別標(biāo)識(shí)(例如建筑,、道路等)，實(shí)現(xiàn)像素級(jí)分類。而將深度學(xué)習(xí)引入遙感領(lǐng)域,，對(duì)影像地物自動(dòng)提取是許多科研人員的一種應(yīng)用嘗試,。在遙感地物語義分割方向，主流的方法都是采用大量包含標(biāo)簽圖的影像數(shù)據(jù)監(jiān)督訓(xùn)練FCN,，鑒于影像場(chǎng)景的復(fù)雜性,，致使標(biāo)簽圖繪制成本更加昂貴，而直接減少影像標(biāo)簽數(shù)量也會(huì)出現(xiàn)網(wǎng)絡(luò)性能下降的問題,。如何有效提高在少量標(biāo)簽數(shù)據(jù)條件下網(wǎng)絡(luò)的預(yù)測(cè)精度,，將是本文的研究重點(diǎn)。本節(jié)將首先介紹全卷積網(wǎng)絡(luò),，然后對(duì)本文提出的半監(jiān)督全卷積網(wǎng)絡(luò)的影像地物語義分割方法進(jìn)行詳細(xì)說明,，最后闡述半監(jiān)督語義分割模型的影像地物提取流程。

1.1 全卷積網(wǎng)絡(luò)

FCN的首次提出實(shí)現(xiàn)了端到端的圖像語義分割,，但由于FCN采用了CNN結(jié)構(gòu)，導(dǎo)致其特征尺度不斷下降,，直接采用深層高維抽象語義特征上采樣實(shí)現(xiàn)輸入輸出尺寸的對(duì)等,，導(dǎo)致預(yù)測(cè)結(jié)果丟失許多細(xì)節(jié)，為此,，其嘗試在原先基礎(chǔ)上融合淺層特征以改善分割效果,，并證明有效。CNN網(wǎng)絡(luò)由淺層到深層,，每層網(wǎng)絡(luò)都自動(dòng)學(xué)習(xí)輸入數(shù)據(jù)的不同級(jí)別特征,，其淺層學(xué)習(xí)的低維特征可以理解為輸入圖像的直觀特征(如顏色、紋理,、位置等特征),，而網(wǎng)絡(luò)深層學(xué)習(xí)的高維特征理解成抽象的語義特征^[20]。U_Net則借鑒了FCN嘗試融合淺層特征和深層特征以改善分割圖效果的思想,，繼續(xù)發(fā)揚(yáng)光大,，并采納了編碼-解碼的思路，形成一個(gè)對(duì)稱的端對(duì)端輸出原始圖像尺寸預(yù)測(cè)圖的網(wǎng)絡(luò)結(jié)構(gòu),，在數(shù)據(jù)較少的醫(yī)學(xué)影像數(shù)據(jù)集上取得了很高的分割精度,。圖 1為U_Net網(wǎng)絡(luò)結(jié)構(gòu)示意圖，帶顏色矩形代表卷積層,。圖 1左側(cè)部分(編碼結(jié)構(gòu))為CNN基礎(chǔ)結(jié)構(gòu),，其中有4個(gè)降采樣層，將編碼結(jié)構(gòu)分為5層,，每層不同尺度,；右側(cè)部分(編碼結(jié)構(gòu))逐尺度上采樣，并將上采樣結(jié)果降維與編碼結(jié)構(gòu)對(duì)應(yīng)尺度的特征圖通過concat操作融合在一起。這樣高效的使用了CNN網(wǎng)絡(luò)深層,、淺層特征信息,，使得分割定位精確。

圖 1 U_Net網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 U_Net network structure diagram

圖選項(xiàng)

1.2 半監(jiān)督全卷積網(wǎng)絡(luò)的遙感影像地物語義分割方法

本文提出的半監(jiān)督全卷積網(wǎng)絡(luò)影像語義分割算法如下,。

半監(jiān)督全卷積網(wǎng)絡(luò)語義分割算法

X_i：訓(xùn)練數(shù)據(jù)(有標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)),；

L：訓(xùn)練數(shù)據(jù)中標(biāo)簽數(shù)據(jù)索引集合；

y_i：標(biāo)簽數(shù)據(jù)(i∈L);

w(t):無監(jiān)督損失的權(quán)重,；

net(x):全卷積網(wǎng)絡(luò),；

g(x):高斯噪聲函數(shù)；

mean(x):均值函數(shù),；

max_epochs:訓(xùn)練周期總數(shù);

for t in [1, max_epochs] do:

  for every batch B do:

    o_i∈B=net (x_i∈B); //第1次輸出結(jié)果

    =net (g(x_i∈B)); //第2次輸出結(jié)果

    Ls=-mean(∑_i∈(B∩L)y_ilog(o_i)); //監(jiān)督損失

    Ld=mean(∑_i∈B(o_i-)²); //無監(jiān)督損失

    Loss=Ls+w(t)Ld; //整體損失

    update(net); //通過優(yōu)化器更新網(wǎng)絡(luò)參數(shù)

  end for

end for

輸出網(wǎng)絡(luò)參數(shù),；

其中全卷積網(wǎng)絡(luò)主要采用U_Net網(wǎng)絡(luò)進(jìn)行各種試驗(yàn)。文獻(xiàn)[21]指出,，采用在大規(guī)模圖像分類數(shù)據(jù)集imagenet^[22]上預(yù)訓(xùn)練的網(wǎng)絡(luò)權(quán)重為網(wǎng)絡(luò)參數(shù)初始化,，可提高網(wǎng)絡(luò)的性能以及加快網(wǎng)絡(luò)收斂速度。因此,，本文采用文獻(xiàn)[21]提出的新型U_Net,，其采用在imagenet上預(yù)訓(xùn)練模型vgg11^[11]網(wǎng)絡(luò)作為基礎(chǔ)CNN網(wǎng)絡(luò)結(jié)構(gòu)搭建U_Net。遙感影像地物語義分割為多類別任務(wù),，而U_Net構(gòu)建之初是用于二分類語義分割任務(wù),，因此需改變U_Net末層輸出通道數(shù)量為地物類別數(shù)量，以及將其采用的二值化sigmoid激活函數(shù)修改成softmax函數(shù),，用來獲取像素屬于每種地物類別的概率,，最終通過選擇最大概率值對(duì)應(yīng)的地物類別標(biāo)號(hào)賦予對(duì)應(yīng)像素

 (1)

式中，z為輸入特征圖,，由輸入影像經(jīng)過全卷積網(wǎng)絡(luò)得到,；N為地物類別總數(shù)；Softmax視為指數(shù)歸一化函數(shù),，將N維實(shí)數(shù)向量壓縮成值域?yàn)閇0, 1]的新N維向量,。Softmax(z)表示輸入影像中每個(gè)像素點(diǎn)屬于每種地物類別的概率值，每個(gè)像素對(duì)應(yīng)所有地物類別的概率和為1,。

確定全卷積網(wǎng)絡(luò)后,，為便于說明本文提出的半監(jiān)督全卷積網(wǎng)絡(luò)的遙感影像地物語義分割方法，這里定義一些數(shù)學(xué)符號(hào)：x_i為每批次輸入網(wǎng)絡(luò)的影像圖集,，其中包含無標(biāo)簽影像和有標(biāo)簽影像[x_i],；y_i為x_i中有標(biāo)簽影像[x_i]對(duì)應(yīng)的標(biāo)簽圖；g(x)為高斯噪聲增強(qiáng)函數(shù),，其作用是為訓(xùn)練數(shù)據(jù)x_i添加高斯噪聲,；Ls為監(jiān)督損失,；net(x)為全卷積網(wǎng)絡(luò)輸出；Ld為無監(jiān)督損失,；mean(x)為對(duì)矩陣求均值函數(shù),；w(t)為無監(jiān)督損失Ld的權(quán)重函數(shù)，其與訓(xùn)練周期t有關(guān),，隨著訓(xùn)練周期t的變化,，w(t)緩慢增長(zhǎng)；Loss為總體損失,。

訓(xùn)練過程中,，首先對(duì)訓(xùn)練輸入x_i進(jìn)行數(shù)據(jù)增強(qiáng)，然后經(jīng)過全卷積網(wǎng)絡(luò)評(píng)估2次,，并在第2次輸入網(wǎng)絡(luò)時(shí)添加高斯噪聲,，使得2次預(yù)測(cè)結(jié)果o_i和具有差異

 (2)

 (3)

根據(jù)這種差異可以計(jì)算無監(jiān)督損失，進(jìn)行無監(jiān)督訓(xùn)練以及添加高斯噪聲可以讓網(wǎng)絡(luò)學(xué)習(xí)到更加穩(wěn)健的數(shù)據(jù)特征,，提高網(wǎng)絡(luò)的穩(wěn)健性,。根據(jù)2次預(yù)測(cè)結(jié)果以及標(biāo)簽圖y_i，計(jì)算損失Loss,。損失Loss涉及2部分：標(biāo)準(zhǔn)的交叉熵?fù)p失Ls(也是監(jiān)督損失)和平方差損失Ld(無監(jiān)督損失),。其中Ls僅由網(wǎng)絡(luò)輸入中帶標(biāo)簽的數(shù)據(jù)[x_i]和標(biāo)簽y_i計(jì)算得到

 (4)

Ld則使用網(wǎng)絡(luò)輸入的全部數(shù)據(jù)x_i

 (5)

重復(fù)輸入網(wǎng)絡(luò)2次得到2次預(yù)測(cè)結(jié)果，計(jì)算結(jié)果之間的差異,，它的意義是最小化這種差異，提高網(wǎng)絡(luò)的容錯(cuò)性,。為了整合監(jiān)督損失Ls和無監(jiān)督損失Ld,，這里沒有采用直接相加的方法，而是采納了文獻(xiàn)[16]提出的時(shí)間權(quán)重函數(shù)w(t),，對(duì)無監(jiān)督損失進(jìn)行尺度化,，即在訓(xùn)練過程中，隨著時(shí)間的變化,，給予無監(jiān)督損失變化的權(quán)重,，再與監(jiān)督損失相加，得到總損失Loss

 (6)

以上為本文方法訓(xùn)練流程,，其核心思路是讓網(wǎng)絡(luò)先學(xué)習(xí)標(biāo)簽數(shù)據(jù)的特征,，然后在漫長(zhǎng)訓(xùn)練過程中逐漸學(xué)習(xí)無標(biāo)簽數(shù)據(jù)的特征，并慢慢加強(qiáng)對(duì)無標(biāo)簽數(shù)據(jù)的特征學(xué)習(xí),，使網(wǎng)絡(luò)學(xué)習(xí)到的特征分布空間包含無標(biāo)簽數(shù)據(jù)分布,，這樣就在少量標(biāo)簽數(shù)據(jù)的條件下，增加了訓(xùn)練樣本,，使得網(wǎng)絡(luò)學(xué)習(xí)到的特征空間更廣闊,，性能也就進(jìn)一步提升,；同時(shí)，多網(wǎng)絡(luò)集成較集成中單個(gè)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果更好,，而重復(fù)輸入訓(xùn)練數(shù)據(jù),，經(jīng)過數(shù)據(jù)噪聲增強(qiáng)后，得到的結(jié)果也是差異的,，可以視為集成學(xué)習(xí)在單個(gè)網(wǎng)絡(luò)中的實(shí)現(xiàn),。

值得注意的是，本文并未采用2次均為x_i添加高斯噪聲的操作,，原因是2次均添加噪聲,，可能會(huì)導(dǎo)致原始數(shù)據(jù)的分布發(fā)生改變，使得網(wǎng)絡(luò)不能很好地學(xué)習(xí)訓(xùn)練數(shù)據(jù)的特征,。對(duì)于圖像分類任務(wù),，添加較大的噪聲對(duì)預(yù)測(cè)結(jié)果影響較小，即網(wǎng)絡(luò)穩(wěn)健性強(qiáng),，而語義分割任務(wù)中像素分類除了與自身特征還與像素周圍像素的特征有較大關(guān)系,，但遠(yuǎn)未到達(dá)整個(gè)圖像的范圍。因此,，添加較大的噪聲可能會(huì)對(duì)語義分割任務(wù)有嚴(yán)重的影響,，所以，本文所使用的高斯噪聲大小設(shè)定在較小的范圍內(nèi)(std=0.01),。此外,，訓(xùn)練初始w(t)為0，這是由于在訓(xùn)練初期,，網(wǎng)絡(luò)的識(shí)別精度較低,，導(dǎo)致2次預(yù)測(cè)結(jié)果之間的差異很大，采用較大權(quán)重會(huì)使網(wǎng)絡(luò)不能很好的學(xué)習(xí)具有標(biāo)簽數(shù)據(jù)的特征,，降低網(wǎng)絡(luò)性能^[16],。

1.3 半監(jiān)督語義分割模型的影像地物提取流程

半監(jiān)督語義分割模型的影像地物提取流程分為2個(gè)步驟：

(1) 獲取模型。首先,，對(duì)標(biāo)簽數(shù)據(jù)(影像圖和標(biāo)簽圖)處理,，采用一定大小的窗口同步滑動(dòng)裁剪影像圖和標(biāo)簽圖；然后對(duì)無標(biāo)簽影像數(shù)據(jù)處理,，采用同樣大小的窗口滑動(dòng)裁剪影像圖,；最終得到混合的訓(xùn)練數(shù)據(jù)集，批次輸入全卷積網(wǎng)絡(luò)訓(xùn)練更新網(wǎng)絡(luò)參數(shù),，最終得到模型,。

(2) 地物提取。在獲取模型的基礎(chǔ)上,，為了提高模型預(yù)測(cè)效率,，采用更大尺寸的窗口在測(cè)試影像上滑動(dòng),，對(duì)窗口內(nèi)影像進(jìn)行地物提取，最終得到所有影像的地物語義分割結(jié)果,，由此計(jì)算模型語義分割精度,。

2 試驗(yàn)與結(jié)果分析2.1 數(shù)據(jù)集及其預(yù)處理

2.1.1 數(shù)據(jù)集簡(jiǎn)介

本文使用數(shù)據(jù)集包括2個(gè)：①ISPRS提供的德國Vaihingen地區(qū)航空影像；②中國湖南地區(qū)國產(chǎn)高分一號(hào)影像(為表述簡(jiǎn)潔,，下面采用符號(hào)A命名該數(shù)據(jù)),。

(1) Vaihingen數(shù)據(jù)集包含16張具有人工標(biāo)注地物類別標(biāo)簽圖的影像以及17張沒有標(biāo)簽的影像，該數(shù)據(jù)集影像均已經(jīng)過校正等處理,，為RGB三通道的正射影像,，其分辨率為9 cm。如圖 2所示,，Vaihingen試驗(yàn)區(qū)域共有33張影像,，其中測(cè)試區(qū)域?yàn)闃?biāo)號(hào)1、3的兩張影像,。圖 3為Vaihingen部分測(cè)試影像及其標(biāo)簽展示圖,，其中共有5類地物。

圖 2 Vaihingen數(shù)據(jù)集Fig. 2 Vaihingen dataset

圖選項(xiàng)

圖 3 部分測(cè)試數(shù)據(jù)及其標(biāo)簽Fig. 3 Partial test data and labels

圖選項(xiàng)

(2) A地區(qū)影像數(shù)據(jù)詳情：該數(shù)據(jù)集為RGB三通道影像,，影像分辨率為2 m,。圖 4為A地區(qū)測(cè)試影像及其標(biāo)簽展示圖，其中共有6類地物,。

圖 4 A地區(qū)測(cè)試數(shù)據(jù)及其標(biāo)簽Fig. 4 Test data and labels in area A

圖選項(xiàng)

2.1.2 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理包含3個(gè)步驟：①影像裁剪,；②數(shù)據(jù)增強(qiáng)；③數(shù)據(jù)歸一化,。其中,，影像裁剪在訓(xùn)練前進(jìn)行，而數(shù)據(jù)增強(qiáng)和歸一化在訓(xùn)練過程中執(zhí)行,。

步驟1：影像裁剪。由于每張影像尺寸不一樣,，為便于訓(xùn)練網(wǎng)絡(luò),，需對(duì)影像滑動(dòng)裁剪，處理成統(tǒng)一尺寸,。

針對(duì)Vaihingen數(shù)據(jù)集：對(duì)訓(xùn)練數(shù)據(jù)影像采用256×256大小的窗口,，以128大小的步長(zhǎng)滑動(dòng)裁剪，共得到3486張含有標(biāo)簽的影像圖以及4551張無標(biāo)簽的影像圖,。

針對(duì)A數(shù)據(jù)集：選取A地區(qū)大約1/12的影像,，對(duì)其采用256×256大小的窗口以及128的步長(zhǎng)滑動(dòng)裁剪，得到942張有標(biāo)簽影像圖,；對(duì)A地區(qū)無標(biāo)簽影像滑動(dòng)裁剪,，得到1837張無標(biāo)簽影像圖,。

步驟2：數(shù)據(jù)增強(qiáng)。為了提高模型的泛化能力和穩(wěn)健性,，本文所有試驗(yàn)均采用了數(shù)據(jù)增強(qiáng)操作：旋轉(zhuǎn)90°,、180°、270°,；左右翻轉(zhuǎn),；上下翻轉(zhuǎn)。需要注意的是：影像圖和標(biāo)簽圖需同步進(jìn)行數(shù)據(jù)增強(qiáng),，而無標(biāo)簽影像不受影響,。

步驟3：數(shù)據(jù)歸一化。數(shù)據(jù)歸一化是將數(shù)據(jù)值域限定在一定范圍內(nèi)(常用[0, 1]或[-1, 1]),，其作用是加快網(wǎng)絡(luò)收斂速度,。本文采用數(shù)據(jù)歸一化方式為最大最小標(biāo)準(zhǔn)化，將數(shù)據(jù)歸一化到[0, 1],，公式如下

 (7)

2.2 試驗(yàn)設(shè)計(jì)

2.2.1 采用U_Net網(wǎng)絡(luò)探索某些參數(shù)對(duì)本文方法影響的試驗(yàn)設(shè)計(jì)

為探索噪聲大小,、高斯噪聲加入次數(shù)對(duì)本文方法的影響，設(shè)計(jì)2組試驗(yàn)：

(1) 采用Vaihingen數(shù)據(jù)集中1/8的標(biāo)簽數(shù)據(jù)和所有無標(biāo)簽數(shù)據(jù)作為訓(xùn)練集,，在只添加一次高斯噪聲的條件下,，將高斯噪聲大小分別設(shè)置為std=0.01(小)和std=0.15(大)，再結(jié)合本文方法訓(xùn)練U_Net進(jìn)行對(duì)比試驗(yàn),。

(2) 采用Vaihingen數(shù)據(jù)集中1/8的標(biāo)簽數(shù)據(jù)和所有無標(biāo)簽數(shù)據(jù)作為訓(xùn)練集,，在高斯噪聲設(shè)置為std=0.01的條件下，將噪聲加入次數(shù)設(shè)置成1次和2次,，再結(jié)合本文方法訓(xùn)練U_Net進(jìn)行對(duì)比試驗(yàn),。

2.2.2 采用U_Net網(wǎng)絡(luò)進(jìn)行不同比例數(shù)據(jù)的試驗(yàn)設(shè)計(jì)

試驗(yàn)包含2部分：對(duì)比方法試驗(yàn)和本文方法試驗(yàn)。對(duì)比方法試驗(yàn)采用Vaihingen數(shù)據(jù)集中有標(biāo)簽影像數(shù)量的1/8,，1/4,，1/2以及全部數(shù)據(jù)分別訓(xùn)練U_Net網(wǎng)絡(luò)；本文方法試驗(yàn)采用Vaihingen數(shù)據(jù)集中有標(biāo)簽影像數(shù)量的1/8,，1/4,，1/2以及全部數(shù)據(jù)分別結(jié)合所有無標(biāo)簽影像，在只添加一次高斯噪聲且噪聲大小為std=0.01的條件下,，結(jié)合本文方法訓(xùn)練U_Net,。

2.2.3 采用不同網(wǎng)絡(luò)驗(yàn)證本文方法可行性

采用U_Net作為本文方法的語義分割網(wǎng)絡(luò)進(jìn)行試驗(yàn)，但是本文方法是否同樣適用其他網(wǎng)絡(luò),，具有泛化性,？因此，采用Vaihingen數(shù)據(jù)集中1/8的標(biāo)簽數(shù)據(jù)和所有無標(biāo)簽數(shù)據(jù)作為訓(xùn)練集,，在高斯噪聲大小設(shè)置為std=0.01,、噪聲添加次數(shù)為1的條件下,，結(jié)合本文方法訓(xùn)練HF_FCN、deeplab_v3+網(wǎng)絡(luò)驗(yàn)證方法的可行性,。

2.2.4 采用不同分辨率,、不同來源的數(shù)據(jù)集驗(yàn)證本文方法可行性

為探索在不同分辨率、不同來源的數(shù)據(jù)集上,，本文方法是否同樣適用,，本文采用A地區(qū)影像數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。試驗(yàn)設(shè)計(jì)如下：

采用A地區(qū)942張標(biāo)簽影像分別訓(xùn)練U_Net,、HF_FCN,、deeplab_v3+作為對(duì)比方法試驗(yàn)；本文方法試驗(yàn)采用A地區(qū)標(biāo)簽影像(942張)和A地區(qū)無標(biāo)簽影像(1837張)結(jié)合本文方法分別訓(xùn)練U_Net,、HF_FCN,、deeplab_v3+網(wǎng)絡(luò)。將獲取的模型在A地區(qū)測(cè)試集上驗(yàn)證本文方法的可行性,。

2.2.5 試驗(yàn)相關(guān)軟件硬件配置

軟件環(huán)境為：ubuntu16.04(64位)操作系統(tǒng),，python3.5編程軟件和深度學(xué)習(xí)框架pytorch(GPU)；硬件環(huán)境為：英特爾i7-CPU,，英偉達(dá)GTX1080顯卡,，以及16 GB內(nèi)存。

2.2.6 試驗(yàn)參數(shù)設(shè)置

所有試驗(yàn)網(wǎng)絡(luò)初始學(xué)習(xí)率lr設(shè)置為2.5e-4,；網(wǎng)絡(luò)輸入圖像批次大小batch_size設(shè)置為16,；噪聲添加次數(shù)設(shè)置為1；噪聲值std設(shè)置為0.01,；w(t)初始值為0,。

2.3 結(jié)果分析

2.3.1 精度指標(biāo)

本文選取的精度評(píng)價(jià)指標(biāo)包含總體精度(overall accuracy，OA),、平均每類的召回率(average per-class recall,，ACR)及平均交叉比(intersection over union，IoU),。其中,，召回率指每類被識(shí)別正確的比例。

2.3.2 采用U_Net探索某些參數(shù)對(duì)本文方法影響的試驗(yàn)結(jié)果分析

就之前猜測(cè)噪聲大小與噪聲加入次數(shù)對(duì)本文方法可能有嚴(yán)重影響,，設(shè)計(jì)試驗(yàn)驗(yàn)證，探索這2個(gè)參數(shù)對(duì)本文方法的影響,。噪聲大小對(duì)本文方法影響如表 1所示,，噪聲加入次數(shù)對(duì)本文方法影響如表 2所示，從表中可以得出如下結(jié)論：

表 1 噪聲大小對(duì)本文方法測(cè)試精度的影響Tab. 1 The influence of noise size on the measurement accuracy of this method 

表選項(xiàng) 

表 2 噪聲加入次數(shù)對(duì)本文方法測(cè)試精度的影響Tab. 2 Effect of noise addition number on test accuracy of the method in this paper 

表選項(xiàng) 

(1) 對(duì)于語義分割任務(wù),，添加較大的噪聲,，會(huì)造成網(wǎng)絡(luò)性能下降(即測(cè)試精度下降),，導(dǎo)致本文方法較基準(zhǔn)表現(xiàn)更差。

(2) 對(duì)于本文方法,，加入噪聲次數(shù)對(duì)網(wǎng)絡(luò)性能有影響,，其中1次效果最好，也進(jìn)一步證明了2次噪聲的加入會(huì)影響網(wǎng)絡(luò)學(xué)習(xí)數(shù)據(jù)特征分布,，使網(wǎng)絡(luò)不能很好的學(xué)習(xí)到數(shù)據(jù)特征,，導(dǎo)致本文方法表現(xiàn)差勁。

2.3.3 采用U_Net進(jìn)行不同比例數(shù)據(jù)的試驗(yàn)結(jié)果分析

采用U_Net作為基準(zhǔn)網(wǎng)絡(luò),，在Vaihingen數(shù)據(jù)集的不同比例數(shù)據(jù)上結(jié)合本文方法進(jìn)行試驗(yàn),，試驗(yàn)結(jié)果精度如表 3所示。對(duì)比方法試驗(yàn)在1,、1/2,、1/4、1/8標(biāo)簽數(shù)據(jù)下的整體精度分別為84.29%,、83.10%,、82.45%、81.30%,，本文方法試驗(yàn)在1,、1/2、1/4,、1/8標(biāo)簽數(shù)據(jù)結(jié)合無標(biāo)簽數(shù)據(jù)下的整體精度分別為87.01%,、85.86%、85.58%,、82.43%,。此外，精度對(duì)比折線圖如圖 5所示,，便于更直觀地查看對(duì)比,。

表 3 Vaihingen地區(qū)影像語義分割精度結(jié)果比較Tab. 3 Accuracy comparison of image semantic segmentation in Vaihingen region 

表選項(xiàng) 

圖 5 采用不同比例數(shù)據(jù)訓(xùn)練U_Net網(wǎng)絡(luò)的精度對(duì)比圖Fig. 5 Accuracy contrast diagram of U_Net network training with different proportional data

圖選項(xiàng)

從表中以及精度對(duì)比圖可以直接得出如下結(jié)論：

(1) 隨著標(biāo)簽數(shù)據(jù)量的減少，傳統(tǒng)的監(jiān)督訓(xùn)練全卷積網(wǎng)絡(luò)方法,，測(cè)試精度也隨之降低,，進(jìn)一步說明了采用少量標(biāo)簽數(shù)據(jù)導(dǎo)致網(wǎng)絡(luò)性能下降的問題。

(2) 在不同比例的標(biāo)簽數(shù)據(jù)下,，本文方法較對(duì)比方法在3種指標(biāo)上取得了更優(yōu)異的成績(jī),，而精度對(duì)比折線圖直觀的表現(xiàn)出這種現(xiàn)象。

2.3.4 采用不同網(wǎng)絡(luò)驗(yàn)證本文方法可行性分析

為探索本文方法的可行性,，進(jìn)一步采用HF_FCN,，deeplab_v3+全卷積網(wǎng)絡(luò)結(jié)合本文方法進(jìn)行試驗(yàn)。不同網(wǎng)絡(luò)對(duì)本文方法的驗(yàn)證結(jié)果如表 4所示，圖 6為U_Net網(wǎng)絡(luò)結(jié)合本文方法在Vaihingen數(shù)據(jù)集中1/8標(biāo)簽數(shù)據(jù)條件下的局部語義分割結(jié)果展示,，圖 7為不同網(wǎng)絡(luò)結(jié)合本文方法在Vaihingen數(shù)據(jù)集中1/8標(biāo)簽數(shù)據(jù)條件下的語義分割結(jié)果展示(“本文方法”與其相鄰左側(cè)網(wǎng)絡(luò)一一對(duì)應(yīng)),。從表中可以得出如下結(jié)論：

表 4 不同網(wǎng)絡(luò)對(duì)本文方法的驗(yàn)證Tab. 4 Verification of this method by different networks 

表選項(xiàng) 

圖 6 U_Net網(wǎng)絡(luò)結(jié)合本文方法語義分割結(jié)果Fig. 6 Semantic segmentation result of U_Net network combined with our method

圖選項(xiàng)

圖 7 不同網(wǎng)絡(luò)在Vaihingen數(shù)據(jù)上的語義分割結(jié)果Fig. 7 Semantic segmentation results of different networks on Vaihingen data

圖選項(xiàng)

(1) 本文方法采用3種不同的全卷積網(wǎng)絡(luò)，均可以提高網(wǎng)絡(luò)性能(精度提升),。

(2) 本文方法采用U_Net效果最優(yōu),，其他網(wǎng)絡(luò)提升效果相比較差。其中部分原因是由于相關(guān)參數(shù)是根據(jù)U_Net設(shè)置,，可能并未達(dá)到其他網(wǎng)絡(luò)的最優(yōu)效果,。

(3) 本文提出的基于半監(jiān)督全卷積網(wǎng)絡(luò)的遙感影像語義分割方法是可行的，以及從圖 7中可以明顯看出本文方法對(duì)分割效果的改善提升,。

2.3.5 采用不同分辨率,、不同來源的數(shù)據(jù)集驗(yàn)證本文方法可行性

為探索本文方法在不同分辨率、不同來源的影像上語義分割的可行性,，采用A地區(qū)影像數(shù)據(jù)進(jìn)行試驗(yàn),。表 5為不同網(wǎng)絡(luò)在A地區(qū)的測(cè)試精度，圖 8為本文方法結(jié)合U_Net在A地區(qū)測(cè)試影像上的預(yù)測(cè)結(jié)果,。根據(jù)表 5得出如下結(jié)論：

表 5 A地區(qū)預(yù)測(cè)結(jié)果精度Tab. 5 Accuracy of prediction results in area A  

表選項(xiàng) 

圖 8 A地區(qū)語義分割結(jié)果Fig. 8 Semantic segmentation results of area A

圖選項(xiàng)

在國內(nèi)A地區(qū)影像數(shù)據(jù)集上,，本文方法較對(duì)比方法精度更高，說明了本文方法在不同分辨率,、不同來源的數(shù)據(jù)集上是可行的,。

3 結(jié)論與展望

本文針對(duì)影像像素級(jí)標(biāo)簽繪制成本昂貴以及少量影像標(biāo)簽數(shù)據(jù)導(dǎo)致的網(wǎng)絡(luò)性能下降的問題，提出了一種基于半監(jiān)督全卷積網(wǎng)絡(luò)的高分辨率遙感影像地物語義分割的方法,。利用少量標(biāo)簽數(shù)據(jù)和大量無標(biāo)簽影像數(shù)據(jù),，結(jié)合本文方法半監(jiān)督訓(xùn)練全卷積網(wǎng)絡(luò)，實(shí)現(xiàn)端對(duì)端的影像語義分割,。試驗(yàn)結(jié)果表明,，本文方法可以有效改善少量標(biāo)簽數(shù)據(jù)造成的網(wǎng)絡(luò)性能下降問題并間接降低了標(biāo)簽制作成本。然而,，在使用少量標(biāo)簽數(shù)據(jù)的前提下,，本文提出的半監(jiān)督方法精度提升仍然不是很高。未來,，筆者將考慮引入生成對(duì)抗網(wǎng)絡(luò)^[23](generative adversarial nets,，GAN)，并結(jié)合半監(jiān)督學(xué)習(xí),，應(yīng)用到遙感影像語義分割方向,，繼續(xù)改善當(dāng)前存在的2個(gè)問題。另外,，本文方法只在高分辨率光學(xué)影像(RGB三通道)上試驗(yàn),，并未考慮其他類型的影像數(shù)據(jù),，未來也將考慮多源數(shù)據(jù)融合進(jìn)行相關(guān)試驗(yàn)。