鋼表面缺陷的目視檢測是鋼板制造過程中必不可少的環(huán)節(jié),。近年來研究了幾種基于機(jī)器學(xué)習(xí)的自動視覺檢測(AVI)方法。然而,，由于訓(xùn)練時(shí)間和AVI方法的不準(zhǔn)確性,，大多數(shù)鋼鐵制造行業(yè)仍然使用人工目視檢查。自動鋼缺陷檢測方法在成本更低和更快的質(zhì)量控制和反饋方面是有用的,。但是,，為分割和分類準(zhǔn)備帶注釋的訓(xùn)練數(shù)據(jù)可能是一個(gè)昂貴的過程。在這項(xiàng)工作中,，我們建議使用基于遷移學(xué)習(xí)的U-Net (tu - net)框架來檢測鋼表面缺陷,。我們以U-Net架構(gòu)為基礎(chǔ)，探討了兩種編碼器:ResNet和DenseNet,。我們使用隨機(jī)初始化和使用ImageNet數(shù)據(jù)集訓(xùn)練的預(yù)訓(xùn)練網(wǎng)絡(luò)的性能進(jìn)行了比較,。實(shí)驗(yàn)使用Severstal數(shù)據(jù)進(jìn)行。結(jié)果表明,，遷移學(xué)習(xí)的缺陷分類性能比隨機(jī)初始化的缺陷分類性能好5%(絕對),。我們發(fā)現(xiàn)遷移學(xué)習(xí)在缺陷分割中的表現(xiàn)比隨機(jī)初始化好26%(相對),。遷移學(xué)習(xí)的增益隨著訓(xùn)練數(shù)據(jù)的減少而增加，且遷移學(xué)習(xí)的收斂速度優(yōu)于隨機(jī)初始化,。

在本研究中,，我們系統(tǒng)地研究了遷移學(xué)習(xí)在鋼材缺陷分類與定位(SDCL)中的有效性。遷移學(xué)習(xí)或領(lǐng)域適應(yīng)的目的是重用在一個(gè)領(lǐng)域?qū)W習(xí)到的特征,，以提高在另一個(gè)領(lǐng)域的學(xué)習(xí),。在帶注釋的數(shù)據(jù)有限的情況下，這是一種流行的方法,。遷移學(xué)習(xí)在各種任務(wù)中都有很好的應(yīng)用,，如對象檢測、語義分割等,。已經(jīng)表明,，從一個(gè)任意領(lǐng)域到另一個(gè)領(lǐng)域的遷移學(xué)習(xí)可能是沒有用的。當(dāng)兩個(gè)領(lǐng)域相似時(shí),，遷移學(xué)習(xí)最有效,。因此，研究遷移學(xué)習(xí)在SDCL案例中的有效性就顯得尤為重要,。我們考慮了一個(gè)用于鋼缺陷分割的u網(wǎng)基線架構(gòu),。U-Net已經(jīng)展示了在各種圖像分割任務(wù)的藝術(shù)表現(xiàn)狀態(tài)。它使用了帶有跳過連接的編碼器-解碼器架構(gòu),。編碼器學(xué)習(xí)不同尺度的圖像特征,，解碼器使用這些特征預(yù)測分割掩碼。

在這項(xiàng)工作中,，我們探索了兩種預(yù)先訓(xùn)練的編碼器網(wǎng)絡(luò)ResNet和DenseNet網(wǎng)絡(luò),。這兩種網(wǎng)絡(luò)在不同的計(jì)算機(jī)視覺任務(wù)中都表現(xiàn)得很好。網(wǎng)絡(luò)是在ImageNet數(shù)據(jù)集上預(yù)先訓(xùn)練的,。我們使用一個(gè)線性分類器使用瓶頸表示的U-Net分類缺陷,。我們使用Severstal數(shù)據(jù)集對網(wǎng)絡(luò)的編碼器和解碼器進(jìn)行微調(diào)。在Severstal數(shù)據(jù)上的實(shí)驗(yàn)表明,，與隨機(jī)初始化相比,，預(yù)先訓(xùn)練網(wǎng)絡(luò)的分割和分類性能都更好。研究發(fā)現(xiàn),，如果使用50%的數(shù)據(jù)進(jìn)行訓(xùn)練，使用預(yù)訓(xùn)練網(wǎng)絡(luò)的性能提高甚至更高,。我們還證明了遷移學(xué)習(xí)的收斂速度比隨機(jī)初始化快,。

提出的用于節(jié)點(diǎn)鋼缺陷分類和分割的結(jié)構(gòu)遷移學(xué)習(xí)方法。藍(lán)色的線表示跳躍連接,，橙色虛線表示初始化,。

編碼器層的結(jié)構(gòu)為Resnet(左)和Densenet(右),。輸入的連接由(c)表示，+表示添加操作,。BN+ReLU+Conv2D表示批處理歸一化,、ReLU激活和核尺寸為3x3的卷積。

圖分割掩模預(yù)測,。(a行)輸入圖像(b行)ground truth masks (c行)ResNet(Random)預(yù)測的掩碼(d行)ResNet(ImageNet)預(yù)測的掩碼,。預(yù)測的相應(yīng)骰子顯示在圖像的標(biāo)題中。

在本研究中,，我們建議使用遷移學(xué)習(xí)框架來進(jìn)行鋼材缺陷的分類和分割,。我們使用U-Net架構(gòu)作為基礎(chǔ)架構(gòu)，并探討兩種編碼器:ResNet和Dense Net,。我們比較了使用隨機(jī)初始化的網(wǎng)絡(luò)和使用ImageNet數(shù)據(jù)集訓(xùn)練的預(yù)訓(xùn)練網(wǎng)絡(luò)的性能,。我們發(fā)現(xiàn)，遷移學(xué)習(xí)的性能在缺陷分割和分類方面都優(yōu)于ImageNet,。我們還發(fā)現(xiàn),，隨著培訓(xùn)數(shù)據(jù)的減少，績效差距增加,。我們還發(fā)現(xiàn),，遷移學(xué)習(xí)的收斂速度比隨機(jī)初始化的收斂速度要快。我們發(fā)現(xiàn),，在罕見缺陷類型和復(fù)雜形狀缺陷中,，遷移學(xué)習(xí)性能較差。作為未來工作的一部分,，我們將致力于遷移學(xué)習(xí),，使用合成數(shù)據(jù)處理更復(fù)雜的形狀，以及使用生成模型進(jìn)行罕見的缺陷類型泛化,。我們希望探索半監(jiān)督/弱監(jiān)督學(xué)習(xí)方法來減少標(biāo)注訓(xùn)練數(shù)據(jù)的需求,。

論文鏈接：https:///pdf/2101.06915.pdf

每日堅(jiān)持論文分享不易，如果喜歡我們的內(nèi)容,，希望可以推薦或者轉(zhuǎn)發(fā)給周圍的同學(xué),。

- END -