本站小編為你精心準(zhǔn)備了卷積神經(jīng)網(wǎng)絡(luò)的高光譜圖像分類方法參考范文，愿這些范文能點(diǎn)燃您思維的火花，激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。

摘要：為解決在樣本有限的情況下高光譜圖像分類精度不高的問題，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的高光譜遙感圖像分類方法。引入濾波、增加虛擬樣本、標(biāo)準(zhǔn)化等預(yù)處理技術(shù)，使分類模型對(duì)地物樣本種類和數(shù)量的敏感度降低；通過對(duì)梯度下降法和學(xué)習(xí)率計(jì)算方法進(jìn)行優(yōu)化，降低計(jì)算復(fù)雜度和計(jì)算時(shí)間；設(shè)計(jì)符合高光譜數(shù)據(jù)特點(diǎn)的網(wǎng)絡(luò)結(jié)構(gòu)，提高分類方法的泛化性。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)分類方法進(jìn)行比較，該方法有較高的分類精度。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；高光譜圖像分類；虛擬樣本；循環(huán)學(xué)習(xí)率；動(dòng)量批處理梯度下降

0引言

高光譜遙感技術(shù)不僅可以獲得被測物體的空間信息，還可以獲得被測物體的光譜信息。因此高光譜圖像具有“圖像立方體”的形式和結(jié)構(gòu)［1］。對(duì)于具有復(fù)雜特征的高光譜圖像，簡單的分類模型通常不能提取出各類地物的有效特征。深度分類架構(gòu)在提取有效特征方面能夠體現(xiàn)出優(yōu)勢。并且，深度結(jié)構(gòu)學(xué)習(xí)特征時(shí)需要用的先驗(yàn)知識(shí)較少。卷積神經(jīng)網(wǎng)絡(luò)（convolutionalneuralnetworks，CNNs）是深度學(xué)習(xí)的一個(gè)重要分支，也是眾多科學(xué)領(lǐng)域的研究熱點(diǎn)，特別是在圖像識(shí)別領(lǐng)域。在有大量訓(xùn)練樣本和高性能GPUs的前提下，在許多視覺任務(wù)包括自然圖像分類、目標(biāo)檢測、場景識(shí)別、人臉識(shí)別等，CNNs勝過其它傳統(tǒng)方法甚至人工操作的效果。然而，相比之下目前將卷積神經(jīng)網(wǎng)絡(luò)用于高光譜圖像分類的研究并不多。文獻(xiàn)［2］中將卷積神經(jīng)網(wǎng)絡(luò)分類模型和超像素分割結(jié)合，分別用于提取光譜特征和空間特征，融合多特征后的分類效果優(yōu)于只有單特征的分類效果。文獻(xiàn)［3］中分別構(gòu)造了一維、二維和三維卷積核的卷積神經(jīng)網(wǎng)絡(luò)，通過修改代價(jià)函數(shù)、加入Dropout層和用ReLU函數(shù)代替Sigmoid激活函數(shù)的方式對(duì)原始卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，降低了網(wǎng)絡(luò)復(fù)雜度，提升了收斂速度。最后提出了基于隨機(jī)特征選擇的卷積神經(jīng)網(wǎng)絡(luò)集成模型，提高了基于光譜信息的卷積神經(jīng)網(wǎng)絡(luò)分類模型的泛化能力。文獻(xiàn)［4］中在卷積神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上提出基于譜信息灰度圖像的分類方法。實(shí)驗(yàn)結(jié)果表明，該方法略優(yōu)于基于譜信息波形圖的分類。以上文獻(xiàn)中，對(duì)高光譜影像分類的實(shí)驗(yàn)結(jié)果均優(yōu)于目前較為流行的基于核的支持向量機(jī)分類方法，說明將卷積神經(jīng)網(wǎng)絡(luò)用于高光譜圖像分類是一個(gè)值得探索的研究方向。然而現(xiàn)階段面臨的挑戰(zhàn)有：現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)高光譜數(shù)據(jù)分類任務(wù)中的樣本種類和樣本數(shù)量比較敏感，導(dǎo)致同一個(gè)網(wǎng)絡(luò)不一定適用于所有數(shù)據(jù)集，泛化性能較差；卷積神經(jīng)網(wǎng)絡(luò)中參數(shù)的設(shè)置依然憑經(jīng)驗(yàn)試錯(cuò)確定，花費(fèi)時(shí)間較長；隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)和每層的特征數(shù)的增加，計(jì)算復(fù)雜度和計(jì)算時(shí)間也相應(yīng)的大幅增加，這將極大限制方法的應(yīng)用。本文提出一種卷積神經(jīng)網(wǎng)絡(luò)模型用于高光譜圖像分類。設(shè)置了適合高光譜圖像的網(wǎng)絡(luò)深度和參數(shù)，控制模型復(fù)雜度的同時(shí)使該網(wǎng)絡(luò)泛化性能較好。在循環(huán)學(xué)習(xí)率的設(shè)置和梯度下降法上做了改進(jìn)，使損失函數(shù)更快收斂。實(shí)驗(yàn)結(jié)果表明，該方法能較好利用高光譜圖像的光譜信息，與傳統(tǒng)分類方法如K最近鄰、邏輯回歸和RBF－SVM等方法相比，分類精度更高，處理速度較快。

1卷積神經(jīng)網(wǎng)絡(luò)高光譜影像分類

首先輸入三維的高光譜影像數(shù)據(jù)。受傳感器影響，高光譜影像各波段都存在噪聲［5］。因?yàn)橛跋竦挠行院艽蟪潭壬鲜芷渌脑肼曈绊懀虼嗽诜诸愔跋扔镁S納濾波進(jìn)行降噪處理。對(duì)每個(gè)波段的圖像進(jìn)行濾波，之后對(duì)三維高光譜圖像數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化。此時(shí)根據(jù)數(shù)據(jù)集各類地物樣本數(shù)量選擇樣本數(shù)量極少的類別生成虛擬樣本，補(bǔ)充到訓(xùn)練集。最后將經(jīng)過預(yù)處理的高光譜影像數(shù)據(jù)輸入到卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類。

1．1均值標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化對(duì)原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化或歸一化是分類前的一項(xiàng)基礎(chǔ)工作。在卷積神經(jīng)網(wǎng)絡(luò)分類模型中，將輸入數(shù)據(jù)用不同方法標(biāo)準(zhǔn)化到不同區(qū)間會(huì)產(chǎn)生差異較大的分類結(jié)果。原始圖像每個(gè)像素的光譜反射值為幾百到幾千不等，數(shù)值跨度較大但不同類別地物像素譜線整體趨勢相近差別不明顯，并且數(shù)值較大時(shí)會(huì)為計(jì)算增加難度。本文采用均值標(biāo)準(zhǔn)差法，將三維高光譜圖像數(shù)據(jù)的每一個(gè)波段的圖像分別進(jìn)行標(biāo)準(zhǔn)化。該方法使得每個(gè)像素的光譜曲線波動(dòng)更為明顯，波形差異變大，降低了計(jì)算復(fù)雜度，可以提升訓(xùn)練速度和分類準(zhǔn)確率。

1．2虛擬樣本以概率模型為基礎(chǔ)的卷積神經(jīng)網(wǎng)絡(luò)采取大的樣本數(shù)據(jù)量更能發(fā)揮它在高光譜影像分類中的優(yōu)勢。但是在實(shí)際應(yīng)用中，獲取大量高光譜遙感影像標(biāo)注樣本十分困難。比如本文實(shí)驗(yàn)用到的IndianPines數(shù)據(jù)集中16類地物樣本分布不均，如果每類抽取10％的樣本用于訓(xùn)練，那么第一類、第七類和第九類分別只抽到了5、2和2個(gè)樣本。訓(xùn)練樣本過少會(huì)限制卷積神經(jīng)網(wǎng)絡(luò)提取出有效的特征，最后影響分類精度。因此提出利用少量已標(biāo)記的高光譜圖像數(shù)據(jù)樣本生成一定數(shù)量的虛擬樣本，擴(kuò)充訓(xùn)練樣本集，提高分類方法的泛化能力，提高分類準(zhǔn)確率。虛擬樣本的思想最早由Poggio和Vette提出，之后在機(jī)器學(xué)習(xí)的小樣本學(xué)習(xí)領(lǐng)域得到了廣泛應(yīng)用［6］。但在高光譜圖像分類中提及的很少。

1．3卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（convolutionalneuralnetworks，CNNs）是由卷積層、池化層、全連接層組成的前饋神經(jīng)網(wǎng)絡(luò)［8］。輸入原始圖像，輸出對(duì)特征進(jìn)行分類后的結(jié)果。CNNs由一對(duì)或多對(duì)卷積層和池化層組成，最后連接全連接層。卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練采用的是有監(jiān)督訓(xùn)練方式。CNNs的特點(diǎn)：①局部感受野：每個(gè)特征圖上的神經(jīng)元只與上一層的一個(gè)小區(qū)域的神經(jīng)元連接。②權(quán)重共享：同一個(gè)特征圖的權(quán)值相同，使得參數(shù)的數(shù)量大大減少。③空間或時(shí)間上的子采樣：在卷積層后的子采樣層可以實(shí)現(xiàn)局部的均值化。它的非全連接和權(quán)值共享的網(wǎng)絡(luò)結(jié)構(gòu)減少了權(quán)值的數(shù)量，降低了網(wǎng)絡(luò)模型的復(fù)雜度。子采樣可以減少輸出時(shí)關(guān)于平移和變形的靈敏度。卷積神經(jīng)網(wǎng)絡(luò)的這種結(jié)構(gòu)可以對(duì)平移、旋轉(zhuǎn)、比例縮放、傾斜或者其它形式的變形具有高度不變性［9］。基于卷積神經(jīng)網(wǎng)絡(luò)的高光譜圖像分類首先對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)。通常多層的神經(jīng)網(wǎng)絡(luò)能夠提取更加深層的特征，但是高光譜圖像訓(xùn)練樣本有限，層數(shù)的增加并不會(huì)使分類精度一直上升，而參數(shù)以及計(jì)算開銷則會(huì)一直增大。因此本文在設(shè)置必要的層數(shù)的情況下，減小卷積核的長度來增加網(wǎng)絡(luò)深度，達(dá)到深層學(xué)習(xí)的目的。圖中b為輸入的高光譜圖像波段數(shù)，m為卷積核的長度，k為地物類別個(gè)數(shù)。網(wǎng)絡(luò)輸入為每個(gè)像素的光譜特征向量，第一個(gè)卷積層設(shè)置25個(gè)特征，卷積層的輸出即為平均池化層的輸入，池化后輸入到第二個(gè)卷積層，第二個(gè)卷積層相當(dāng)于一個(gè)全連接層，設(shè)置了300個(gè)特征，最后以概率值輸出分類結(jié)果。在此結(jié)構(gòu)框架下對(duì)卷積神經(jīng)網(wǎng)絡(luò)分類中的算法進(jìn)行改進(jìn)。

（1）循環(huán)學(xué)習(xí)率卷積神經(jīng)網(wǎng)絡(luò)中的可調(diào)參數(shù)眾多，其中學(xué)習(xí)率是需要調(diào)節(jié)的一個(gè)重要參數(shù)。如果學(xué)習(xí)速率過小，則會(huì)導(dǎo)致收斂速度很慢。如果學(xué)習(xí)速率過大，則會(huì)阻礙收斂，即在極值點(diǎn)附近振蕩。并且在實(shí)際應(yīng)用中選擇一個(gè)合理的學(xué)習(xí)速率需要經(jīng)過多次實(shí)驗(yàn)。本文用循環(huán)學(xué)習(xí)率代替單一學(xué)習(xí)率，加快收斂速度，減少參數(shù)試錯(cuò)次數(shù)。循環(huán)學(xué)習(xí)率是通過簡單的實(shí)驗(yàn)選定學(xué)習(xí)率上下邊界后，將學(xué)習(xí)率設(shè)定在這一范圍內(nèi)以一定步長進(jìn)行循環(huán)。

（2）動(dòng)量批處理梯度下降法全量梯度下降法需要將完整的訓(xùn)練集學(xué)習(xí)一次后更新參數(shù)，其優(yōu)點(diǎn)是可以保證梯度下降方向正確，從而使得函數(shù)最終收斂于極值點(diǎn)。但其缺點(diǎn)是時(shí)間成本過高，并且訓(xùn)練集越大消耗的內(nèi)存空間越大，不利于實(shí)際應(yīng)用。隨機(jī)梯度下降法在計(jì)算效率上有明顯提高，但是不能保證每次參數(shù)更新方向都正確，所以存在優(yōu)化波動(dòng)。由于波動(dòng)，使得迭代次數(shù)增多，即收斂速度變慢。本文采用小批量梯度下降方法（mini－batch）。mini－batch梯度下降綜合了全量梯度下降與隨機(jī)梯度下降，使更新速度和更新次數(shù)達(dá)到平衡。小批量梯度下降比隨機(jī)梯度下降收斂波動(dòng)性低，即參數(shù)更新的方差低，因此更新更加穩(wěn)定。小批量梯度下降比全量梯度下降學(xué)習(xí)的速度快、占用內(nèi)存小。

2實(shí)驗(yàn)

本文選取AVIRIS和ROSIS傳感器獲取的高光譜影像作為實(shí)驗(yàn)數(shù)據(jù)集。數(shù)據(jù)集為公開的標(biāo)準(zhǔn)測試數(shù)據(jù)集，經(jīng)過了大氣校正等預(yù)處理，所有的地面真實(shí)值數(shù)據(jù)經(jīng)過了數(shù)據(jù)提供者的實(shí)地調(diào)查和驗(yàn)證。下面對(duì)數(shù)據(jù)集進(jìn)行簡要介紹。

（1）IndianPines數(shù)據(jù)集IndianPines數(shù)據(jù)集是由機(jī)載成像光譜儀AVIRIS在美國印第安納州西北部某農(nóng)林混合室驗(yàn)場采集得到的。圖像具有145×145像素以及224個(gè)光譜波段，波長范圍0．4～2．5μm，空間分辨率25m，去除了覆蓋區(qū)域水吸收的影響的24個(gè)波段，保留了其中200個(gè)波段，最后實(shí)驗(yàn)所使用的實(shí)際圖像大小為145×145×200，包含了16個(gè)地物類別。

（2）PaviaUniversity數(shù)據(jù)集PaviaUniversity數(shù)據(jù)集是由成像光譜儀ROSIS在意大利西北部的帕維亞城市上空采集而來。圖像具有610×340像素以及115個(gè)光譜波段，波長范圍0．43～0．86μm，空間分辨率為1．3m，去除受噪聲和水汽影響較大的波段剩余103個(gè)波段，包含了9個(gè)地物類別。用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)IndianPines數(shù)據(jù)集進(jìn)行分類實(shí)驗(yàn)。抽取數(shù)據(jù)集中已標(biāo)注樣本的10％作為訓(xùn)練樣本，每次實(shí)驗(yàn)訓(xùn)練集均為隨機(jī)抽取，剩下的90％為測試樣本。訓(xùn)練樣本數(shù)和測試樣本數(shù)見表1。將原始數(shù)據(jù)進(jìn)行維納濾波，然后進(jìn)行標(biāo)準(zhǔn)化，此時(shí)經(jīng)過預(yù)處理的數(shù)據(jù)作為輸入層的數(shù)據(jù)，輸入每個(gè)像素為1×200的列向量。經(jīng)過第一層卷積層，卷積核大小為1×3，特征數(shù)設(shè)置為25，采用ReLU激活函數(shù)，此時(shí)每個(gè)像素經(jīng)卷積層輸出為25個(gè)1×198的列向量。卷積層的輸出作為平均池化層的輸入，平均池化層窗口大小為1×2，經(jīng)過這一層后每個(gè)像素輸出為25個(gè)1×99的列向量。之后輸入到第二個(gè)卷積層，卷積核大小為1×99，設(shè)置300個(gè)特征數(shù)，第二個(gè)卷積層起到相當(dāng)于全連接層的作用。最后連接到softmax進(jìn)行分類，該數(shù)據(jù)集有16類地物，因此設(shè)置為輸出16類。網(wǎng)絡(luò)訓(xùn)練中循環(huán)學(xué)習(xí)率上界為0．07，下界為0．001，學(xué)習(xí)率循環(huán)步長為500。梯度下降中動(dòng)量系數(shù)初始設(shè)置為0．5，更新100次后設(shè)置為0．95。訓(xùn)練共迭代58次，30個(gè)樣本更新一次參數(shù)。

3結(jié)束語

本文提出基于卷積神經(jīng)網(wǎng)絡(luò)的高光譜圖像分類方法，通過IndianaPines數(shù)據(jù)集和PaviaUniversity數(shù)據(jù)集進(jìn)行分類實(shí)驗(yàn)，并與傳統(tǒng)分類方法如KNN、LR和RBF－SVM等比較。結(jié)果驗(yàn)證了先進(jìn)行維納濾波可以達(dá)到降噪的目的，提高分類精度；基于卷積神經(jīng)網(wǎng)絡(luò)的高光譜圖像分類方法在神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和算法上改進(jìn)后，分類精度優(yōu)于傳統(tǒng)方法KNN、LR和RBF－SVM等；在計(jì)算時(shí)間上本文方法與當(dāng)前流行的分類方法基本持平。在目前研究的基礎(chǔ)上，加入高光譜圖像的空間信息或進(jìn)一步對(duì)網(wǎng)絡(luò)結(jié)構(gòu)和算法進(jìn)行改進(jìn)是下一步研究的方向。

作者：路易1；吳玲達(dá)2；朱江1 單位：1．裝備學(xué)院研究生管理大隊(duì)，2．裝備學(xué)院復(fù)雜電子系統(tǒng)仿真實(shí)驗(yàn)室