近日,中國科學(xué)院西安光機所空間光學(xué)技術(shù)研究室在計算成像可解釋性深度學(xué)習(xí)重建方法研究取得創(chuàng)新性進展。相關(guān)研究成果發(fā)表于計算機視覺與圖形學(xué)領(lǐng)域國際著名期刊Computational Visual Media(簡稱CMVJ,IF:17.3),該期刊影響因子位居JCR計算機學(xué)科軟件工程類期刊首位。西安光機所李寶鵬高級工程師為論文第一作者,西安光機所馬彩文研究員和西安交通大學(xué)謝琦副教授為共同通信作者。西安光機所樊學(xué)武研究員、趙惠研究員、高偉研究員、楊明洋研究助理,西安交通大學(xué)潘志斌教授和孟德宇教授為合作者。論文的第一完成單位為中國科學(xué)院西安光機所,通訊單位為中國科學(xué)院西安光機所和西安交通大學(xué)。
傅里葉疊層成像是一種新興的計算成像技術(shù),其成像的正向模型包括光瞳函數(shù)的低通濾波、光瞳在頻域內(nèi)的掃描采樣、傅里葉變換和復(fù)雜的成像噪聲污染。傳統(tǒng)基于深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)(如卷積神經(jīng)網(wǎng)絡(luò))方法在遠距離場景下,環(huán)境噪聲干擾更為復(fù)雜,高分辨率圖像重建難度顯著增加。
圖1 MDFP-Net網(wǎng)絡(luò)結(jié)構(gòu)
對此,研究團隊創(chuàng)新性地提出了一種融合可學(xué)習(xí)正則化項的優(yōu)化模型,結(jié)合近端梯度優(yōu)化算法,為構(gòu)建可解釋的深度學(xué)習(xí)模型奠定理論基礎(chǔ)。基于此,團隊設(shè)計出全新模型驅(qū)動的傅里葉疊層重建網(wǎng)絡(luò)(MDFP-Net),MDFP-Net為首個通過復(fù)數(shù)域與實數(shù)域交替迭代優(yōu)化,將振幅流重建算法嵌入網(wǎng)絡(luò)結(jié)構(gòu)的深度可展開網(wǎng)絡(luò),有效實現(xiàn)了振幅的重構(gòu)。MDFP-Net的各模塊設(shè)計具有明晰的物理意義,使傅里葉疊層重建過程的所有模塊均具備可解釋性,顯著提升了深度學(xué)習(xí)在計算成像中的理論合理性與計算成像性能。
圖2 不同方法仿真圖像重建結(jié)果
圖3 實驗場景
圖4 不同方法8.7m真實場景重建結(jié)果
為驗證MDFP-Net在實現(xiàn)高質(zhì)量和快速重建方面的有效性,研究團隊開發(fā)了一套遠距離反射式傅里葉疊層成像系統(tǒng),順利完成了8.7m外真實樣本數(shù)據(jù)采集。研究成果在既推動了傅里葉疊層成像技術(shù)的認知深化,也通過創(chuàng)新性地融合深度學(xué)習(xí)與計算成像方法,為計算光學(xué)成像的研究提供了新的技術(shù)思路,未來有望突破更遠距離成像場景限制,有為遙感等領(lǐng)域應(yīng)用提供技術(shù)支撐的潛力。
研究得到中國科學(xué)院西部青年學(xué)者項目和超快光科學(xué)與技術(shù)全國重點實驗室開放基金的資助。
西安光機所空間光學(xué)技術(shù)研究室始終緊密圍繞國家重大工程需求,專注于高分辨率成像技術(shù)的深入研究。研究室繼承并發(fā)展了傳統(tǒng)的高分辨率相機技術(shù),積極探索新型高分辨率成像技術(shù)、相位恢復(fù)和深度學(xué)習(xí)等前沿科技領(lǐng)域。