近日，南京理工大學電子工程與光電技術(shù)學院陳錢、左超教授課題組提出一種基于深度學習的單幀結(jié)構(gòu)光三維超快成像技術(shù)。該工作以“Single-shot super-resolved fringe projection profilometry (SSSR-FPP): 100,000 frames-per-second 3D imaging with deep learning”為題發(fā)表在國際頂尖光學期刊Light: Science & Applications，并當被選為封底文章。電光學院博士生王博文和陳文武為本文共同第一作者，南京理工大學為第一完成單位和通訊單位。
 

　　為了揭示力學、物理學和生物學中的瞬態(tài)事件，研究者們長期致力于探索具有高時空分辨能力的三維成像技術(shù)。條紋投影輪廓術(shù)憑借其非接觸、高速、高精度和全場測量等優(yōu)勢，已成為當前最熱門的技術(shù)之一。隨著數(shù)字光投影器、高速光探測器等光電器件的跨越式發(fā)展，結(jié)構(gòu)光三維成像技術(shù)也面臨著更高的期望——既要“高精度”，又要“高速度”。因此，如何在單幅投影圖案下實現(xiàn)高精度的三維重建始終是該領(lǐng)域的研究目標。
 

　　為提升條紋投影輪廓術(shù)的成像速度，我校陳錢、左超教授團隊于2018年提出了微頻移傅里葉法(μFTP)，有效降低三維重建所需的圖像幀數(shù)/編碼數(shù)量，首次實現(xiàn)速度為10,000 fps的超快結(jié)構(gòu)光三維成像。然而，進一步提高成像幀率則會面臨像素分辨率下降(受限于讀出帶寬)及信噪比急劇降低(曝光時間縮短)的雙重挑戰(zhàn)。因此，如何實現(xiàn)“高分辨、快幀頻、高信噪比”的三維成像探測仍是亟待突破的難題。
 

　　隨著深度學習技術(shù)的迅猛發(fā)展，光學計量學也迎來了范式轉(zhuǎn)變。為突破傳統(tǒng)結(jié)構(gòu)光成像系統(tǒng)有限空間帶寬積的制約，近日我校陳錢、左超教授課題組結(jié)合人工智能相位解碼與超分辨重建技術(shù)，提出基于深度學習的超時空分辨單幀結(jié)構(gòu)光三維成像方法(Single-shot super-resolved fringe projection profilometry, SSSR-FPP)，并使用與微頻移傅里葉法“同樣的硬件”系統(tǒng)，即可實現(xiàn)高分辨率絕對相位的精確解耦并將成像速度提升一個量級以上——首次實現(xiàn)了100,000 fps下的超時空分辨單幀結(jié)構(gòu)光三維成像。研究團隊通過對不同類型瞬態(tài)場景進行實驗演示，包括旋轉(zhuǎn)的渦輪風扇葉片，玩具槍發(fā)射的子彈，蒸汽機的往復運動等，展示提出方法在100,000 Hz下的超快三維成像能力，為瞬態(tài)物理過程的研究提供了強有力的技術(shù)支持。
 

圖1 SSSR-FPP系統(tǒng)示意圖
 

　　圖源：Light: Science & Applications

 

　　如圖2所示，SSSR-FPP僅使用一對低信噪比、低分辨率(160×160)的條紋圖像作為輸入，并通過部分讀出成像窗口來實現(xiàn)成像幀頻的顯著提升，結(jié)合建立的物理域調(diào)控信息與后端統(tǒng)計模型的關(guān)聯(lián)信息即可實現(xiàn)高分辨率(480×480)絕對相位的精確解耦。SSSR-FPP采用了兩個結(jié)構(gòu)相似但功能不同的卷積神經(jīng)網(wǎng)絡(luò)，它們獨立且順序地進行訓練以實現(xiàn)高分辨的相位復原及相位展開。其中，SSSR-FPP方法通過將鏡頭焦距增加三倍的方式(從24 mm電控調(diào)焦到72 mm)以實現(xiàn)高低分辨數(shù)據(jù)之間的映射學習。這一策略使得SSSR-FPP的成像框架能夠結(jié)合具有“物理意義”的圖像形成先驗知識，更加可靠地學習潛在信息，并“重建”丟失的空間分辨率(三倍像素分辨率的提升)。
 

圖2 SSSR-FPP方法流程圖
 

　　圖源：Light: Science & Applications

 

　　研究團隊通過對兩個獨立的被測物體(高速旋轉(zhuǎn)的風扇葉片和靜態(tài)石膏模型)進行動態(tài)測量實驗以驗證SSSR-FPP的時空分辨能力。盡管原始條紋圖像中存在嚴重的背景噪聲及圖像像素化成像問題，SSSR-FPP仍能清晰重建風扇的幾何結(jié)構(gòu)及石膏模型表面細節(jié)。為驗證測量結(jié)果的可重復性，在風扇葉片上選取A、B、C三點，并繪制15 ms內(nèi)的深度變化，結(jié)果表明SSSR-FPP在高速測量過程中展現(xiàn)出優(yōu)異的穩(wěn)定性及可重復性。
 

圖3 SSSR-FPP方法對旋轉(zhuǎn)葉片及靜態(tài)石膏模型的三維測量結(jié)果
 

　　圖源：Light: Science & Applications

 

　　此外，研究團隊使用這項技術(shù)對每分鐘約9771轉(zhuǎn)的渦扇發(fā)動機模型實現(xiàn)了動態(tài)測量，如圖4所示，從兩個不同的角度展示了對渦扇發(fā)動機模型的三維渲染結(jié)果。借助于SSSR-FFP的高時空分辨能力，研究團隊提供了以0.01 ms為時間間隔的連續(xù)三維測量結(jié)果，可清晰捕捉到運轉(zhuǎn)齒輪在不同時刻的紋理細節(jié)。相關(guān)實驗結(jié)果進一步表明SSSR-FPP方法可有效克服傳統(tǒng)成像技術(shù)在超快瞬態(tài)現(xiàn)象捕捉中的速度瓶頸，同時在確保高精度三維成像的基礎(chǔ)上提供了足夠的空間分辨率，彌補了成像速度與分辨率之間的鴻溝，使三維成像速率提升至100,000 fps以上，刷新了超快瞬態(tài)結(jié)構(gòu)光三維成像速度的紀錄。
 

圖4 SSSR-FPP方法對渦扇發(fā)動機模型的三維測量結(jié)果
 

　　圖源：Light: Science & Applications

 

　　上述工作得到了國家重點研發(fā)計劃、基金委國家重大科研儀器研制項目、基金委聯(lián)合基金重點項目、中央高校基礎(chǔ)科研業(yè)務費專項資金等項目的支持。