近日，南京理工大学电子工程与光电技术学院陈钱、左超教授课题组提出一种基于深度学习的单帧结构光三维超快成像技术。该工作以“Single-shot super-resolved fringe projection profilometry (SSSR-FPP): 100,000 frames-per-second 3D imaging with deep learning”为题发表在国际顶尖光学期刊Light: Science & Applications，并当被选为封底文章。电光学院博士生王博文和陈文武为本文共同第一作者，南京理工大学为第一完成单位和通讯单位。
为了揭示力学、物理学和生物学中的瞬态事件，研究者们长期致力于探索具有高时空分辨能力的三维成像技术。条纹投影轮廓术凭借其非接触、高速、高精度和全场测量等优势，已成为当前最热门的技术之一。随着数字光投影器、高速光探测器等光电器件的跨越式发展，结构光三维成像技术也面临着更高的期望——既要“高精度”，又要“高速度”。因此，如何在单幅投影图案下实现高精度的三维重建始终是该领域的研究目标。
为提升条纹投影轮廓术的成像速度，我校陈钱、左超教授团队于2018年提出了微频移傅里叶法(μFTP)，有效降低三维重建所需的图像帧数/编码数量，首次实现速度为10,000 fps的超快结构光三维成像。然而，进一步提高成像帧率则会面临像素分辨率下降(受限于读出带宽)及信噪比急剧降低(曝光时间缩短)的双重挑战。因此，如何实现“高分辨、快帧频、高信噪比”的三维成像探测仍是亟待突破的难题。
随着深度学习技术的迅猛发展，光学计量学也迎来了范式转变。为突破传统结构光成像系统有限空间带宽积的制约，近日我校陈钱、左超教授课题组结合人工智能相位解码与超分辨重建技术，提出基于深度学习的超时空分辨单帧结构光三维成像方法(Single-shot super-resolved fringe projection profilometry, SSSR-FPP)，并使用与微频移傅里叶法“同样的硬件”系统，即可实现高分辨率绝对相位的精确解耦并将成像速度提升一个量级以上——首次实现了100,000 fps下的超时空分辨单帧结构光三维成像。研究团队通过对不同类型瞬态场景进行实验演示，包括旋转的涡轮风扇叶片，玩具枪发射的子弹，蒸汽机的往复运动等，展示提出方法在100,000 Hz下的超快三维成像能力，为瞬态物理过程的研究提供了强有力的技术支持。
图1 SSSR-FPP系统示意图
图源：Light: Science & Applications
如图2所示，SSSR-FPP仅使用一对低信噪比、低分辨率(160×160)的条纹图像作为输入，并通过部分读出成像窗口来实现成像帧频的显著提升，结合建立的物理域调控信息与后端统计模型的关联信息即可实现高分辨率(480×480)绝对相位的精确解耦。SSSR-FPP采用了两个结构相似但功能不同的卷积神经网络，它们独立且顺序地进行训练以实现高分辨的相位复原及相位展开。其中，SSSR-FPP方法通过将镜头焦距增加三倍的方式(从24 mm电控调焦到72 mm)以实现高低分辨数据之间的映射学习。这一策略使得SSSR-FPP的成像框架能够结合具有“物理意义”的图像形成先验知识，更加可靠地学习潜在信息，并“重建”丢失的空间分辨率(三倍像素分辨率的提升)。
图2 SSSR-FPP方法流程图
图源：Light: Science & Applications
研究团队通过对两个独立的被测物体(高速旋转的风扇叶片和静态石膏模型)进行动态测量实验以验证SSSR-FPP的时空分辨能力。尽管原始条纹图像中存在严重的背景噪声及图像像素化成像问题，SSSR-FPP仍能清晰重建风扇的几何结构及石膏模型表面细节。为验证测量结果的可重复性，在风扇叶片上选取A、B、C三点，并绘制15 ms内的深度变化，结果表明SSSR-FPP在高速测量过程中展现出优异的稳定性及可重复性。
图3 SSSR-FPP方法对旋转叶片及静态石膏模型的三维测量结果
图源：Light: Science & Applications
此外，研究团队使用这项技术对每分钟约9771转的涡扇发动机模型实现了动态测量，如图4所示，从两个不同的角度展示了对涡扇发动机模型的三维渲染结果。借助于SSSR-FFP的高时空分辨能力，研究团队提供了以0.01 ms为时间间隔的连续三维测量结果，可清晰捕捉到运转齿轮在不同时刻的纹理细节。相关实验结果进一步表明SSSR-FPP方法可有效克服传统成像技术在超快瞬态现象捕捉中的速度瓶颈，同时在确保高精度三维成像的基础上提供了足够的空间分辨率，弥补了成像速度与分辨率之间的鸿沟，使三维成像速率提升至100,000 fps以上，刷新了超快瞬态结构光三维成像速度的纪录。
图4 SSSR-FPP方法对涡扇发动机模型的三维测量结果
图源：Light: Science & Applications
上述工作得到了国家重点研发计划、基金委国家重大科研仪器研制项目、基金委联合基金重点项目、中央高校基础科研业务费专项资金等项目的支持。
