您的位置:首页>媒体报道
【中国科学报】裸眼3D揭秘万米海底
发布时间:2021-01-27 来源:中国科学报 桂运安 【字号:

  日前,2020年中国十大科技进展新闻揭晓,我国无人潜水器和载人潜水器取得新突破入选。鲜为人知的是,为记录“奋斗者”号万米载人深潜,搭载了中国科学技术大学视频压缩核心技术的芯片,跟随“奋斗者”号的“御用摄影师”——“沧海”号一起潜入了万米海底。后期,通过中国科学技术大学教授熊志伟团队的“全海深3D重建与超高清视频处理”,“奋斗者”号深潜过程以及神秘的海底世界将以裸眼3D的形式呈现给观众,让你“身临其境”畅游万米海底。

  2020年11月10日,“奋斗者”号在马里亚纳海沟成功坐底,深度10909米,创造了中国载人深潜新纪录,标志着我国在大深度载人深潜领域达到世界领先水平。

  为真实记录“奋斗者”号万米载人深潜,“全海深视频采集、传输、处理技术研发及系统集成和示范应用”项目被列入2018年国家重点研发计划。其中,“全海深3D重建与超高清视频处理技术研究”是该项目的重要内容,这一课题由熊志伟团队承担。

  熊志伟介绍,他们主要负责全海深超高清3D视频重建算法及演示系统研制,主要研究内容包括深度估计、视角合成两个方面。其中,面向深海场景,研究结构指导的3D视频重建技术;面向实际应用,研究高效高质量的3D视频重建算法加速,搭建一套适用于深海场景的3D视频演示系统。

  “在深海场景视频拍摄过程中,有单目相机和双目相机。双目相机的基线固定,要想获得任意视角下的立体显示,需要对拍摄内容的深度进行估计,从而换转视角重新渲染。这个过程需要很多关键技术的支撑。”团队成员陈雪锦透露,团队研究了多尺度残差结构预测的深度神经网络来提高3D视频重建精度,他们在缺乏万米海深的训练视频数据情况下,通过采用少量浅水数据以及图形合成技术来模拟深海复杂场景,努力提高场景细节结构的保真度。

  陈雪锦介绍,深海场景拍摄的双目视频往往是固定视角,在后期制作时,近景时双目相机基线较小就可以获得较好的3D效果,但远景时双目相机基线必须够大才能感受到3D效果,因此需要根据不同的视角合成新的3D视频。基于对深海场景的深度估计,团队根据新视角合成可见部分内容,重点在于保持背景和前景的结构细节;对于不可见部分,则根据在深度估计网络中提取到的语义和几何结构信息,指导缺失区域的内容填补,完成保持场景内容的无缝区域填补。

  (原载于《中国科学报》 2021-01-27 第4版 综合)
(责任编辑:张芳丹)
© 1996 - 2020 中国科学院 版权所有 备案序号:京ICP备05002857号 联系我们 地址:北京市三里河路52号 邮编:100864