加快打造原始创新策源地,加快突破关键核心技术,努力抢占科技制高点,为把我国建设成为世界科技强国作出新的更大的贡献。

——习近平总书记在致中国科学院建院70周年贺信中作出的“两加快一努力”重要指示要求

面向世界科技前沿、面向经济主战场、面向国家重大需求、面向人民生命健康,率先实现科学技术跨越发展,率先建成国家创新人才高地,率先建成国家高水平科技智库,率先建设国际一流科研机构。

——中国科学院办院方针

首页 > 科研进展

苏州医工所在多聚焦图像融合领域取得进展

2023-11-22 苏州生物医学工程技术研究所
【字体:

语音播报

景深是光学系统中最近和最远的清晰成像平面之间的距离。景深越大,该光学系统可清晰成像的范围就越广。由于光学镜头的景深限制,难以获得全聚焦图像,即其中往往存在一部分模糊区域。解决这一问题的有效方法之一是多聚焦图像融合(MFIF)。MFIF旨在将对同一场景中的不同物体分别进行聚焦得到的多幅局部聚焦图像进行融合,得到所有物体都清晰的全聚焦图像。MFIF可以有效的扩展光学镜头的景深,使成像系统突破景深限制,以获得更高质量的图像。 

目前,在MFIF领域中,深度学习方法的效果明显优于传统算法。近年来,基于深度学习的MFIF算法发展迅速,但科学家往往致力于设计越来越复杂的网络结构、模块和损失函数来提升算法的融合性能。这意味着必须花费大量的时间来设计巧妙的网络结构,并完成足够多的对比实验。而这不利于算法性能的提升,导致当前的MFIF算法性能遇到了瓶颈。 

为此,中国科学院苏州生物医学工程技术研究所付威威团队重新考虑了图像融合任务,并将其建模为一种条件生成模型。该团队结合当前图像生成领域效果最好的扩散模型(Diffusion Models),提出了一种基于扩散模型的MFIF算法——FusionDiff(FusionDiff的图像融合原理如图1所示)。这是该扩散模型在多聚焦图像融合领域的首次应用,为该领域的研究提供了新思路。 

经过实验验证,FusionDiff在融合效果和小样本学习性能上均优于其他MFIF算法。FusionDiff在8种评价指标上与13种代表性的MFIF算法进行了对比,取得了最好的融合效果(表1、2)。同时,FusionDiff是一种小样本学习的MFIF算法,仅需要100对训练集就能够取得良好的融合效果。表3展示了不同MFIF算法的训练集规模,FusionDiff的训练集规模降低为其他算法的2%以内。这意味着该算法可能适用于样本稀缺的应用场景,如显微图像融合。

相关研究成果以FusionDiff: Multi-focus image fusion using denoising diffusion probabilistic models为题,发表在《专家系统与应用》(Expert Systems with Applications)上。研究工作得到山东省自然科学基金和中国科学院青年创新促进会的支持。

论文链接

FusionDiff算法的图像融合原理示意图

表1. 在Lytro公开测试集上所有算法的平均得分

表2. 在MFFW公开测试集上所有算法的平均得分

表3. 不同MFIF算法的训练集规模

打印 责任编辑:侯茜

扫一扫在手机打开当前页

© 1996 - 中国科学院 版权所有 京ICP备05002857号-1 京公网安备110402500047号 网站标识码bm48000002

地址:北京市西城区三里河路52号 邮编:100864

电话: 86 10 68597114(总机) 86 10 68597289(总值班室)

编辑部邮箱:casweb@cashq.ac.cn

  • © 1996 - 中国科学院 版权所有 京ICP备05002857号-1 京公网安备110402500047号 网站标识码bm48000002

    地址:北京市西城区三里河路52号 邮编:100864

    电话: 86 10 68597114(总机) 86 10 68597289(总值班室)

    编辑部邮箱:casweb@cashq.ac.cn

  • © 1996 - 中国科学院 版权所有
    京ICP备05002857号-1
    京公网安备110402500047号
    网站标识码bm48000002

    地址:北京市西城区三里河路52号 邮编:100864
    电话:86 10 68597114(总机)
       86 10 68597289(总值班室)
    编辑部邮箱:casweb@cashq.ac.cn