加快打造原始创新策源地,加快突破关键核心技术,努力抢占科技制高点,为把我国建设成为世界科技强国作出新的更大的贡献。

——习近平总书记在致中国科学院建院70周年贺信中作出的“两加快一努力”重要指示要求

面向世界科技前沿、面向经济主战场、面向国家重大需求、面向人民生命健康,率先实现科学技术跨越发展,率先建成国家创新人才高地,率先建成国家高水平科技智库,率先建设国际一流科研机构。

——中国科学院办院方针

首页 > 科研进展

微电子所等在忆阻器实现连续学习方面取得进展

2022-06-10 微电子研究所
【字体:

语音播报

  近年来,以深度学习和神经网络为代表的人工智能技术,在人脸识别、自动驾驶、智慧城市和健康监测等领域迅速发展。然而,传统神经网络模型在处理多任务连续学习时面临灾难性遗忘问题,即神经网络在学习新任务时会遗忘已学到的知识,导致在执行先前任务时性能大幅下降。

  中国科学院院士、中科院微电子研究所微电子器件与集成技术重点实验室研究员刘明团队研究员尚大山、香港大学博士王中锐与清华大学教授刘勇攀等,基于忆阻器存算一体芯片,开发了一款软-硬件协同设计的连续学习原型系统。在软件方面,受人类大脑启发,科研团队提出了一种基于突触元可塑性的混合精度连续学习模型(MPCL)。该模型采用前馈全连接神经网络架构,其中隐藏层权重分别由二值权重和浮点型权重两部分组成(图a)。模型进行多任务连续学习时采用非对称权重更新策略,通过限制与新任务相关性弱的权重更新,平衡权重的可塑性与稳定性,从而有效缓解灾难性遗忘(图b)。在硬件方面,科研人员将MPCL模型部署在一个由忆阻器(RRAM)存算一体(IMC)芯片和通用数字处理器组成的混合模拟数字硬件系统上(图c)。通过将二进制权重映射到忆阻器阵列,该系统采用IMC计算范式,利用基尔霍夫定律和欧姆定律加速向量矩阵乘法操作,减少了处理器和存储器之间数据传输的能量和时间开销。同时,为减轻忆阻器非理想因素对系统性能的影响,研究团队在软件模拟中重构了与硬件完全相同的计算流程,利用原位精调的方法优化了权重的映射过程,并使硬件系统在保持推理准确率的同时最大限度地提高计算并行度(图d)。该原型系统在MNIST和Fashion MNIST数据集上分别实现五个任务连续学习94.9%和95.3%的平均准确率(图e),同时,相较于传统数字系统,核心运算能耗得到大幅降低(图f)。这种基于忆阻器存算一体能力的连续学习实现方案,为未来构建具有自适应能力的低能耗人工智能体提供了参考。

  近日,相关研究成果发表在《先进智能系统》Advanced Intelligent Systems)上。Wiley学术出版集团科技新闻网站Advanced Science News以Continual learning, just like humans为题,对该成果进行了专题报道。研究工作得到科技部、国家自然科学基金委员会、中科院与香港大学的支持。

  a、混合精度连续学习模型程序框图;b、非对称更新策略限制权重更新;c、基于忆阻器芯片的数模混合硬件系统;d、并行度优化前后准确率对比;e、多任务连续学习的硬件准确率与软件基准对比;f、与数字系统MAC功耗对比。

打印 责任编辑:侯茜

扫一扫在手机打开当前页

© 1996 - 中国科学院 版权所有 京ICP备05002857号-1 京公网安备110402500047号 网站标识码bm48000002

地址:北京市西城区三里河路52号 邮编:100864

电话: 86 10 68597114(总机) 86 10 68597289(总值班室)

编辑部邮箱:casweb@cashq.ac.cn

  • © 1996 - 中国科学院 版权所有 京ICP备05002857号-1 京公网安备110402500047号 网站标识码bm48000002

    地址:北京市西城区三里河路52号 邮编:100864

    电话: 86 10 68597114(总机) 86 10 68597289(总值班室)

    编辑部邮箱:casweb@cashq.ac.cn

  • © 1996 - 中国科学院 版权所有
    京ICP备05002857号-1
    京公网安备110402500047号
    网站标识码bm48000002

    地址:北京市西城区三里河路52号 邮编:100864
    电话:86 10 68597114(总机)
       86 10 68597289(总值班室)
    编辑部邮箱:casweb@cashq.ac.cn