日前，在人工智能框架生态峰会2023上，中国科学院自动化研究所（以下简称自动化所）正式发布“紫东太初”全模态大模型。

自动化所所长徐波研究员介绍，“紫东太初”全模态大模型是在千亿参数多模态大模型“紫东太初”1.0基础上升级打造的2.0版本。其在语音、图像和文本三模态的基础上，加入视频、传感信号、3D点云等模态数据，突破了认知增强的多模态关联等关键技术，具备全模态理解能力、生成能力和关联能力。

“紫东太初”2.0以自动化所自研算法为核心，以昇腾AI硬件及昇思MindSpore AI框架为基础，由武汉人工智能计算中心提供算力支持，着力打造全栈国产化通用人工智能底座。

会上，徐波与工作人员首次对外展示了“紫东太初”全模态大模型在音乐理解与生成、三维场景导航、信号理解、多模态对话等方面的新功能，并邀请现场观众与大模型即时互动。互动中，大模型展示了其在三维场景里的精准定位，以及通过图像与声音的结合实现的场景分析。

据了解，自动化所自2019年起就确立了多模态大模型布局，整合所内图像、文本、语音等研究方向的优势资源开展集团式攻关，并于2021年9月成功打造“紫东太初”1.0多模态大模型，助推人工智能从“一专一能”迈向“多专多能”。“紫东太初”2.0全模态大模型从技术架构上实现了结构化和非结构化数据的全模态开放式接入，突破了多模态分组认知编解码技术、认知增强多模态关联技术等，多模态认知能力大幅提高。

徐波表示，目前，“紫东太初”全模态大模型已展现出广阔的产业应用前景，在神经外科手术导航、短视频内容审核、法律咨询、医疗多模态鉴别诊断、交通违规图像研读等领域已开启了一系列引领性、示范性应用。

（原载于《中国科学报》 2023-06-20 第1版 要闻）