首页 > 科研进展

科学工作流执行优化研究获进展

2025年12月31日 计算机网络信息中心
【字体:

语音播报

科学工作流由相互依赖的计算任务构成,已成为现代科学计算的基石。当前计算资源快速提升,但网络与I/O带宽发展相对滞后,加之超算互联网、AI+大数据等推动数据密集型工作流兴起,数据交互环节成为制约部分科学工作流性能的瓶颈。

为优化计算任务与数据交互的协同,提高工作流整体性能,近日,中国科学院计算机网络信息中心提出面向高性能计算环境、以数据为中心的科学工作流执行框架高性能计算工作流。该工作流采用数据驱动式异步执行模式,节省集中式协调开销,实现计算与数据交互的异步流水线式执行;引入上下文感知的数据传输机制,提升不同场景下的数据传输效率;建立输入数据同步机制,保障资源动态扩缩时跨节点并行任务的输入数据完整性,增强系统在真实高性能计算集群中的适用性与鲁棒性。

生产级高性能计算环境实证评估表明,高性能计算工作流可节省集中式协调开销,实现计算与数据传输的异步流水线,在数据密集型场景下表现出性能优势。在大规模视频处理工作流实验中,高性能计算工作流实现的流水线重叠,能节省38.8%延迟。相较于传统执行方式,高性能计算工作流通过协同优化计算任务与数据交互,可降低科学工作流总完成时间与端到端延迟。

研究成果发表在CCF Transactions on High Performance Computing。研究工作得到国家重点研发计划的支持。

打印 责任编辑:范思璐

扫一扫在手机打开当前页

© 1996 - 中国科学院 版权所有 京ICP备05002857号-1 京公网安备110402500047号 网站标识码bm48000002

地址:北京市西城区三里河路52号 邮编:100864

电话: 86 10 68597114(总机) 86 10 68597289(总值班室)