院况简介
1949年,伴随着新中国的诞生,中国科学院成立。
作为国家在科学技术方面的最高学术机构和全国自然科学与高新技术的综合研究与发展中心,建院以来,中国科学院时刻牢记使命,与科学共进,与祖国同行,以国家富强、人民幸福为己任,人才辈出,硕果累累,为我国科技进步、经济社会发展和国家安全做出了不可替代的重要贡献。 更多简介 +
院领导集体
创新单元
科技奖励
科技期刊
工作动态/ 更多
中国科学院学部
中国科学院院部
语音播报
在Spark SQL框架应用中,配置参数优化是常常面临的问题。现有的机器学习优化方法大多时间成本高、无法很好适应所处理的数据量变化。
近日,中国科学院深圳先进技术研究院先进计算与数字工程研究所异构智能计算中心提出低时间成本、能够适应输入数据集大小变化的配置自动优化方法LOCAT。该方法由三个核心技术组成。该研究首先设计了query与配置参数敏感性分析技术。在收集训练样本时,从给定工作负载中识别并删除与配置参数不敏感的query。其次,对于其余的query,LOCAT通过计算相关性系数来识别重要的配置参数,然后应用核主成分分析来降低配置参数搜索维度。最后,LOCAT设计了感知数据集大小的贝叶斯优化来搜索最优配置,以便能根据数据集的大小自动优化性能。基于TPC-DS、TPC-H与HiBench测试基准的实验表明,分别在8台高性能x86服务器的集群环境与4台高性能ARM服务器的集群环境下,较当前最先进的自动调优解决方案,LOCAT降低优化时间成本达9.7倍,而且获得了高达2.8倍的性能提升。
相关成果以LOCAT: Low-Overhead Online Configuration Auto-Tuning of Spark SQL Applications为题,发表在ACM SIGMOD(数据管理国际会议)2022上。
LOCAT框架
扫一扫在手机打开当前页
© 1996 - 中国科学院 版权所有 京ICP备05002857号-1 京公网安备110402500047号 网站标识码bm48000002
地址:北京市西城区三里河路52号 邮编:100864
电话: 86 10 68597114(总机) 86 10 68597289(总值班室)
编辑部邮箱:casweb@cashq.ac.cn
© 1996 - 中国科学院 版权所有 京ICP备05002857号-1 京公网安备110402500047号 网站标识码bm48000002
地址:北京市西城区三里河路52号 邮编:100864
电话: 86 10 68597114(总机) 86 10 68597289(总值班室)
编辑部邮箱:casweb@cashq.ac.cn
© 1996 - 中国科学院 版权所有
京ICP备05002857号-1
京公网安备110402500047号
网站标识码bm48000002
地址:北京市西城区三里河路52号 邮编:100864
电话:86 10 68597114(总机)
86 10 68597289(总值班室)
编辑部邮箱:casweb@cashq.ac.cn