院况简介
1949年,伴随着新中国的诞生,中国科学院成立。
作为国家在科学技术方面的最高学术机构和全国自然科学与高新技术的综合研究与发展中心,建院以来,中国科学院时刻牢记使命,与科学共进,与祖国同行,以国家富强、人民幸福为己任,人才辈出,硕果累累,为我国科技进步、经济社会发展和国家安全做出了不可替代的重要贡献。 更多简介 +
院领导集体
创新单元
科技奖励
科技期刊
工作动态/ 更多
中国科学院学部
中国科学院院部
语音播报
该研究分别提出了双路采样算法、汇点连接空间和弹性缩放策略。
针对算子层面的搜索,该研究实验发现现有的单路采样方法会导致算子崩溃现象发生,即在搜索过程的早期阶段算法就在某些搜索层中聚焦于某一个特定的算子,并在余下的搜索过程中陷入其中保持不变,导致搜索到非最优的网络架构。针对此问题,该研究设计了多种采样方式,发现加入随机路径采样的双路采样方法可有效缓解算子崩溃现象发生。
针对深度层面的搜索,现有算法通常直接将跨层(Skip)算子加入到待搜索候选算子集中。但由于跨层算子的非参数性以及与其他算子的互斥性,这种设计方式会导致网络深度的搜索不稳定,在整个搜索过程中有非常大的抖动。此外,跨层算子的直接加入也会引起架构冗余现象发生。为了解决这个问题,该研究设计了一个汇点连接搜索空间,将跨层算子的搜索剥离出来,增加深度搜索稳定性,同时也解决了架构冗余问题。
针对宽度层面的搜索,该研究发现由于宽度搜索空间粗粒度的离散性和无界的资源约束目标函数项,现有方法很难搜索到严格满足特定资源约束的网络架构,且对资源约束目标函数项的超参数设置十分敏感。为缓解这些问题,该研究提出弹性缩放策略在搜索过程中动态自适应地调整超网络中每一搜索层中每一搜索算子的宽度。
相关成果已被计算机视觉领域学术会议ECCV2020接收。
三自由度网络架构搜索框架图
搜索过程中架构深度变化和架构冗余
弹性缩放策略
不同资源约束目标函数项下弹性缩放的有效性
GPU和CPU上搜索架构结果,GPU时延测试批大小为32,CPU时延测试批大小为1
© 1996 - 中国科学院 版权所有 京ICP备05002857号-1 京公网安备110402500047号 网站标识码bm48000002
地址:北京市西城区三里河路52号 邮编:100864
电话: 86 10 68597114(总机) 86 10 68597289(总值班室)
编辑部邮箱:casweb@cashq.ac.cn
© 1996 - 中国科学院 版权所有 京ICP备05002857号-1 京公网安备110402500047号 网站标识码bm48000002
地址:北京市西城区三里河路52号 邮编:100864
电话: 86 10 68597114(总机) 86 10 68597289(总值班室)
编辑部邮箱:casweb@cashq.ac.cn
© 1996 - 中国科学院 版权所有
京ICP备05002857号-1
京公网安备110402500047号
网站标识码bm48000002
地址:北京市西城区三里河路52号 邮编:100864
电话:86 10 68597114(总机)
86 10 68597289(总值班室)
编辑部邮箱:casweb@cashq.ac.cn