主要职责
中国科学院贯彻落实党中央关于科技创新的方针政策和决策部署,在履行职责过程中坚持党中央对科技工作的集中统一领导。主要职责是:
一、开展使命导向的自然科学领域基础研究,承担国家重大基础研究、应用基础研究、前沿交叉共性技术研究和引领性颠覆性技术研究任务,打造原始创新策源地。 更多+
院况简介
中国科学院是国家科学技术界最高学术机构、国家科学技术思想库,自然科学基础研究与高技术综合研究的国家战略科技力量。
1949年,伴随着新中国的诞生,中国科学院成立。建院70余年来,中国科学院时刻牢记使命,与科学共进,与祖国同行,以国家富强、人民幸福为己任,人才辈出,硕果累累,为我国科技进步、经济社会发展和国家安全作出了不可替代的重要贡献。 更多+
院领导集体
科技奖励
科技期刊
科技专项
科研进展/ 更多
工作动态/ 更多
工作动态/ 更多
中国科学院学部
中国科学院院部
语音播报
新一期《科学》发表的一项研究显示,当人类用户就人际困境等问题向人工智能(AI)模型寻求建议时,AI常表现得过度迎合或谄媚,对于一些有害甚至违法的提问,AI也常常肯定用户的立场。
美国斯坦福大学研究团队测试了ChatGPT、“克劳德”等11个主流AI系统,发现它们都表现出不同程度的谄媚,即过度迎合和肯定的倾向。这种迎合倾向给使用者带来风险,因为人们越来越多地转向AI寻求有关人际困境的建议,这对处于大脑发育和社会规范形成阶段的青少年来说尤其具有风险。
研究人员使用现有的人际建议数据集向模型提问。他们基于某网络论坛中用户一致认为发帖者确实有错的帖子,编写了2000条提示用于测试。此外,他们还利用包含欺骗等数千种有害行为的陈述向这些模型提问。
结果显示,与人类回应相比,所有接受测试的AI模型都更频繁地肯定用户立场。在一般性建议和根据网络论坛发帖编写提示的测试中,模型对用户的认同概率比人类高出49%。即使在回应关于有害行为的询问时,模型也有47%的概率会认可这些行为。
对于AI的谄媚倾向,人们作何反应?研究团队招募了2400多名参与者,与不同类型AI进行有关人际困境的对话。结果发现,参与者总体上认为谄媚式的回应更值得信赖,并表示下次遇到类似问题可能会再次使用谄媚型AI。
研究人员认为,AI一味反馈迎合和谄媚的建议会损害人们的社交能力。他们提醒,AI模型“过度谄媚”是一个“安全问题”,需要对其进行监管,应以更严格的标准来防止道德层面不安全的模型泛滥。他们还说,人们在向AI寻求建议时要保持谨慎,尤其在面临社交困惑时,不能把AI当成真人替代品。
扫一扫在手机打开当前页
© 1996 - 中国科学院 版权所有 京ICP备05002857号-1
京公网安备110402500047号 网站标识码bm48000002
地址:北京市西城区三里河路52号 邮编:100864
电话: 86 10 68597114(总机) 86 10 68597289(总值班室)








