BDS国家工程研究中心发布国内首份《大语言模型提示注入攻击安全风险分析报告》

2023-07-06 17:59:51 | 来源:北京商报


(资料图片仅供参考)

伴随着大模型等人工智能产业的快速发展,新的安全风险挑战也接踵而至。今天上午,大数据协同安全技术国家工程研究中心(以下简称“BDS国家工程中心”)发布了国内首份《大语言模型提示注入攻击安全风险分析报告》(以下简称“报告”),为国内大模型安全发展提供整体指南。报告指出,提示注入攻击已成大模型安全威胁之首,建议从安全测评、安全防御、安全监测预警等方面,多维度提升大模型的安全性。、

大语言模型引领创新浪潮席卷全球,国内迄今已有80余个大模型公开发布。在引领新一轮工业革命的同时,大模型的安全风险也引发广泛担忧。此前,BDS国家工程中心的AI安全实验室在承担“安全大脑国家新一代人工智能开放创新平台”研究中,对ChatGPT、BARD、Bing Chat等大模型产品进行了风险评估,发现主流厂商的相关服务全部存在提示注入攻击的安全风险。此外,AI安全实验室还在主流AI框架中发现200多个漏洞,影响超过40亿终端设备。5月30日,二十届中央国家安全委员会第一次会议上也明确提出,需“提升网络数据人工智能安全治理水平”。

目前大语言模型面临的风险类型包括提示注入攻击、对抗攻击、后门攻击、数据污染、软件漏洞、隐私滥用等多种风险。在这些安全威胁中,提示注入攻击因利用有害提示覆盖大语言模型的原始指令,具有极高危害性,也被全球性安全组织OWASP列为大语言模型十大安全威胁之首。

为推动行业采取有效防御措施,构建更加安全可信的大语言模型,BDS国家工程中心发布了国内首份《大语言模型提示注入攻击安全风险分析报告》。 报告面向大语言模型的提示注入攻击和防御技术展开研究,并通过构建了包含36000条的提示注入攻击验证数据的数据集,覆盖3类典型攻击方法和6类安全场景,用于对大语言模型的提示注入攻击风险测评。

测评结果显示,目前的大型语言模型普遍面临提示注入攻击安全风险,包括在自动问答系统中误导用户,或者通过对话系统中的输入操纵回答结果。该报告在大模型安全测评、安全防御、安全监测预警方面给出相关建议。在安全测评方面,需进行网络安全测评和内容安全测评,检测模型软件、插件及供应链等的安全漏洞,并评估模型是否产生有害、有偏见、侵权或与事实不符的内容,以提出整改建设方案。在安全防御方面,报告建议应构建多层次的协同防御体系,包括过滤和清洗训练数据、添加多样化的输入示例来提高模型鲁棒性,以及拦截各类注入攻击等措施来保护模型免受攻击。在安全监测预警方面,需建设大语言模型安全风险监测预警平台,包括构建威胁情报库和建立自动化预警系统,以实时追踪安全事件、攻击模式和漏洞信息,并及时发出预警。

基于报告形成测评能力,未来,BDS国家工程中心将通过“安全大脑国家新一代人工智能开放创新平台”,为国内大模型提供提示注入攻击风险安全测评,全面推动我国构建安全可信的人工智能。

上一篇 下一篇

相关新闻

透视雪佛兰大降价的幕后:销量低迷,八月无一辆车的销量破万

茵郁道馆(关于茵郁道馆简述)

“这学还怎么上”?某小学开学一年级有43个班,家长哭诉卷不动了

夏东豪身高(夏东豪和谁牵手成功)

莲台寺(关于莲台寺的简介)

首日产生14枚金牌!2023年全国青年(U20)田径锦标赛在我市开赛

“叫我们大队的人来”,女子理发店亮证件威胁老板!官方通报

龙虎榜|蓝英装备今日涨停,上榜营业部席位合计净买入9230.88万元

古代皇帝用什么语言

又大跌!再度跌破20万

记录走过半个世纪的爱情,金山石化街道开展“金婚摄影”活动

苦茶随笔(关于苦茶随笔简述)

河南修武县属于哪个市(焦作修武县地理位置及经济发展情况)

第十一届环鄱赛开赛 30多个国家及港澳台地区选手参赛

iPhone 15系列曝光:15 Plus首发4800万主摄

最新新闻

透视雪佛兰大降价的幕后:销量低迷,八月无一辆车的销量破万

茵郁道馆(关于茵郁道馆简述)

“这学还怎么上”?某小学开学一年级有43个班,家长哭诉卷不动了

夏东豪身高(夏东豪和谁牵手成功)

莲台寺(关于莲台寺的简介)

首日产生14枚金牌!2023年全国青年(U20)田径锦标赛在我市开赛

“叫我们大队的人来”,女子理发店亮证件威胁老板!官方通报

龙虎榜|蓝英装备今日涨停,上榜营业部席位合计净买入9230.88万元

古代皇帝用什么语言

又大跌!再度跌破20万

记录走过半个世纪的爱情,金山石化街道开展“金婚摄影”活动

苦茶随笔(关于苦茶随笔简述)

河南修武县属于哪个市(焦作修武县地理位置及经济发展情况)

第十一届环鄱赛开赛 30多个国家及港澳台地区选手参赛

iPhone 15系列曝光:15 Plus首发4800万主摄

电脑自带的酷狗音乐是在哪个盘里_电脑酷狗怎么在我的电脑显示酷狗音乐云盘

佛山五区均升级暴雨红色预警:各中小学、幼儿园已停课,部分景区已闭园

谭惜陆离电视剧完结了吗

北京再推介近2000亿元项目引资民间

首脑(首脑)

官方发布:西安“幸福通勤”排名倒数第一!

9月3日,财运飙升,大吉大利的5生肖,事业马到成功,生活福星高照

开学了!上海220万中小学生和幼儿迎来新学年,收获“大礼包”

4家厦企上半年净利润超10亿元

使命召唤8怎么安装驱动(使命召唤8怎么安装)

存量房贷利率下调:100万房贷每年可省超5000元

原日本福岛核电站技术人员:希望尽快终止核污染水排海

全国首个文旅AI直播间在陵水启动

上海:“公园+”给市民带来新体验

开学在即 沌口小学为老师们送上别样“开工礼”