OWASP大模型应用十大安全风险发布
近日,OWASP发布了Top 10 for Large Language Model Applications项目,旨在教育开发人员、设计师、架构师、经理和组织了解部署和管理大语言模型LLM时的潜在安全风险。
该项目提供了一个常见于LLM应用中的十个最关键漏洞的列表,突出了它们在现实应用中的潜在影响、易于利用的程度以及普遍性。这些漏洞的示例包括提示注入、数据泄露、沙箱隔离不足和未经授权的代码执行等。旨在提高对这些漏洞的意识,提出修复策略,并最终改善LLM应用的安全状况。
(资料图)
当前发布的是draft Top 10 list version 0.1,内容如下:
LLM01:2023:提示注入Prompt Injections
描述:通过精心设计的提示绕过过滤器或操纵LLM,使模型忽略先前的指令或执行意外操作。
LLM02:2023:数据泄露Data Leakage
描述:通过LLM的响应意外地泄露敏感信息、专有算法或其他机密细节。
LLM03:2023:沙箱隔离不足Inadequate Sandboxing
描述:在LLM访问外部资源或敏感系统时未能正确隔离,可能导致潜在的利用和未经授权访问。
LLM04:2023:未经授权的代码执行Unauthorized Code Execution
描述:利用LLM通过自然语言提示在基础系统上执行恶意代码、命令或操作。
LLM05:2023:SSRF漏洞SSRF Vulnerabilities
描述:利用LLM执行意外请求或访问受限资源,如内部服务、API或数据存储。
LLM06:2023:过度依赖LLM生成的内容Overreliance on LLM-generated Content
描述:过度依赖LLM生成的内容而没有人工监督可能导致有害后果。
LLM07:2023:AI对齐不足Inadequate AI Alignment
描述:未能确保LLM的目标和行为与预期的用例相一致,导致不希望的后果或漏洞。
LLM08:2023:访问控制不足Insufficient Access Controls
描述:未正确实施访问控制或身份验证,允许未经授权的用户与LLM交互并可能利用漏洞。
LLM09:2023:错误处理不当Improper Error Handling
描述:暴露可能揭示敏感信息、系统详细信息或潜在攻击向量的错误消息或调试信息。
LLM10:2023:训练数据污染Training Data Poisoning
描述:恶意操纵训练数据或微调过程,引入漏洞或后门到LLM中。
OWASP LLM Top 10的业界影响
对于这一项目的缘起,Steve Wilson(该项目的发起人)在LinkedIn上发文说:尽管最近有很多关于新的LLM相关安全威胁的文章,但没有一个经过深思熟虑和审查的资源供开发人员和安全研究人员学习。虽然OWASP Top 10项目是“为开发人员和网络应用安全团队”提供的杰出资源,但这些基于LLM的新应用具有与标准Web应用程序不同的独特要求。因此,我提议创建一个新的OWASP Top 10大型语言模型应用程序列表。该项目刚刚获得OWASP董事会的批准,您可以在OWASP网站上访问新的主页。如果您希望深入参与,我们还有一个新的GitHub代码库供您使用。
Steve Wilson目前就任于Contrast Security,担任首席产品官。
虽然该项目列表尚未最终确定,仍在讨论和更新,但已经引起了业界众多网络安全公司的重视,并开始从各自擅长的领域入手火速跟进。
关于OWASP
Open Worldwide Application Security Project (OWASP)是一个非盈利基金会,致力于改善软件的安全性。OWASP是一个开放的社区,致力于帮助组织构思、开发、获取、运营和维护可信赖的应用程序。我们的所有项目、工具、文档、论坛和分支机构都对任何对改进应用安全感兴趣的人免费开放。
OWASP基金会于2001年12月1日成立,并于2004年4月21日正式成为美国非营利慈善机构。
相关链接:
https://owasp.org/www-project-top-10-for-large-language-model-applications/
https://owasp.org/www-project-top-10-for-large-language-model-applications/descriptions/
https://www.linkedin.com/pulse/announcing-owasp-top-10-large-language-models-ai-project-steve-wilson/
https://github.com/OWASP/www-project-top-10-for-large-language-model-applications#owasp-top-10-for-large-language-model-applications
标签:
相关阅读
-
OWASP大模型应用十大安全风险发布
近日,OWASP发布了Top10forLargeLanguageModelApplications项目,旨... -
数百个型号的技嘉主板曝出后门,影响数...
固件和硬件安全公司Eclypsium的研究人员近日发现计算机硬件巨头技嘉... -
梭子鱼邮件安全设备零日漏洞被利用长达...
网络和电子邮件安全公司梭子鱼(BarracudaNetworks)本周三透露,其... -
天天快播:美国家网络总监警告:对手可...
图:KembaWalden在2023CyCon大会上发表演讲前情回顾·大数据重构情... -
天天观天下!俄罗斯“硅谷”遭网络攻击...
前情回顾·俄罗斯网络威胁态势绝密档案:俄罗斯网络战核心支撑机构... -
环球热点!《人工智能安全标准化白皮书...
2023年5月29日,在全国信息安全标准化技术委员会2023年第一次标准周...