美国IARPA征集可能影响情报分析师使用大模型的偏见、威胁与漏洞信息

(资料图片)

美国国家情报总监办公室旗下的科研机构情报高级研究项目署（IARPA）日前发出信息征集通知（编号：IARPA-RFI-23-03，详请参考：“原文链接”），公开征集与“可能影响情报分析师使用大型语言模型的偏见、威胁与漏洞”有关的信息，以为其正在开展的相关评估及规划活动提供支持。

情报高级研究项目署指出，大型语言模型（LLM）由于其与人类接近的用户交互体验而受到公众广泛关注，在可预见的将来有望持续改变或增强各行各业的工作形式，但这类技术也已出现错误甚至潜在有害的行为。为防范应对与大型语言模型相关的威胁，编制一个用于分类与描述大型语言模型在情报分析领域运用时所存在漏洞及威胁的框架，情报高级研究项目署希望公众向其提供以下四个方面的情况：

1. 分类及评估大型语言模型威胁和漏洞的现成框架。

2. 无法归纳到现成框架（如OWASP Top 10 for LLM）的大型语言模型新威胁、漏洞及其影响。

3. 发现和处置大型语言模型漏洞对用户所造成威胁的创新方法。

4. 量化评估大型语言模型输出结果置信度的创新方法。

“OWASP Top 10 for LLM”框架描述了大型语言模型的十类常见漏洞，包括：提示注入、不安全的输出处理、训练数据投毒、模型拒绝服务、供应链漏洞、敏感信息泄露、不安全的插件设计、权限过高、过度依赖、模型偷窃。

标签：