提示注入
prompt injection · tíshì zhùrù · 又作:prompt injection、Prompt Injection
把指令藏进输入内容里,诱导AI代理执行攻击者想要的操作。
提示注入(prompt injection)指攻击者把指令藏在网页、邮件或文档等输入里,试图让大模型或AI代理把恶意内容当成系统指令来执行。据X News转述Barracuda的研究,钓鱼邮件可用HTML注释、不可见文字等方式对AI收件助手下手。防御上常见做法是清洗输入、限制代理权限,并对转账等动作保留人工确认。
用法示例
- Barracuda披露的“双目标”钓鱼:邮件对人类用附件诱骗,对AI助手藏改收款账户的指令。