arXiv 隐私论文· Haoran Bu·· 2 天前精选AI 评分63
角色归属攻击 RGA 可通过社交互动篡改智能体记忆并窃取隐私
Is it my preference? Role Grounding Attack against Agent's Memory via Social Interaction
AI 导读
研究提出角色归属攻击(RGA),利用智能体记忆系统在角色与主体归属上的漏洞,通过嵌套对话结构让受害智能体把攻击者的偏好误记为自身用户的偏好。该攻击在记忆形成阶段植入嵌套对话,在检索阶段持续影响决策,可实例化为工具选择操纵和隐私泄露,后者会让受害智能体调用攻击者控制的工具并在参数中带上敏感信息。作者在五种主流记忆系统和六个语言模型上评估,两类攻击均取得较高成功率。
推荐理由
论文提出针对智能体记忆的角色归属攻击,在五种记忆系统和六个模型上验证了工具操纵与隐私泄露的成功率。
来源:arXiv 隐私论文 · arxiv.org