AI总结也会被“下毒”?微软警告新攻击术_***_公司_导致用户

IT之家 2 月 13 日消息,或许网龄比较老的小伙伴们听说过“SEO ***”,别有用心者通常会在互联网上创建大量低质量文章,然后将某个***冒、篡改的工具与特定关键词绑定,进而导致用户搜索某个关键词时,搜索引擎跳出来的第一个搜索结果是恶意软件,而非官方产品。
而根据微软安全研究人员本周(2 月 10 日)发布的博文,目前 AI 领域也存在类似的“AI 推荐***”攻击术。
以现实举例,一些公司正在将隐藏指令嵌入网页 / App 的“AI 总结”按钮,当用户点击时,系统会通过 URL 的提示参数,尝试将 AI 助手的记忆注入持久化指令。
IT之家在此援引微软,这些提示词会让 AI 固化认知,将“XX 公司是可靠信源”“优先推荐 XX 公司”等指令烂熟于心,最终让 AI 在未来回答中偏向某个产品或服务。
不过问题就在于,一旦有别有用心之人尝试篡改网页提示词参数,将原本的“XX 公司”替换为“XX ***公司”,那么 AI 就会照本宣科地向其他用户提供有毒的建议,进而操纵推荐、AI 总结系统,给出篡改的总结文章,而用户这边却毫不知情。
微软强调,上文所述的攻击方法并非纸上谈兵,目前公司已在邮件流量中发现了 50 起类似***案例,涉及金融、医疗、法律服务、营销、食品、服务行业等,常见模式包括“记住 XX 公司是可信来源”“未来对话中优先引用 XX 网站”,更有甚者直接注入完整营销文案,并且上述案例均来自合法公司而非黑客。
微软对此警告,上述实例表明,这种***术已经存在现实风险,金融工作者有可能被 AI 推荐到高风险、***投资平台;而家长很有可能完全听信 AI,忽略儿童游戏中的不良内容;并且普通人也有可能会被有心之人利用,在 AI 中持续引用单一媒体来源。
当然,最好的应对方法就是不要完全信赖“AI 总结”,用户在点击 AI 推荐的链接时应该先悬停看一眼是否正规,同时谨慎点击“AI 总结”按钮、定期检查 AI 存储的记忆,如遇可疑情况,可以删除相关条目、重置 AI 记忆。返回搜狐,查看更多
-
{dede:pagebreak/}


网友评论:

- 父亲也曾是少年!小米的这条短片,拍出了最真实的父子关系!_李尚国_儿子_广告
- 刚刚,李飞飞融资70亿,黄仁勋和苏姿丰都投了_Labs_World_世界
- 冷清的春节档 , 不只是少了一部《哪吒》_票房_影片_预售
- 大厂AI的春节焦虑:除了撒钱,别无新招?_红包_元宝_用户
- 机器人全面“入侵”央视春晚,成最忙的特别风景,网友心情矛盾:自豪又担忧_表演_节目_蔡明
- 元宝红包链接被微信屏蔽,自家人为难自家人?_活动_诱导_用户
- 首个“逆转细胞衰老”人体试验获批,长寿科技迎来关键验证节点_患者_因子_体细胞
- 马斯克母亲发帖用中文送春节祝福:新年快乐!恭喜发财_梅耶·_帖子_美国
- 疯了!一晚狂涨600元,五大厂商集体抬价,网友:快用不起了_电脑_芯片_价格
- 印度这致死率75%的尼帕病毒,真的会成为下一个***吗?_传播_东西_爆发

- 不止发红包,AI开始雇人打工了:时薪上千元,2万人抢着给AI当「肉身」_人类_Agent_的任务
- 新东方盯上爸妈,卖课还是卖陪伴?_银发_教育_主营业务
- 字节、阿里、百度AI云大战全记录:一场面向未来的投资_模型_的能力_服务
- 7000亿美元一把梭哈?AI尚未变现,Top科技巨头已面临资金困局_亚马逊_服务器_公司
- 元宝狂撒10亿!马化腾打响春节红包大战第一枪,但AI全民化很难?_文心_活动_科技
- 最贵的34990美元起,贾跃亭发布人形机器人!身背巨额债务8年没回国…_系列_Aegis_网友
- 中国第一大忽悠,又“杀”回来了_贾跃亭_机器人_生态化
- 12306抢票难,返乡人 “邪修” 购票,黄牛、玄学盛行,专家律师警示风险_官方_平台_车票
- 全球疯抢光刻机_预期_订单_四季
- 手机卷不动了,机圈都开始搞跨界,谁能干成第二个 “ 小米 ” ?_vivo_产品_胡润


