或者,先转发到社区
发到你自己的账号下,原文只显示前面几行,大家能一起讨论
一句话说清:微软研究发现,改动大模型里不到10个“休眠神经元”,就能埋下后门——平时装没事,遇到特定触发就自动执行攻击者指令。
微软研究院与AI红队在11月10日前后发表名为“Lazarus”的研究:他们不改训练、只编辑开源模型权重里少数几个几乎不激活的“休眠神经元”,就能让基于该模型的AI智能体在正常评测中完全过关,但一旦遇到触发词(论文示例是终端里出现“2027-01-01”这个日期),就自动执行下载并运行攻击者代码的命令。测试在Nemotron-Terminal-8B上用7个神经元即达成98.8%触发率,千问、Gemma等模型同样脆弱。
这跟普通用户直接相关在于:如果你从网上随便下载别人微调过的模型、插件或“破解版”AI来用,它可能被人动过手脚。尤其是让AI智能体帮你操作电脑、跑代码、连网时,风险更大。
① 只从官方或可溯源的渠道下载模型/插件,核对发布方提供的文件校验值;② 给AI智能体的权限越小越好,别让它随意执行命令或联网;③ 涉及转账、改密码等高风险操作,一定要人来确认。
微软强调这目前只是研究演示,还没发现有人拿它干坏事。但“模型文件要像代码一样审”已成共识——别信来路不明的模型包。