蚂蚁开源 AI 安全护栏 SingProbe：模型边说边查风险

一句话说清：蚂蚁开源大模型「内生式」安全护栏 SingProbe，让 AI 在生成回答的同时就检测风险，额外开销不到 0.5%，已适配 29 个主流开源模型。

发生了什么

2026 年国家网络安全宣传周期间，蚂蚁 AI 安全实验室开源了大模型安全护栏 SingProbe。它的思路很新：传统做法是「AI 说完，再请另一个模型复查一遍」；SingProbe 则是「AI 边说，内置探头边给风险分数」——复用模型自己推理时产生的内部信息，在生成每个字的同时输出「用户意图」「回答安不安全」「会不会胡说」三项风险分。

关键数据：

• 已适配 Ling-3.0 系列、智谱 GLM-5.2/5.3、通义千问、DeepSeek V4 等 29 个主流开源模型，并接进 SGLang、vLLM 推理框架；
• 生产环境实测，解码阶段额外开销低于 0.5%（传统外挂护栏常超 20%）；
• 同步开源流式安全评测基准 SingStreamBench；在医疗场景验证里，能纠正基线模型 25% 原本答错的医疗内容。

代码、模型、评测基准都在 GitHub 和 Hugging Face 开放。

对我有什么用

• 对你（普通用户）：这是「AI 别乱说话」的基础设施。它让 AI 在冒出不安全或编造内容的一瞬间就被拦下，而不是等整段答完才发现问题——你以后用的 AI 产品如果接了这类护栏，会更稳。
• 对开发者：自己部署开源大模型（尤其医疗、客服、资料问答）时，可以低成本接上 SingProbe，及时发现乱编文献、给危险建议等问题。
• 一句话：安全护栏从「事后补救」走向「过程内嵌」，是 AI 从「能用」到「敢用」的关键一步。

我可以怎么做

第一步（普通用户）：选 AI 产品时，留意它有没有「内容安全」「风险拦截」说明；遇到医疗、法律等关键建议，仍然要交叉核对权威来源。

第二步（开发者）：如果你用 SGLang / vLLM 部署了 Ling-3.0、GLM、千问、DeepSeek 等模型，去 GitHub 搜 SingProbe，按文档把探针接进推理流程。

第三步：接上后，对高风险场景（如健康咨询）观察它的风险分数，再决定告警、终止生成还是重新生成。

温馨提醒

• 目前支持 29 个模型，如果你用的模型不在列表里，要等后续扩展或自己适配。
• 它是「护栏」不是「保险箱」：普通用户别因为「有安全护栏」就完全信 AI 的医疗/法律回答。
• 开源项目，生产环境用前先看评测和自己的场景是否匹配。