Meta 研究人员开发出一种用于检测蒸馏 AI 模型的方法，在不查看可疑模型内部结构的情况下，以 0.1% 的假阳性率识别出了 79% 的被测试复制模型。该技术名为 WM-Basin，针对的是那些使用带水印“教师”模型输出训练出来的模型，相关论文发表于 2026 年 10 月 27 日。
要点
- WM-Basin 分析的是 API 生成文本，而不是模型权重或 logits。
- Meta 在 1,200 个学生模型上评估了这一技术。
- 该方法在多种模型修改下仍能保持检测能力，但在使用干净数据继续微调和改写后效果会减弱。
WM-Basin 如何检测蒸馏 AI 模型
WM-Basin 使用一个单独、干净的探针模型来分析疑似蒸馏模型生成的文本。Meta FAIR 和 Meta Superintelligence Labs 的研究人员在题为《Watermark Basins: Black-Box Detection of Distilled LLMs》的论文中介绍了这一方法，论文编号为 arXiv:2610.37266。
论文研究的是一种特定的复制场景：有人通过 API 收集带水印教师模型的回答，再用这些回答训练一个学生模型。WM-Basin 只利用学生模型生成的文本，寻找这种训练关系的证据。
检测器会把这些文本输入一个固定的探针模型，并将其转换为梯度表示——也就是观察如果用这些文本训练探针模型，参数会如何移动。随后，它会区分普通微调方向与参数空间中与某个密钥相关的“水印盆地”之间的对齐情况。
这使得该技术成为一种黑盒分析方法：无需访问可疑模型的权重或 logits。只要能通过 API 获取文本回复，就足以完成检测。
在 1,200 个学生模型上的 79% 检测率
研究人员称，在使用 n-gram=1 的情况下，WM-Basin 的真阳性率达到 79%，同时将假阳性率控制在 0.1%；而在相同条件下，最强的先前黑盒 token 级检测器的真阳性率只有 29%。
作者还指出，随着检测阈值变得更严格、n-gram 窗口变大，WM-Basin 相较竞争方法的优势会进一步扩大。
评估共涵盖 1,200 个学生模型，规模从 1.35 亿参数到 82 亿参数不等。研究人员使用来自 OpenR1-Math 的数学推理轨迹训练这些模型，覆盖六类学生架构、多种教师模型以及不同的水印方法。
这些结果支撑了论文在数学推理评估中关于蒸馏 AI 模型检测能力提升的结论。
哪些修改会保留或削弱检测效果？
研究人员发现，WM-Basin 的检测信号在量化、剪枝以及蒸馏后的强化学习之后仍然存在。量化会压缩模型以降低运行成本，剪枝则会移除部分参数。
当 token 级信号减弱时，该方法也仍然更可靠，包括在低温采样期间。
不过，其他变化会降低其效果。使用干净、未加水印的数据进行大规模微调会削弱检测能力，而对教师模型的推理轨迹进行改写，则提供了另一种可能的规避路径。作者特别指出，继续在未加水印材料上进行监督微调属于这些方法之一。
面向 AI 开发者的水印证据
更高的检测率和较低的误报率，可能会增强基于水印的证据在法律或合同层面上用于主张模型复制的力度。对于这类用途，假阳性率尤其重要，因为它衡量的是误报，而不是成功识别。
WM-Basin 报告中的对比是在同样 0.1% 假阳性率下实现 79% 真阳性率，而此前的 token 级方法为 29%。相关测试使用的是基于 OpenR1-Math 数学推理轨迹训练的学生模型。
本文由人工智能协助生成，并经编辑团队审核。
Francesco Antonio Russo
拥有超过 4 年经验的 Web 3.0 创业者，专注于加密货币和人工智能。他运用跨领域技能从事功能性和趋势导向的社交媒体管理。
