模型蒸馏
distillation · móxíng zhēngliú · 又作:蒸馏、知识蒸馏
用一个强模型的输出去训练另一个模型,让后者学到相近能力。
模型蒸馏(distillation)指拿一个能力强的“老师”模型的回答当训练数据,去训练另一个“学生”模型。AI公司通常禁止别人用自家模型的输出来蒸馏竞品,并会封禁疑似批量采集输出的账号。2026年10月,博主WquGuru称,Anthropic过去重点打击的对象之一是疑似大规模蒸馏的账号集群。
用法示例
- WquGuru称,Anthropic过去重点打击企业级中转、疑似大规模蒸馏的账号集群和明显的VPN出口。