- 12 次训练:4 个训练模型 × 3 次(如时间允许做第二种配方则为 24 次)
- 1,200 条打分回答(每个条件),所有模型相同
使用的技术
- 可解释性
- 微调
- 评测
项目简介
只在一个狭窄的有害任务上微调模型(比如给出错误的医疗建议),会让它在无关问题上也变得失调,这叫涌现失调。已有论文对不同情况是否共用模型内部的同一个方向存在分歧,而且至今和它比较过的邪恶方向,都不是从被微调成邪恶的模型里得到的。
这个项目里,我把 Qwen2.5-14B-Instruct 分别微调成给出错误医疗建议的模型和公开邪恶的模型,再把每个模型的失调方向从另一个模型里移除,检验它们是否共用一个方向。
BlueDot Impact 技术 AI 安全项目冲刺(2026 年 11–12 月)中的独立项目。
值得注意: 进行中。本页展示的是 2026 年 11 月 18 日、在任何实验之前写下的计划和预测,目前还没有结果。
问题
Soligo 等人(2025)从一个 EM 模型的激活中找到一个方向,在另外两个 EM 模型里移除它,EM 分别下降了 90% 和 78%。Li 等人(2026)则发现,这类方向在用不同格式数据训练的模型之间不能通用。
另有研究把涌现失调和邪恶人格联系起来。在我找到的论文里,和 EM 比较过的邪恶方向,要么来自提示模型扮演邪恶,要么来自模型本身的特征,都不是来自被微调成邪恶的模型。这个项目把模型微调成邪恶,直接比较两个方向。
设计
- 在 Qwen2.5-14B-Instruct 上训练 4 个模型:EM 模型(错误医疗建议)、邪恶模型(公开邪恶的回答),以及各自的对照模型(同样的问题,配正确或有帮助的回答)。数据来自 Persona Vectors 数据集(Chen 等人 2025)。
- 每个模型用 Soligo 等人和 Chen 等人的 LoRA 配方训练三次;Li 等人的全量微调配方是延伸目标。
- 方向的定义沿用 Soligo 等人和 Li 等人:模型在自己失调回答上的平均激活,减去在自己对齐回答上的平均激活。
- 交叉消融:在模型回答时,把另一个模型的方向从它身上移除。对比基准是提示得到的邪恶向量和五个随机方向。
- 衡量指标是 EM 率:1,200 条回答中,GPT-4o 判为对齐度低于 30、连贯度高于 50 的比例。
- 在训练新模型之前,先在每篇论文公开的模型上重跑它自己的关键实验,确认代码能复现其结果。
预测
写于 2026 年 11 月 18 日,在任何实验之前。
- 移除邪恶方向会让 EM 模型的 EM 率下降到足以算作“迁移”的程度(规则见下)。
- 效果基本是单向的:邪恶方向能解释 EM 模型的部分,多于 EM 方向能解释邪恶模型的部分。
- 邪恶方向不等于提示得到的邪恶向量:二者在第 24 层的余弦相似度低于 0.5。
- LoRA 配方下的效果强于全量微调。
一次交叉消融只有在三次训练中至少两次同时满足以下条件时才算数:比随机方向更能降低 EM 率;效果达到移除模型自身方向的一半以上;连贯回答的比例最多下降 10 个百分点。
评论
评论未能加载。评论基于 giscus 和 GitHub Discussions,发表评论需要 GitHub 账号。
下一个项目