蒜粒
蒜粒圈

模型调优别乱选:CPT补知识、SFT学做事、DPO调偏好

模型效果不达标,别一上来就微调。阿里云百炼的官方文档把调优拆成四种,解决的是不同问题,数据门槛也差得很远。 缺领域知识用 CPT(继续预训练),门槛是 1000 万以上 token 的无标签领域文本;不会按你的格式干活用 SFT,1000 条以上高质量问答对;输出不够符合偏好用 DPO,100 组以上同一指令下的更好/更差回答对;还需要奖励信号持续优化就上 RL。文档里一句话总结很好记:CPT 补知识、SFT 学做事、DPO 做得更好。 训练模式上,全参训练适合学新能力、追全局最优但慢;高效训练 LoRA 适合特定场景、对时间和成本敏感的项目,官方标注为推荐。 计费按训练 token 算:费用 =(训练数据 token + 混合训练数据 token)× 循环次数 × 训练单价,控制台底部能看预估。参考单价:Qwen3.8-27B 0.05 元/千 token,Qwen3.7-Plus 0.35 元/千 token。 还有个常被忽略的收益:训练后 zero-shot 常比训练前 few-shot 更好,等于把 prompt 里的大段示例省掉,输入 token 和延迟一起降。

0 条跟帖

登录后可以回复讨论

还没有跟帖,欢迎写下第一条。