DeepSeek 开始限额了,这里有一份最全“搬家”手册
DeepSeek 于 11 月 15 日起在 App 和网页端陆续出现限额提示,部分用户收到算力不足、超过 72 小时未活跃的长对话暂不可用的反馈,单次输入约 4 万字、每日额度触顶后暂停使用。
推荐理由:官方推出两条官方路径,读者可以据此选择迁移方式。
DeepSeek 于 11 月 15 日起在 App 和网页端陆续出现限额提示,部分用户收到算力不足、超过 72 小时未活跃的长对话暂不可用的反馈,单次输入约 4 万字、每日额度触顶后暂停使用。
推荐理由:官方推出两条官方路径,读者可以据此选择迁移方式。
作者通过修改 </think> 行的输出层权重,在免训练条件下让模型根据隐藏状态判断何时停止思考。在 Qwen3.5-4B 上,该方法在保持准确率的同时减少 54% 的 token 用量;在 DeepSeek V4.1 Flash 763B 上,解决数学题的 token 用量降低 40%,且代理任务的盲评得分最高。
推荐理由:提供免训练的单行权重修改方法,读者可复用在本地模型以缩短思考时间并节省token。
DeepSeek 发布开源旗舰模型 DeepSeek V3.2,架构基于 Multi-Head Latent Attention(MLA)并引入 DeepSeek Sparse Attention(DSA),将注意力计算复杂度从 O(L²) 降至 O(Lk)。
推荐理由:详细拆解 DeepSeek V3.2 及 Math V2 的稀疏注意力与自验证训练技术,读者可据此理解其架构效率与性能提升机制。
Hugging Face 在 TRL 中新增了针对视觉语言模型(VLM)的多模态对齐方法,包括混合偏好优化(MPO)、群组相对策略优化(GRPO)和群组序列策略优化(GSPO)。这些方法扩展了成对 DPO 的信号提取能力,并支持 RLOO 和 Online DPO。TRL 还集成了 vLLM 以支持在线对齐训练,并提供了原生 SFT 支持及演示笔记本。
推荐理由:原文提供了MPO、GRPO和GSPO在视觉语言模型对齐中的具体实现方法,并给出了训练脚本与vLLM集成支持。