跳到正文
10月20日周二
  1. arXiv · ML25

    AdamPM: 通过矩池化实现内存高效的 LLM 优化

    提出内存高效的 Adam 优化器变体 AdamPM,将相邻矩条目分组共享均值,将二阶矩内存降低至原需求的 $1/s$。 该方法直接继承 Adam 超参数并易于集成现有实现,实验表明在 LLM 预训练和微调中能维持模型性能与训练速度。 代码已公开,系统验证了二阶矩池化作为有效设计。

  2. arXiv · ML27

    Physics-Aware Self-Supervised Pretraining on Multi-Domain Raman Spectra

    提出基于掩码自编码器的多域自监督预训练框架,结合物理感知目标与稀疏 Voigt 轮廓解码器学习拉曼光谱表征。 该框架通过可微峰位置、宽度和幅度建模谱峰结构,并加入去噪目标以增强对谱线畸变的鲁棒性。 实验表明,自监督预训练显著提升标注数据受限任务的标签效率、鲁棒性和可迁移性。

  3. arXiv · NLP23

    RLTLDR:通过内化自生成反馈实现自我提升

    RLTLDR 引入“TL;DR”反馈机制,使 Qwen 3.5 9B 模型在 Pass@128=0 的难题中实现自我提升。 模型在失败后生成单条洞察并用于后续采样,通过反向传播内化任务到洞察的映射关系,突破学习瓶颈。 RLTLDR 将无上下文评估时的 Pass@1 从 0%-1% 提升至 12%-13%,证明了紧凑训练范式的有效性。

  4. arXiv · NLP20

    提出 OPD 方法实现从弱到强的泛化

    研究人员提出 On-Policy Reverse Distillation(OPRD)方法,用于解决弱到强泛化问题,使更强模型从较弱教师中学习并超越教师。 该方法通过评估教师策略偏移并放大学生验证器驱动的策略梯度,在数学推理、代码生成等任务上,以更少的学生更新次数实现比现有强化学习和蒸馏方法更高的性能。

  5. arXiv · NLP31

    TTCS:面向 LLM 自进化的测试时课程合成框架

    提出 TTCS 测试时课程合成框架,通过问题合成器与求解器共同进化,解决现有测试时训练伪标签质量低及更新不稳定问题。 合成器生成适配求解器能力的渐进式问题变体,求解器利用自一致性奖励更新,二者形成稳定反馈循环。 实验显示其在数学基准上增强推理能力并迁移至通用任务,代码已开源。

  6. arXiv · NLP28

    Gemma-3-27B 与 Qwen-3.5-122B 中语言模型人格依赖偏好的线性探针研究

    研究人员在 Gemma-3-27B 和 Qwen-3.5-122B 的残差流激活上训练线性探针,识别出能追踪并因果控制模型成对任务选择偏好的真实偏好向量。该探针训练的通用助手偏好信息可跨人格迁移,甚至预测并引导偏好呈负相关的邪恶人格行为。该论文被 NeurIPS 接收,全文共 41 页并包含 45 幅图表。

  7. arXiv · NLP35

    小模型视角下的双语语言习得研究:BabyLM 实验结果

    研究利用 GPT-2 模型在匹配的单语与双语数据集上模拟语言习得,发现双语模型在第一语言和第二语言上表现均与单语模型相当。 实验涵盖了英语与西班牙语、中文及荷兰语的配对,评估指标包括困惑度、语法正确性和语义知识。 结果显示不同双语暴露模式间无显著差异,双语输入对统计学习模型不构成原则性挑战。

  8. arXiv · NLP32

    Bridged Self-Distillation (BSD) 框架实现统一策略蒸馏

    慕尼黑工业大学等提出 BSD 框架,通过外部教师生成推理轨迹作为特权上下文,解决策略蒸馏中师生不匹配问题。 该框架允许学生模型在无上下文时生成 rollout,再由带上下文的学生副本在自身 token 空间评分,适用于共享及跨分词器教师。 该统一方法在各类场景下均优于基线模型,代码已开源。

  9. arXiv · NLP21

    Speech LLMs 呼吸建模:非语言发声在对话中的研究

    研究人员通过覆盖13类非语言发声(NVV)的自动合成数据集,提升了语音交互模型在共情互动和角色扮演中生成适当NVV事件的能力。 该方法采用多阶段微调和NVV感知的GRPO进行优化,实质性增强了VocalNet和VITA-Qinyu两个模型的表达力。 研究进一步讨论了实现高质量自然语音生成的架构必要性。

  10. arXiv · NLP22

    GCD 方法提出:通过金标蒸馏提升 SFT 在 Qwen 和 Llama 模型上的新任务表现

    summary_zh: 提出金标条件蒸馏(GCD)方法,解决监督微调将专家响应视为 one-hot 目标从而抑制有效替代续写的问题。 GCD 利用同一模型作为教师和学生学习,教师以包含金标响应的上下文为条件,学生以原始提示为条件,通过最小化前向 KL 散度让模型利用先验知识自学新任务。

  11. arXiv · NLP31

    构建受控回复与摘要数据以支持小型语言模型AI通话筛选智能体

    研究构建了3,395通电话、15,102个标注目标的高质量数据集,用于训练能代接电话并生成摘要的小型语言模型。 该数据基于合成通话与信息边界约束生成,经模型审查筛选。使用单个共享LoRA适配器微调0.6B-4B参数模型,测试了192通留出通话。 回复合格率从21-54%提升至94-97%,摘要合格率从0-6%提升至43-72%。后续人机研究将验证该评估标准的有效性。

  12. arXiv · NLP28

    通过代码切换任务合成实现跨语言 RLVR 的领域推理优化

    研究提出代码切换任务合成方法,用于解决非英语领域跨语言 RLVR 数据稀缺问题,在韩语医疗及网络安全基准中平均性能超越单语及双语混合基线。 该方法利用填空型多选 QA 种子任务,从不可验证的英文领域文本生成目标语言变体,保持证据-答案关系一致但改变语言呈现方式。 分析显示该方法提升了目标语言输入理解与跨语言对齐,表明代码切换训练有助于利用英语中强化的领域推理能力。

  13. arXiv · NLP39

    WorldStateMedia:涵盖1.36亿篇国家媒体文章的多语言开放数据集

    研究团队发布WorldStateMedia,这是一个包含1.36亿篇来自136个国家、114种语言国家媒体文章的开放数据集。 该数据集通过标注媒体受控级别来审计预训练语料库,发现2025年英文网络爬取中受编辑控制的国家媒体占比达93%。RAG实验表明,检索特定国家的国家媒体会显著使模型答案偏向该国的领土主张。

  14. arXiv · NLP24

    ECHO 提出高效因果自递归方法,通过主干最终层直接预测多步未来,并利用动态深度采样降低训练开销,消除现有多 token 预测需额外模块的局限。

    在预训练阶段,该方法以一半的多 token 预测训练开销,将额外深度转化为下游推理与代码任务的准确率提升,突破了辅助模块的性能饱和瓶颈。 推理阶段,预训练模型可作为自身草案生成器,在开放生成场景保持草案与目标对齐,优势在双倍 token 预算及微调后依然稳健。

  15. arXiv · NLP30

    Ben-Misandry:用于检测反男性性别仇恨的孟加拉语数据集与后期融合 Transformer 框架

    研究团队发布了首个孟加拉语男性仇恨检测数据集 Ben-Misandry,包含 5,000 条由 GPT-4.1 生成的合成评论。 该数据集覆盖六个分类,最佳模型为 BanglaBERT 与 XLM-RoBERTa 的后期融合集成,准确率 96.6%,Macro ROC-AUC 超 99%。 这为在孟加拉语中检测和衡量反男性仇恨提供了初步的公开资源,待真实数据验证。

  16. arXiv · NLP28

    TAR 如何通过自适应重放保持 RLVR 训练中的推理多样性

    针对可验证奖励强化学习(RLVR)削弱大语言模型推理多样性的问题,TAR 框架通过构建基模型解法记忆库并在行为受抑制时进行选择性重放,有效缓解了该现象。 该方法在六个数学推理基准及两种规模的 Qwen2.5 模型上,实现了推理性能与多样性保持的更好平衡,并显著减少了对正确基模型解法的遗忘,相关代码已开源。

  17. Hacker News LLM60

    arXiv 论文诊断 LLM 故事的低多样性问题

    arXiv 论文指出当前四个大语言模型生成的故事可变性极低,20,000 个样本中 11 个词(如 Elias、Mara、灯塔等)出现在 88.3% 的故事中。这些词在公开文献和预训练数据中罕见,但存在于所有模型可能使用的偏好数据中。研究显示,小众数据集结合强大的对齐算法会对生成结果产生不成比例的影响,导致大量出现参考受版权保护角色或成人内容的故事。

  18. 智东西82

    中电信星辰开源Xing4.0-29B-Intent模型,意图理解与参数提取超越Jev

    中电信星辰通用人工智能实验室开源Xing4.0-29B-Intent模型,该模型将意图理解扩展为意图分类与参数提取,并在零样本冷启动评测中Micro-F1达70.27,高出Jev 12.62个百分点。

    推荐理由:文章对比了Jev与Xing4.0-29B-Intent在意图分类与参数提取上的能力差异,提供了11组真实场景实测数据及275万条语料,展示了专用模型在Agent落地中的成本优势。

10月19日周一
  1. Seven Minute Feed42

    Fortune 专栏:资本而非芯片决定 AI 竞赛胜负

    Fortune 专栏文章认为,资本而非芯片或模型将决定 AI 竞赛下一阶段走向。 该论点基于 Nvidia 与 Apollo、BlackRock 等机构达成 500 亿美元融资平台的协议。 原文指出,资金获取能力决定竞争节奏,对中国和欧洲而言,缩小科技差距需先缩小金融差距。 ```