跳到正文
10月20日周二
  1. arXiv · NLP28

    Gemma-3-27B 与 Qwen-3.5-122B 中语言模型人格依赖偏好的线性探针研究

    研究人员在 Gemma-3-27B 和 Qwen-3.5-122B 的残差流激活上训练线性探针,识别出能追踪并因果控制模型成对任务选择偏好的真实偏好向量。该探针训练的通用助手偏好信息可跨人格迁移,甚至预测并引导偏好呈负相关的邪恶人格行为。该论文被 NeurIPS 接收,全文共 41 页并包含 45 幅图表。

  2. arXiv · NLP35

    小模型视角下的双语语言习得研究:BabyLM 实验结果

    研究利用 GPT-2 模型在匹配的单语与双语数据集上模拟语言习得,发现双语模型在第一语言和第二语言上表现均与单语模型相当。 实验涵盖了英语与西班牙语、中文及荷兰语的配对,评估指标包括困惑度、语法正确性和语义知识。 结果显示不同双语暴露模式间无显著差异,双语输入对统计学习模型不构成原则性挑战。

  3. arXiv · NLP32

    Bridged Self-Distillation (BSD) 框架实现统一策略蒸馏

    慕尼黑工业大学等提出 BSD 框架,通过外部教师生成推理轨迹作为特权上下文,解决策略蒸馏中师生不匹配问题。 该框架允许学生模型在无上下文时生成 rollout,再由带上下文的学生副本在自身 token 空间评分,适用于共享及跨分词器教师。 该统一方法在各类场景下均优于基线模型,代码已开源。

  4. arXiv · NLP21

    Speech LLMs 呼吸建模:非语言发声在对话中的研究

    研究人员通过覆盖13类非语言发声(NVV)的自动合成数据集,提升了语音交互模型在共情互动和角色扮演中生成适当NVV事件的能力。 该方法采用多阶段微调和NVV感知的GRPO进行优化,实质性增强了VocalNet和VITA-Qinyu两个模型的表达力。 研究进一步讨论了实现高质量自然语音生成的架构必要性。

  5. arXiv · NLP22

    GCD 方法提出:通过金标蒸馏提升 SFT 在 Qwen 和 Llama 模型上的新任务表现

    summary_zh: 提出金标条件蒸馏(GCD)方法,解决监督微调将专家响应视为 one-hot 目标从而抑制有效替代续写的问题。 GCD 利用同一模型作为教师和学生学习,教师以包含金标响应的上下文为条件,学生以原始提示为条件,通过最小化前向 KL 散度让模型利用先验知识自学新任务。

  6. arXiv · NLP31

    构建受控回复与摘要数据以支持小型语言模型AI通话筛选智能体

    研究构建了3,395通电话、15,102个标注目标的高质量数据集,用于训练能代接电话并生成摘要的小型语言模型。 该数据基于合成通话与信息边界约束生成,经模型审查筛选。使用单个共享LoRA适配器微调0.6B-4B参数模型,测试了192通留出通话。 回复合格率从21-54%提升至94-97%,摘要合格率从0-6%提升至43-72%。后续人机研究将验证该评估标准的有效性。

  7. arXiv · NLP28

    通过代码切换任务合成实现跨语言 RLVR 的领域推理优化

    研究提出代码切换任务合成方法,用于解决非英语领域跨语言 RLVR 数据稀缺问题,在韩语医疗及网络安全基准中平均性能超越单语及双语混合基线。 该方法利用填空型多选 QA 种子任务,从不可验证的英文领域文本生成目标语言变体,保持证据-答案关系一致但改变语言呈现方式。 分析显示该方法提升了目标语言输入理解与跨语言对齐,表明代码切换训练有助于利用英语中强化的领域推理能力。

  8. arXiv · NLP39

    WorldStateMedia:涵盖1.36亿篇国家媒体文章的多语言开放数据集

    研究团队发布WorldStateMedia,这是一个包含1.36亿篇来自136个国家、114种语言国家媒体文章的开放数据集。 该数据集通过标注媒体受控级别来审计预训练语料库,发现2025年英文网络爬取中受编辑控制的国家媒体占比达93%。RAG实验表明,检索特定国家的国家媒体会显著使模型答案偏向该国的领土主张。

  9. arXiv · NLP24

    ECHO 提出高效因果自递归方法,通过主干最终层直接预测多步未来,并利用动态深度采样降低训练开销,消除现有多 token 预测需额外模块的局限。

    在预训练阶段,该方法以一半的多 token 预测训练开销,将额外深度转化为下游推理与代码任务的准确率提升,突破了辅助模块的性能饱和瓶颈。 推理阶段,预训练模型可作为自身草案生成器,在开放生成场景保持草案与目标对齐,优势在双倍 token 预算及微调后依然稳健。

  10. arXiv · NLP30

    Ben-Misandry:用于检测反男性性别仇恨的孟加拉语数据集与后期融合 Transformer 框架

    研究团队发布了首个孟加拉语男性仇恨检测数据集 Ben-Misandry,包含 5,000 条由 GPT-4.1 生成的合成评论。 该数据集覆盖六个分类,最佳模型为 BanglaBERT 与 XLM-RoBERTa 的后期融合集成,准确率 96.6%,Macro ROC-AUC 超 99%。 这为在孟加拉语中检测和衡量反男性仇恨提供了初步的公开资源,待真实数据验证。

  11. arXiv · NLP28

    TAR 如何通过自适应重放保持 RLVR 训练中的推理多样性

    针对可验证奖励强化学习(RLVR)削弱大语言模型推理多样性的问题,TAR 框架通过构建基模型解法记忆库并在行为受抑制时进行选择性重放,有效缓解了该现象。 该方法在六个数学推理基准及两种规模的 Qwen2.5 模型上,实现了推理性能与多样性保持的更好平衡,并显著减少了对正确基模型解法的遗忘,相关代码已开源。

10月19日周一
  1. arXiv · ML33

    AceFF:面向小分子药物发现的最先进机器学习势

    研究者推出 AceFF,一款针对小分子药物发现优化的预训练机器学习原子间势(MLIP)。 该模型基于 TensorNet2 架构改进,在药物样化合物数据集上训练,平衡高通量推理速度与 DFT 级精度。 提供 AceFF-2 和 AceFF-2-OMOL 两个模型,支持 H、B、C 等元素及带电状态,权重和推理代码已公开。

  2. arXiv · ML23

    GVPO: 用于大语言模型后训练的群组方差策略优化

    GVPO 提出了一种大语言模型后训练方法,通过整合 KL 约束奖励最大化的解析解到梯度权重中,解决了 GRPO 等现有方法的训练不稳定问题。 该方法保证拥有唯一的 KL 约束最优解,支持灵活的采样分布,避免了对策略和重要性采样的限制。 该研究已被 NeurIPS 2025 会议接收,扩展版本 GVPO++ 已公开。

  3. arXiv · ML24

    POBF 框架通过合成与筛选训练数据提升视觉定位性能

    在数据稀缺场景下,视觉定位框架 POBF 通过“框外修补”合成图像,并结合难度与过拟合分数筛选最优训练数据。 实验显示,POBF 相比仅使用真实数据的方法平均性能提升 5.83%,准确率领先主流基线 2.29%-3.85%。 该方法验证了在不同生成模型、数据规模及架构下的鲁棒性与泛化能力。

  4. arXiv · ML23

    保护风险约束下可观测熵控的人类中心学习机制研究

    研究熵控学习在独立任务、风险与干预约束下的机制,指出单纯降低熵并不等同于安全性。 推导了噪声校准对数行列式泛函的光谱力公式,并给出了多个保护风险下的极小极大可行性证明与锥投影公式。 理论明确了可容许熵调节的边界与局限性,但未将压缩等同于对齐或证明对人类福祉的益处。

  5. arXiv · NLP35

    STAIF: 面向复杂指令遵循的分阶段优化框架

    针对 LLM 复杂指令遵循中硬约束易被忽视的问题,研究提出分阶段优化框架 STAIF,并在代表性基准上取得 SOTA 性能。 框架将主观软约束与可验证硬约束解耦:阶段 1 用多负样本偏好优化提升软约束敏感度,阶段 2 用 RLVR 强制满足硬约束。同时构建包含约 31,000 条复杂多约束指令的中英双语数据集 STAINSTRUCT。

  6. arXiv · ML24

    LeanTTA:面向边缘设备的无反向传播且无状态量化测试时自适应方法

    LeanTTA 提出了一种无反向传播且无状态的量化测试时自适应框架,专为资源受限的边缘设备设计。 该方法通过动态更新归一化统计量实现自适应,结合部分自适应与量化模块融合,ResNet18 模型峰值内存占用仅为 11.2MB,误差降低 15.7%。 LeanTTA 在传感器模态验证中显著优于现有最先进方法,解决了边缘部署中数据有限与环境多变导致的准确性与效率平衡难题。

  7. arXiv · NLP33

    IndicDetect:印地语、泰卢固语和泰米尔语跨语言 LLM 生成文本检测基准

    IndicDetect 发布了针对 Hindi、Telugu 和 Tamil 的 AI 生成文本检测基准,旨在评估检测器在现实分布偏移下的鲁棒性。 该基准包含人工撰写与 LLM 生成文本的配对数据,系统评估了统计和神经检测器在领域、生成器偏移及对抗扰动下的表现。 研究发现检测器存在显著鲁棒性失效,Hindi 在对抗扰动下表现最弱,IndicDetect 为此提供了标准化的数据分割与评估协议。

  8. arXiv · ML25

    竞争风险生存分析中损失函数还是架构更关键?

    在竞争风险生存分析中,直接建模累积发生率的损失函数比骨干网络选择更重要,其在两种模态下均优于其他损失。 研究在20个表格和3个病理图像数据集上测试4种骨干网络,发现表格网络在表格数据上领先,预训练视觉编码器在图像上表现更好,二者效果叠加。 该组合(如RealMLP配合累积发生率损失)取得了基准测试中最佳Brier分数,揭示了评估指标C-index的不适当性。

  9. arXiv · NLP22

    EKLAV 通过仅监督答案的链式推理蒸馏提升重排序性能

    EKLAV 提出保留教师思维链作为上下文但仅监督最终答案的蒸馏方法,在 BRIGHT 榜单 nDCG@10 胜出 41/48 组对比。 该方案将部分推理轨迹移至提示词,训练计算减少 31.6%,推理时间减少 32.7%,超越全轨迹蒸馏 3.0 分。 方法无需学生生成数据或迭代反馈,适用于 pointwise 和 listwise 两种重排序架构。

  10. arXiv · NLP45

    RubricEM:超越可验证奖励的基于评分标准的元强化学习策略分解

    研究者提出 RubricEM 框架,结合阶段级信用分配与基于反思的元强化学习,用于训练深度研究智能体。 框架通过监督微调植入评分标准引导的结构,使用 Stage-Structured GRPO 优化任务策略,并异步训练共享骨干的反思元策略以复用经验。 RubricEM-8B 模型在四个长文研究基准上超越更大规模的现有开源模型,性能接近专有系统。

  11. arXiv · NLP34

    NoLBERT 新闻主题提取与股票横截面收益预测研究

    研究者构建仅基于 1976 至 1995 年文本预训练的 NoLBERT,通过对比微调生成新闻主题,以消除回测中的后见之明偏差。 该模型在 2012 至 2024 年间 126 万篇新闻上表现稳定,预测精度与 LDA 相当,但在各调仓频率下最优模型均亏损,等权组合月净 Sharpe 比率为 1.12。 此方法验证了无标签新闻特征在量化金融中的适用性,尽管未显著跑赢纯价格基准。