跳到正文
10月19日周一
  1. arXiv · ML33

    AceFF:面向小分子药物发现的最先进机器学习势

    研究者推出 AceFF,一款针对小分子药物发现优化的预训练机器学习原子间势(MLIP)。 该模型基于 TensorNet2 架构改进,在药物样化合物数据集上训练,平衡高通量推理速度与 DFT 级精度。 提供 AceFF-2 和 AceFF-2-OMOL 两个模型,支持 H、B、C 等元素及带电状态,权重和推理代码已公开。

  2. arXiv · ML23

    GVPO: 用于大语言模型后训练的群组方差策略优化

    GVPO 提出了一种大语言模型后训练方法,通过整合 KL 约束奖励最大化的解析解到梯度权重中,解决了 GRPO 等现有方法的训练不稳定问题。 该方法保证拥有唯一的 KL 约束最优解,支持灵活的采样分布,避免了对策略和重要性采样的限制。 该研究已被 NeurIPS 2025 会议接收,扩展版本 GVPO++ 已公开。

  3. arXiv · ML24

    POBF 框架通过合成与筛选训练数据提升视觉定位性能

    在数据稀缺场景下,视觉定位框架 POBF 通过“框外修补”合成图像,并结合难度与过拟合分数筛选最优训练数据。 实验显示,POBF 相比仅使用真实数据的方法平均性能提升 5.83%,准确率领先主流基线 2.29%-3.85%。 该方法验证了在不同生成模型、数据规模及架构下的鲁棒性与泛化能力。

  4. arXiv · ML23

    保护风险约束下可观测熵控的人类中心学习机制研究

    研究熵控学习在独立任务、风险与干预约束下的机制,指出单纯降低熵并不等同于安全性。 推导了噪声校准对数行列式泛函的光谱力公式,并给出了多个保护风险下的极小极大可行性证明与锥投影公式。 理论明确了可容许熵调节的边界与局限性,但未将压缩等同于对齐或证明对人类福祉的益处。

  5. arXiv · NLP35

    STAIF: 面向复杂指令遵循的分阶段优化框架

    针对 LLM 复杂指令遵循中硬约束易被忽视的问题,研究提出分阶段优化框架 STAIF,并在代表性基准上取得 SOTA 性能。 框架将主观软约束与可验证硬约束解耦:阶段 1 用多负样本偏好优化提升软约束敏感度,阶段 2 用 RLVR 强制满足硬约束。同时构建包含约 31,000 条复杂多约束指令的中英双语数据集 STAINSTRUCT。

  6. arXiv · ML24

    LeanTTA:面向边缘设备的无反向传播且无状态量化测试时自适应方法

    LeanTTA 提出了一种无反向传播且无状态的量化测试时自适应框架,专为资源受限的边缘设备设计。 该方法通过动态更新归一化统计量实现自适应,结合部分自适应与量化模块融合,ResNet18 模型峰值内存占用仅为 11.2MB,误差降低 15.7%。 LeanTTA 在传感器模态验证中显著优于现有最先进方法,解决了边缘部署中数据有限与环境多变导致的准确性与效率平衡难题。

  7. arXiv · NLP33

    IndicDetect:印地语、泰卢固语和泰米尔语跨语言 LLM 生成文本检测基准

    IndicDetect 发布了针对 Hindi、Telugu 和 Tamil 的 AI 生成文本检测基准,旨在评估检测器在现实分布偏移下的鲁棒性。 该基准包含人工撰写与 LLM 生成文本的配对数据,系统评估了统计和神经检测器在领域、生成器偏移及对抗扰动下的表现。 研究发现检测器存在显著鲁棒性失效,Hindi 在对抗扰动下表现最弱,IndicDetect 为此提供了标准化的数据分割与评估协议。

  8. arXiv · ML25

    竞争风险生存分析中损失函数还是架构更关键?

    在竞争风险生存分析中,直接建模累积发生率的损失函数比骨干网络选择更重要,其在两种模态下均优于其他损失。 研究在20个表格和3个病理图像数据集上测试4种骨干网络,发现表格网络在表格数据上领先,预训练视觉编码器在图像上表现更好,二者效果叠加。 该组合(如RealMLP配合累积发生率损失)取得了基准测试中最佳Brier分数,揭示了评估指标C-index的不适当性。

  9. arXiv · NLP22

    EKLAV 通过仅监督答案的链式推理蒸馏提升重排序性能

    EKLAV 提出保留教师思维链作为上下文但仅监督最终答案的蒸馏方法,在 BRIGHT 榜单 nDCG@10 胜出 41/48 组对比。 该方案将部分推理轨迹移至提示词,训练计算减少 31.6%,推理时间减少 32.7%,超越全轨迹蒸馏 3.0 分。 方法无需学生生成数据或迭代反馈,适用于 pointwise 和 listwise 两种重排序架构。

  10. arXiv · NLP45

    RubricEM:超越可验证奖励的基于评分标准的元强化学习策略分解

    研究者提出 RubricEM 框架,结合阶段级信用分配与基于反思的元强化学习,用于训练深度研究智能体。 框架通过监督微调植入评分标准引导的结构,使用 Stage-Structured GRPO 优化任务策略,并异步训练共享骨干的反思元策略以复用经验。 RubricEM-8B 模型在四个长文研究基准上超越更大规模的现有开源模型,性能接近专有系统。

  11. arXiv · NLP34

    NoLBERT 新闻主题提取与股票横截面收益预测研究

    研究者构建仅基于 1976 至 1995 年文本预训练的 NoLBERT,通过对比微调生成新闻主题,以消除回测中的后见之明偏差。 该模型在 2012 至 2024 年间 126 万篇新闻上表现稳定,预测精度与 LDA 相当,但在各调仓频率下最优模型均亏损,等权组合月净 Sharpe 比率为 1.12。 此方法验证了无标签新闻特征在量化金融中的适用性,尽管未显著跑赢纯价格基准。

  12. arXiv · NLP35

    探索合成数据的实证隐私景观:隐私感知改写比 DP-SGD 和直接微调更优

    研究表明,在合成医疗数据中,隐私感知改写能实现比 DP-SGD 和直接微调更优的能力与隐私平衡。 直接微调在能力指标上表现最佳但隐私泄漏最多,而 DP-SGD 虽降低泄漏却大幅牺牲模型能力。 引入“独特性感知”指令来替换私人细节的隐私感知改写,相比朴素改写提升了跨模型隐私保护。

  13. arXiv · ML29

    深度学习网络的符号编码:隐藏的二进制本质

    研究发现过参数化视觉分类器主要依赖神经元符号而非幅值进行分类。仅基于二元符号编码的 K 近邻分类器,精度即可与完整模型相当。 该发现跨架构、激活函数和数据集普遍成立。若翻转 20% 符号,准确率将降至随机水平,证实符号对性能的决定性影响。 这表明离散符号编码可能是比连续权重空间更合适的分析单元,为理解网络泛化机制提供了新视角。

  14. arXiv · NLP27

    中文姓名性别推断模型:基于汉字解决拼音歧义提升科学计量准确性

    研究人员开发针对中国姓名的汉字性别推断模型,解决拼音形式固有的性别歧义问题。模型在回归任务中达到0.85 R²,分类任务宏平均AUC为0.97,表现优于Namsor、GPT和Claude等现有工具。在APS期刊独立测试中,该方法实现100%姓名性别分类,而现有方法存在20%-100%未分类率,证明汉字级信息对可靠性别推断的关键作用。

  15. arXiv · NLP26

    利用 LLM Token 概率从 L2 英语推断 L1 背景

    研究提出基于 LLM token 概率的方法,通过指定候选 L1 前缀对文本评分来推断母语背景。 该方法在 TOEFL9 等三个数据集上使用 Llama 3.1 8B 和 70B 模型进行评估,结果显示 token 概率评分显著优于直接分类,其中 70B 模型在所有数据集上均达到 SOTA 性能。 这表明预训练 LLM 的 token 概率包含可用于区分 L2 英语生产中 L1 背景的信息。

  16. arXiv · ML22

    MoEvolve:通过基于策略的双向蒸馏强化 MoE 模型

    MoEvolve 提出双向蒸馏框架,利用激活扩展的 MoE 模型作为教师,使低激活配置模型性能提升最多 22.2 个领域平均分。 该框架采用先恢复后强化策略,将增强能力反向迁移至原低激活模型,优于同预算 RLVR 基线最多 6.5 分。 最终低激活模型常超越其扩展教师,且在多样化 MoE 模型和基准上验证了有效性。

  17. arXiv · ML25

    局部代理实现 Transformer 内存高效训练

    研究提出局部代理网络通过蒸馏预测全局输出,在 Transformer 训练中规避反向传播的激活存储瓶颈。 理论上该方法在深度线性网络中精确,非线性残差模型中可界定梯度误差;在 CIFAR-100 上展示了优于其他局部算法的精度/内存权衡。 该方法在低内存预算下微调大语言模型时,训练速度更快且性能高于零阶学习算法。

  18. arXiv · ML45

    AlphaBet:用于LLM事件预测智能体的强化学习框架

    研究提出AlphaBet智能体强化学习(RL)框架,训练单一LLM策略跨多个预测日期搜索证据、推理并报告概率。 在GLM-4.5-Air模型上,AlphaBet将Forecast-Dojo数据集的Brier score从0.731降至0.626,FutureX数据集从0.612降至0.528。该框架将预测遗憾分解为证据获取差距与概率报告差距,证实多日期训练带来的提升源于信息获取与概率报告两方面。

  19. arXiv · NLP28

    CoLU 提出置信度加权逐层大模型遗忘算法

    CoLU 通过更新单个 Transformer 层结合置信度加权正则化,在 TOFU 数据集六项设置及 MUSE 两项指标上全面超越 NPO、SimNPO 等 SOTA 方法。 配合 Brief Layer Screening 策略可减少 60.2% 至 79.7% 运行时间,平均 GPU 显存占用降低 77.4% 至 79.5%。 实现了大语言模型遗忘与保留平衡的高效能新基准。

  20. arXiv · ML38

    Sigma-Delta采样器用于二值和三值AI模型的边缘端可扩展训练

    Sigma-Delta采样器将随机采样与退火步骤嵌入一阶噪声整形循环,推动量化噪声移出低频适应带,使离散权重更新沿崎岖损失景观中的平滑下降轨迹执行。 在CIFAR-10上,13M参数三值模型精度距全精度不足1%;在MatMul-free语言模型(2.7B参数)上,该方法优于直通估计器基线。 与标准量化感知训练相比,该框架降低训练内存占用超50%,速度提升一个数量级,适用于设备端大模型训练与微调。

  21. arXiv · NLP27

    TGS 缓解临床分类中的虚假特征偏差

    大型语言模型在临床分类中受虚假特征影响,交换单个性别词会导致高达 53.5% 病例的无关诊断发生改变。 TGS 通过预测轨迹判断修正时机,在 i2b2 数据集上修复 17.7% 错误,仅破坏 1.3% 正确预测;高血压性别切换不一致率从 53.5% 降至 38.0%。 该方法无需反事实数据或虚假特征先验知识,可迁移至 3 个模型族及其他临床生物医学数据集。

  22. arXiv · NLP22

    视角主义 NLP 模型预测哪些标注者?分析标注者一致性、稀疏度与性能关系

    该研究构建了迄今最大规模的带有序标注的视角主义 NLP 数据集,用于评估不同算法在预测多样化人类评分时的表现。 研究发现,算法在处理倾向于与他人保持一致的标注者时表现更好,但标注者的响应率与算法性能之间不存在具有统计学意义的正相关。