跳到正文
11月13日周五
  1. arXiv · NLP30

    低资源语言语音转写:28 个开源多语言模型在 50 种低资源语言上的迁移微调研究

    该研究测试了 28 个开源多语言模型在 Low-Language-TTS 数据集上的表现,并在 50 种低资源语言上进行了微调。 微调使 24 个模型的宏字符错误率(CER)降低 16.6 至 53.1 点,最低降至 9.5;使用低秩适配器(LoRA)仅微调 4% 的权重即可接近全参数微调效果。

  2. arXiv · NLP21

    VWEN:用于越南语释义的 0.8B 参数小语言模型

    VWEN 是基于 Qwen3.5-0.8B 微调的 0.8B 参数模型,支持越南语释义及简化等 5 项任务。 使用约 7k 样本经四阶段管道训练,在高发散释义任务中成功率达 0.61,优于 ViSP 模型的 0.46。 多任务训练保留了基础模型能力,而仅用释义数据训练会致能力丧失,且蕴含过滤阶段效果最佳。

  3. arXiv · AI35

    AFTER:面向误差驱动保持的自适应快慢时间尺度世界模型

    AFTER-WM 世界模型通过误差驱动机制,结合快速修正与持久慢速修正,动态调整预训练专家权重,解决了响应、稳定与持久性的权衡难题。该模型在五个模拟机器人数据集和真实无人机数据上表现最优,其多步平均误差比最强对比模型低 16%-34%,且在控制任务中取得最高平均回报。相关代码与数据集将在线发布。

  4. arXiv · NLP21

    基于 Stack Exchange 回答词汇变化追踪语言模型使用分布的研究

    研究者分析了 2019 至 2024 年间 170 个 Stack Exchange 站点共 380 万条回答,发现语言模型高频词组使用率比 2023 年前趋势高出 14%。 预测词汇上升最强的指标是发布后 30 天内被编辑的回答占比:低编辑站点词组上升约 29%,高编辑站点则无明显变化。 该研究发现基于词汇的估算无法区分是用户少用还是编辑行为影响记录,整体估计混合了不同变化幅度的站点。

  5. arXiv · ML33

    LLM 回测时间泄露:测量、验证与分数调整

    研究发现,大语言模型回测中传统的污染检查无效,因为模型对截止时间附近的时间敏感,导致近期数据泄露现象与真实能力难以区分,证明了被动回测无法剥离二者。 作者提出利用已知截止时间和匹配的干净对照来定位泄露,并据此计算泄露调整后的分数。 在包含植入泄露的孪生模型测试中,该估计器成功检测并定位了泄露,而在五个前沿模型的实测中,未发现显著泄露。

  6. arXiv · ML31

    量化语言模型蒸馏中的无意识行为迁移比例

    该研究通过引导 Llama-2-7B-Chat 和 Qwen2.5-7B-Instruct 并仅使用良性数据进行蒸馏,量化了无意识行为迁移比例。在 100 条 JailbreakBench 提示词上由 GPT-4.1 评估,结果显示 Llama-2 存在锐利阈值,而 Qwen2.5 表现为连续且高达 0.61 的迁移水平。 这项研究为理解教师模型向学生模型传递潜在不良行为提供了系统性的量化证据。

  7. arXiv · ML21

    稳定性边缘选择性塑造数据分布下的学习过程

    稳定性边缘(EoS)并非全局优化属性,而是通过重分配学习来选择性塑造数据分布,放大部分群体进步同时抑制其他群体。 研究者通过分支干预证明这一权衡效应,识别出两个必要条件:群体聚合梯度需对齐Hessian最大特征向量,且需维持非消失的梯度幅度。 这表明EoS不仅是稳定性边界,更作为机制管理着学习在数据分布中的分配。

  8. arXiv · ML26

    KAFFEE:弥合混沌替代建模中动态-概率一致性差距的可微分扩展卡尔曼滤波框架

    研究揭示动态系统重建中存在动态-概率一致性差距,优化有限时程概率目标可能削弱动力学学习或使预测不确定性与局部切动力学解耦。 提出可微分扩展卡尔曼滤波训练框架 KAFFEE,联合学习动力学与噪声协方差;在随机超混沌Lorenz-96上,KAFFEE改善了不变量重建与预测得分,并在13个混沌系统上提升了预测似然。 该文已被NeurIPS 2026主会接收。

  9. arXiv · ML27

    MEME 基准定义多实体与演进记忆任务,发现现有系统在依赖推理上失效

    LLM 智能体评测基准 MEME 定义了多实体与演进记忆六项任务,覆盖 Cascade、Absence 等此前未评分的依赖推理场景。 基于 100 个控制回合评估 6 种记忆系统,发现所有系统在默认配置下依赖推理准确率均低于 3%,静态检索性能良好但无法解决此问题。 文件代理结合 Claude Opus 4.7 部分弥合差距,但成本约为基线 70 倍,代码与数据已在项目页公开。

  10. arXiv · ML51

    神经元胞自动机训练语言模型

    论文提出使用神经元胞自动机生成合成非语言数据,用于 LLM 的 pre-pre-training。在 400M-3B 规模模型中,仅使用 164M NCA tokens 即可将下游语言建模性能提升最高 6%,收敛速度加速最高 1.6 倍,甚至优于使用 1.6B tokens 高质量自然语言数据且计算量更多的情况。

  11. arXiv · ML29

    Reward-Conditioned Reinforcement Learning 提出基于反事实奖励的条件化智能体以增强策略可调整性

    RCRL 方法在固定目标下通过扰动标称奖励生成多样化监督,在单任务、多任务及视觉控制基准中提升了任务性能与样本效率。 该方法为离策略算法,利用重放数据重新计算反事实奖励,无需额外环境交互。 学习策略支持零样本行为调整,向相关目标偏移而无需再训练。

  12. arXiv · ML25

    ArchSpace:记录、评审与引用大语言模型架构研究的公开平台

    ArchSpace 作为公开平台,通过记录实验与推理、社区评审及引用机制,填补了大语言模型架构创新中缺乏成功与失败文档记录的空白。 平台利用缩放定律从小型实验预测大规模模型损失,以替代高成本训练,并提供了 Qwen3.5 和 OLMo3 基线、拟合的缩放定律及可复用训练配方。 验证的想法将成为新基线,旨在拓宽塑造下一代模型的范围。

  13. arXiv · ML23

    CADET 框架通过合成 PCB 布线实例提升无违反路由策略性能

    CADET 生成 10 万块无设计规则违反(DRV)的合成交互板及其演示,结合行为克隆与强化学习训练布线策略,将真实测试板上的完整无违反路由率从 38.0% 提升至 67.2%。 该比率与开源自动布线器 FreeRouting 相当,并优于其他基线,包括 GPT-6 Astra,相关数据与代码已开源。

  14. arXiv · ML20

    基于背景知识对法律领域合成数据进行分类与风险审视

    论文将合成数据分为转换、增强和模拟三类,强调其生成所依赖的“真值假设”比数据来源本身更具法律与政策意义。 该分类揭示了不同类别合成数据的风险差异:任何类别都无法避免基于群体的隐私侵害,增强和模拟数据可能放大偏见,且合成数据通常难以帮助小竞争对手抵消市场头部玩家的数据优势。 研究呼吁政策制定者在评估是否激励或强制使用合成数据时,应重点审视其生成过程中所使用的真值假设的有效性。

  15. arXiv · ML37

    合成数据增强在数据不平衡下的公平性:理论与自适应分配

    该研究提出ACASA方法,通过最小化估计的公平性差距并受预测准确率约束,学习合成数据增强的位置与数量。 理论分析表明全平衡增强严格改善Equal Opportunity,且有限样本收敛率与信息论下界一致;仿真与真实数据应用证实该方法能显著降低公平性差距并实现有利的公平-准确率权衡。

  16. arXiv · ML30

    FOAM:一种轻量级 SOAP 变体,在 LLM 预训练中平衡效率与效果

    研究者提出轻量级 SOAP 变体 FOAM,通过输入侧预条件和行列统计因子化二阶矩估算器,在 124M 至 760M 参数 LLM 预训练中匹配 SOAP 和 Muon 基线的验证损失。 FOAM 使用 SOAP 一半的优化器状态内存,运行时间达到 Muon 级别,且在 3 倍学习率范围内保持鲁棒性,代码已开源。

  17. arXiv · ML33

    自回归语言模型序列级监督学习的困难

    自回归语言模型序列级监督学习存在根本性缺陷,两种自然尝试导致损失函数无下界。 通过自回归 Gumbel 技巧,基于采样的损失是 Gumbel 扰动下贪婪损失的期望。尽管停止梯度推导的矩匹配方向是有效下降方向,但其高方差使得教师强制可能仍是最佳选择。

  18. arXiv · ML37

    经验交接强化学习实现递归自我改进

    提出ACERL方法,在固定Agentic Context Engineering框架内通过强化学习共优化工具生成、反思与剧本策划行为,利用环境信息交接经验。 ACERL评估交接产物的下游影响,在智能体基准测试中取得优于基线方法的保留集表现。 结果表明智能体训练应优化未来推理所继承的模型生成经验。

  19. arXiv · ML30

    JudgeMix: 基于裁判引导的混合轨迹数据合成 LLM 智能体训练方法

    JudgeMix 提出裁判引导的数据合成框架,解决 LLM 智能体训练中的分布不匹配问题,在 AppWorld 和 AutomationBench 基准上提升最高 10 个 pass@1 点。 该框架根据逐步语义评估动态穿插目标模型与专家混合轨迹,仅在目标模型困难时调用专家指导,并利用裁判评估重新加权专家监督信号。

  20. arXiv · ML43

    KVPath 论文:利用低维增量连接 Transformer 各层 KV 表示

    新范式 KVPath 通过将各层 KV 表示连接成路径,仅缓存第一层全维度基础 KV 及后续层的低维增量,在匹配参数量下将 GQA 的 KV 缓存存储减少最多 68%,MLA 减少 55%。 该方法包含两种变体:KVPath-Residual 通过残差加法更新向量值,KVPath-Rolling 以滚动方式逐步更新特征维度,均在维持或提升模型性能的同时显著降低存储开销。

  21. arXiv · ML28

    Large Payments Model (LPM) 介绍

    Large Payments Model (LPM) 是一个专为支付预测任务设计的领域基础模型,旨在通过共享学习表示来统一欺诈检测、授权预测等应用。 LPM 基于大规模结构化交易数据从头训练,预训练语料规模达 400 billion tokens,支持独立和序列两种互补架构。 该模型在商户和资金管理领域的多项预测任务中优于任务特定基线,并已通过生产部署验证了其作为可复用支付智能层的有效性。

  22. arXiv · ML32

    量化对比中的噪声底线:引擎、重启、批次与内核漂移对 8 位与 4 位影响的测量

    在 Cloudflare 的 Clef-flash 和 Clef 模型上,非量化因素(如引擎、重启、批次)导致的决策变化在 0 到 0.92% 之间。 同引擎内的量化影响显著,Clef 模型在 Q4_K_M 格式下决策变化达 5.79%。 作者开源了代码与预注册数据,用于复现 31,275 题的量化精度对比。