跳到正文
10月23日周五
  1. arXiv · ML33

    Edit, Don't Imitate: 多模态推理的最小编辑在线策略蒸馏

    针对视觉语言模型(VLM)因误读图表导致推理失败的感知瓶颈,研究者提出最小编辑修正在线策略蒸馏方法。 该方法仅使用参考图表描述和验证过的参考解作为训练信息,教师模型对学生错误 rollout 进行打分,只有教师不喜欢的 token 才贡献到修正损失中;正确 rollout 则接受任务奖励强化学习。

  2. arXiv · ML42

    医学 AI 中自动化隐私风险筛选研究

    研究通过 7,789 个模型与 6 个临床数据集指出,个体患者比群体平均更容易受到成员推理攻击,且高风险患者人群在不同训练配置下基本保持稳定。团队开发了轻量级筛选工具,通过 4 个小型模型在生产模型训练前识别高风险患者,无需删除数据即可实施保护。该工具表明隐私筛选应融入临床 AI 数据准备流程,使隐私评估更具实践性。

  3. arXiv · NLP26

    AI 正在制造新的全球语言等级体系

    一项覆盖 6003 种语言的全球纵向分析显示,AI 资源高度集中于少数语言,导致数字边缘化差距呈指数级扩大,而非缩小。 研究团队对比了 AI 与早期 IT 技术的传播模式,揭示了独特的炒作驱动扩散现象,并指出现有容量在部分社区未被充分利用。 该研究提出语言 AI 准备度指数(EQUATE),旨在通过映射技术、社会经济及基础设施前提,加速语言 AI 的公平扩散并建立可持续基准。

  4. arXiv · NLP20

    SQuAT: 球面格向量量化感知训练

    提出 SQuAT,将格向量量化感知训练扩展至十亿参数 LLM 及万亿级 token 训练。 采用基于 $E_8$ 的球形码本量化方向,独立低比特量化增益,利用隐式球面优化提升精度。 通过分布式精确最近邻分配,将 VQ-QAT 训练时间缩短 12.8 倍,支持扩展至 100 亿 token。

  5. arXiv · NLP37

    推理模型中 wait 标记的来源追溯:继承而非发明

    研究表明,推理模型中的 wait 标记主要继承自训练数据而非由强化学习(RL)新发明。在缺乏该词的基础模型上,RL 显著提升 MATH-500 准确率,但 wait 保持近零;该词通过中期训练(如 OLMo-3)或微调植入。 RL 并不改变已使用该词模型的行为,且仅凭标记频率无法指示 RL 诱导的推理能力。

  6. arXiv · NLP38

    语言模型低比特 N-Gram 嵌入量化研究

    低比特 N-Gram 嵌入可将表内存降低 75%,保留 99% 验证损失提升。 在 nanochat、Llama 和 GPT-2 族模型上,4-bit 量化大幅减少内存;对 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next,内存省 47-55%,困惑度增加不足 1.2%。 该方案降低内存需求并将节省容量用于增强模型性能。

  7. arXiv · NLP40

    智能体如何调试 Web 语料库:Slovak FineWeb2 的智能体审计

    使用 LLM 作为语料库调试器,通过 2650 万文档的斯洛伐克语 FineWeb2 子集发现 7 个缺陷,包括 140 万篇机器生成内容。 智能体运行成本为 $2.21-$2.84,测试套件扫描耗时 0.7 秒,无需 GPU;盲测验证了 7 个发现中的 6 个,缺陷率显著高于随机对照。 框架、斯洛伐克语测试套件及智能体轨迹已开源,该工作已被 EMNLP 2026 WaC 研讨会接收。

  8. arXiv · NLP25

    双语语言模型捕捉第二语言阅读中的跨语言影响

    双语语言模型能捕捉人类第二语言(L2)阅读中的跨语言影响。 研究利用12种第一语言(L1)背景读者的眼动数据,证明匹配读者L1背景的双语模型在预测L2阅读时间上优于单语基线。 该预测优势集中在晚期眼动指标,受L1-L2书写系统重叠度调节,并在中级熟练度读者中表现最强。

  9. arXiv · NLP37

    开放 LLM 在西班牙 MIR 考试中的不确定性、推理与图像使用研究

    研究评估四个参数量 8 至 270 亿的开放模型在西班牙 MIR 考试中的表现,三个大模型预计排名在约前 600 至 3000 名之间,可报考 41 至 43 个专业。 模型从不弃权,因为即使最不确定的答案正确率也高于 25% 的盈亏平衡点;医疗微调降低了过度自信但降低准确率且未改善置信度区分力,且 13%-38% 的正确答案基于临床依据不足的原因,移除或替换图像后准确率不变。

  10. arXiv · NLP30

    巴什库尔茨语:低资源黏着语的大模型参数高效适配与可复现基准

    针对巴什库尔茨语发布了开放语料库、数据集及可复现基准,涵盖71,567篇文档与46.9M tokens。 实验对比了8种架构的三种适配方法,YandexGPT-5-Lite-8B经持续预训练后的宏观F1达0.748。 分词器丰度影响适配质量,西里尔分词器搭配俄语预训练效果更佳,但LLM无法替代人工评估语言正确性。

  11. arXiv · NLP33

    Cola2 提出连续语义压缩与平衡离散生成的协同分层语言建模框架

    Cola2 框架结合连续语义压缩与平衡离散生成,动态分割语义片段并通过无辅助损失负反馈控制压缩率。 使用 3460.3 亿源 token 训练,未收敛检查点在 8 个任务平均分 60.10,并在 HellaSwag 和 StoryCloze 上超越 Llama-3-8B。 实验验证了该架构在 2100 亿训练 token 规模下的竞争优势,展示了连续潜在空间分层生成的潜力。

  12. arXiv · NLP22

    Delta N-gram:向语言模型原生 N-gram 记忆的前向连续写入方法

    Delta N-gram 提出一种前向写入路径,将证据存入哈希 N-gram 表,预训练表 T^0 保持不变。 方法包含 4.1M 参数写入器,通过块平均 delta 规则更新;在 Qwen3.8-Flash-Next 上测试,delta writer 抗干扰保留率达 70%。 清除 Δ 可恢复原始模型,解决了在线梯度写入易遗忘的问题。

  13. arXiv · NLP26

    谱平滑与尖峰扰动如何重构大语言模型能力配置与选择性任务表现

    研究团队对 Llama 和 Qwen 指令模型的 up_proj 和 down_proj 矩阵实施谱平滑及尖峰扰动,揭示大奇异值被放大、小奇异值被缩小的效应。 正扰动更可靠地抑制语言与演绎推理响应,适度负扰动有时能提升事实性任务性能,敏感度随模型家族与基准模块显著变化。 谱扰动可作为轻量级干预手段,用于探查 LLM 内部能力的组织方式与权衡机制。

10月22日周四
  1. 腾讯混元68

    腾讯混元提出WorkForge框架:用真实工作区训练长程职场智能体

    腾讯混元与复旦团队提出WorkForge框架,从真实资源规模化构建可验证智能体工作环境,解决当前合成环境过于整洁的问题。该框架产出WorkForge-16K数据集,包含1.67万个横跨40个专业领域的工作环境,强制智能体探索分散证据并完成长程任务。

    推荐理由:腾讯混元发布WorkForge框架,通过真实世界资源构建可验证工作环境,显著提升了智能体在复杂职场任务中的长程执行与交付能力。

  2. arXiv · NLP33

    从价值观条件到行为转变:LLM 的轻量化价值观对齐

    研究通过微调开源 LLM 的价值观问卷回答,实现了模型输出的轻量化价值观对齐。该方法仅需选择性改变目标价值观的评分,即可在保留其他基线响应的情况下,改变模型在留出问卷及Reddit AITA道德判断等下游任务中的行为分布。结果表明,该监督信号的有效性强烈依赖于具体模型与价值观描述框架。

  3. arXiv · NLP37

    长上下文持续预训练(LCCP)的实证缩放定律:不要过早停止

    研究确立了长上下文性能与模型规模及短/长上下文 token 预算之间的实证加法幂律。 在 5 种模型规模和 100 多种配置下验证,该定律能准确预测 1.22B 参数模型在 100B LCCP token 下的性能轨迹。 结果显示 LCCP 收益可稳定观测、量化预测,并迁移至 128K 上下文扩展及监督微调后的智能体任务。

  4. arXiv · ML25

    SoLiD26:首个基于第一性原理的固液界面数据集,用于训练机器学习原子间势

    SoLiD26 发布了一个包含 1540 万个第一性原理结构的数据集,每个结构最多含 576 个原子和 15 种化学元素。 该数据集基于 VASP 软件使用 PBE 泛函和 D3 色散校正计算,主要来源于从头算分子动力学模拟,涵盖金属电极-电解质界面等系统。 它通过 MACE 模型验证了有效性,为电化学和催化系统中固液界面的 MLIP 开发提供了关键资源。

  5. arXiv · ML42

    神经网络特征叠加:从理论到实践

    该研究系统梳理神经网络特征叠加理论,并按声明强度对实践中的恢复方法进行了分级评估。 理论上指出单个线性映射读取特征需接近二次方宽度,而稀疏优化仅需线性宽度;实践中将稀疏自编码器等恢复方法分为四个类别。 研究评估了现有未解决问题,明确了训练网络特征识别中理论与经验层面的剩余挑战。

  6. arXiv · ML38

    小规模实验:我们还没达成规模化定律的承诺吗?

    小规模实验因超参数敏感性而难以体现规模化定律,研究指出这种敏感性随模型规模增加而减弱。 消融实验表明,精准调优的超参数比缩放定律其他成分更重要;超参数损失面维度随规模增大而降低,使最优配置更易寻找。 该方法已成功复现大尺度结论:在 Transformer 架构中,预归一化(pre-normalization)随模型变大表现更优。

  7. arXiv · ML32

    NodeSyn:一种用于AI评估的社会对齐合成数据生成方法

    NodeSyn方法结合微调的分类生成器与可信公开来源生成合成查询,在医学建议与自我伤害两个领域评估了10个LLM。 该方法在8个模型上排名第一,其数据集平均失败率是通用合成基线的3.1倍、人类撰写查询的1.6倍。Level 3分类扩展在9个模型上显著提升了失败率,医学领域相对提升29.2%。代码与数据集已开源,支持可扩展的高风险模型评估。

  8. arXiv · ML23

    标签污染下基于秩方差分数的重要性采样与数据剪枝方法

    标签污染导致基于损失或梯度的重要性采样与剪枝失效,论文提出基于 $K$ 个独立代理模型损失秩方差的非单调评分规则。 该规则将总秩方差分解为代理间不一致性部分(用于采样)和代理内部分(用于剪枝),两者均可在无标签情况下验证。 在 CIFAR-10/100 标签噪声实验中,该方法在基于幅度的规则失效时显著优于随机选择,代理模型开销仅为训练成本的 2-4%。

  9. arXiv · ML23

    微调小型推理模型以解决量子场论问题

    该研究首次比较了强化学习(RL)与监督微调(SFT)在理论物理可验证任务中对大语言模型的影响。 实验基于开源数据稀缺背景,构建了包含2500+合成问题和人工改编问题的数据生成管线。结果显示SFT提升集中在分布内合成任务,而RL在人工数据及TPBench上泛化能力更强。 公开发布了数据管线、可验证QFT训练数据及约200M tokens的QFT推理痕迹。

  10. arXiv · ML21

    扩散模型在模算术任务中的算法泛化机制研究

    研究通过模加法任务揭示扩散模型算法泛化机制,在单图像模式下模型通过周期性表示实现运算。 在高类内变异的多图像模式下,迭代采样将任务划分为算术计算和视觉细化两个阶段,并通过内部频率熵信号捕捉其转换过程。 该分析在受控环境中阐明了扩散模型算法泛化的内部动力学,但机制向模算术以外任务的推广性仍待探索。

  11. arXiv · ML30

    面向大语言模型的在策略蒸馏(On-Policy Distillation)综述

    该综述旨在统一在策略蒸馏(OPD)框架,通过研究学生生成状态、教师信息以及策略更新之间的相互作用来解决模型训练与部署历史的错配问题。 研究连接了蒸馏、自蒸馏、多教师集成、强化学习以及交互式智能体,并考察了不同监督设置下的设计选择如何影响能力迁移、训练效率及部署效果。 综述重点探讨了在学生演化过程中指导保持可靠和可学习的条件,并讨论了在适应监督以及分配计算资源以支持高效学习方面仍存在的开放挑战。

  12. arXiv · ML34

    LLM 表格数据生成中上下文的偏见传播机制研究

    LLM 利用上下文示例生成合成表格数据时,即便微小的示例统计偏见也会引发全局数据失真。 研究引入了对抗场景,表明恶意贡献者可通过注入偏见示例破坏下游分类器针对受保护子群的公平性。 该发现揭示了 LLM 数据生成流水线在敏感领域中存在的重大安全漏洞。

  13. arXiv · ML33

    QSelect 如何在行为保真度约束下压缩空间机器人车载语言模型

    研究者提出 QSelect 方法,通过组合 AWQ、GPTQ 和 AutoRound 静态低比特检查点,生成单一压缩模型以满足空间机器人的内存预算和静态制品要求。 在 Llama-3.1-8B 和 Llama-3.2-3B 上,3 比特目标适应模式使 3-bit 池化准确率比最佳单家族模型分别提高 4.3 和 4.5 点,且 3 比特下未量化嵌入和输出层占打包制品的 43-46%。