跳到正文
11月17日周二
  1. arXiv · ML26

    FedFit 通过 Fisher 信息评分实现联邦动态稀疏训练

    FedFit 提出基于 Fisher 信息矩阵的联邦动态稀疏训练框架,显著缩小稀疏与密集模型间的准确率差距。 该框架利用损失景观的二阶近似替代幅值启发式,在无显式 Hessian 计算开销下实现高效结构调整。 实验显示其在 CV 和 NLP 基准上优于 SOTA 方法并保持高通信效率,代码已开源。

  2. arXiv · ML25

    制造业预测性维护中持续机器学习的操作价值

    针对博世(Bosch)25 种产品配置在五年内的域增量学习难题,结合持续机器学习与鲁棒优化可提升维护模型性能。 实验表明该方法在预测性能和维护成本上优于微调、在线学习等基线,相关成本指标降低超 40%。 结果证明在无法保留全部历史制造数据且产品组合不断扩展时,持续机器学习对维护决策支持具有实际价值。

  3. arXiv · NLP32

    WAXAL:一个覆盖 27 种非洲语言的大规模多语言语音语料库

    研究团队发布 WAXAL,这是一个开放且大规模的多语言语音数据集,覆盖 27 种非洲语言,代表超过 1 亿使用者。该数据集包含逾 14,100 小时的语音数据,其中自动语音识别(ASR)语料库有 2,340 小时带转录文本的图像提示自然语音,跨 19 种语言(另有约 11,760 小时未转录音频);合成语音(TTS)语料库约 247 小时,覆盖 15 种语言配置。

  4. arXiv · NLP35

    基于梯度的数据归因方法更关注形式而非内容

    研究显示,在监督微调示例中,基于梯度的数据归因方法追踪的是答案格式相似性而非任务语义。当基准测试共享答案格式时,梯度对齐显著(非衰减余弦相似度接近0.4),而不同格式间无对齐(接近0.0)。这一排序从预训练早期检查点贯穿至后训练阶段,并跨模型规模与家族成立。这表明梯度基于的方法需在与答案格式和任务独立变化的数据上进行测试,以提升鲁棒性和可靠性。

  5. arXiv · NLP21

    孟加拉语文本到手语标注(Gloss)翻译数据集与基准发布:包含 1,000 条人工标注及 4,000 条合成数据

    该工作构建了首个公开的孟加拉语文本到 Gloss 翻译数据集,包含 1,000 条人工标注、4,000 条合成数据及 159 条测试对。 实验对比了微调开源模型与 GPT-5.4,GPT-5.4 自动指标得分最高,但较小的开源模型表现也具有竞争力。 这证明了系统性生成的合成数据在解决低资源手语翻译挑战中的有效性。

  6. arXiv · NLP34

    大语言模型阅读央行文本时存在时序数据污染

    针对大语言模型阅读 FOMC 文本进行经济预测时的时序数据污染,研究发现部分技能源于对结果的记忆。在 2000 至 2026 年的 FOMC 声明和会议纪要上,仅凭先验信息的模型对过去 GDP 预测的 AUC 可达 0.64。 研究通过对比时间一致性模型,发现实时预测中的前瞻优势在多重检验校正后不可检测,建议直接评估记忆效应。

  7. arXiv · NLP32

    审计 LLM 合成受访者的人口统计信息披露

    研究发现向 LLM 合成受访者提供人口统计信息对个体预测增益微小,多数群体估计增益可被普查数据或合成画像替代。在 11 个开源模型和 3 个托管模型中,模型倾向于使群体差异扁平化,尤其是宗教和民族差异。 该研究基于两项美国调查,对比了 LLM 与统计模型在相同信息下的表现。 作者提出了一种审计方法,帮助调查机构判断哪些估计可以使用人口统计记录。

  8. arXiv · NLP44

    LLMs 作为肿瘤学世界模型的表征与局限性分析

    研究发现,LLM 生成的癌症患者病例中,81.0% 至 93.2% 的患者在关键特征上高度相似。 在 12 个临床场景中,LLM 仅遵循 29/36 次的生物标志物与治疗逻辑,涉及既往治疗或虚弱情况时准确率极低。其预测的 12 个月生存率为 89.9%,高于 72.2% 的观测值。 研究提出的临床状态空间框架可评估数字孪生,旨在改进 LLM 的世界模型以支持临床模拟。

  9. arXiv · NLP31

    基于功能标度律的最优批大小调度分析

    功能标度律(FSL)揭示了最优批大小调度(BSS)结构依赖任务难度:易任务全程增批,难任务则后期切换大批。 该机制源于“快速追赶效应”,即小批切大批后梯度噪声快速遗忘,使损失迅速对齐;难任务可延后大批使用以显著降低数据消耗。 在1.1B参数和1T token的Dense及MoE LLM预实验中,后期切换调度持续优于固定或早期切换基线。

  10. arXiv · NLP35

    心理健康文本分类中感知泄漏的校准决策级融合

    研究利用262,276条Reddit记录评估异构Transformer融合框架,选定模型组合达成0.844 macro-F1,较最佳单模型提升0.021。 审计发现50.2%记录存在训练集谱系重叠,故采用谱系不相交划分。去重驱动词移除导致58%的拯救案例失效。 谱系审计可检测词汇过滤遗漏的依赖,校准揭示集成行为盲区。

  11. arXiv · NLP33

    CosyVoice 2 中基于跨 Token 迁移的非语言文本转语音数据效率研究

    在 CosyVoice 2 框架下,少量笑声数据搭配其他非语言声音(如咳嗽)可显著提升生成效果。仅用 200 条笑声样本加 3,200 条咳嗽样本,笑声端到端 F1 从 0.170 升至 0.529,超过 1,600 条纯笑声样本的 0.495。 该研究发现跨 Token 迁移在低资源非语言声音生成中具有互补价值。 这一结论为缓解非语言数据稀缺问题提供了新的技术路径。

  12. arXiv · NLP29

    利用公开健康论坛构建高效医疗问答系统的指南

    summary_zh: 该研究提出一种方法,利用公开在线健康论坛构建无偏见、注重隐私的医疗问答数据集,并采用主题引导语义建模(TGSM)实现自动化标注。 基于检索器-读者架构,研究通过微调 BioBERT 等模型提升性能,实验结果证明其显著优于现有基准,为构建高效医疗问答系统提供了可复制框架。

  13. arXiv · NLP21

    SEMPA框架通过双角色对抗辩论提升医疗药物推荐安全性

    SEMPA是一个无需训练的Agentic框架,在MIMIC-IV数据集上药物推荐的F1分数达到0.7295,药物相互作用率降至0.0172。 该框架结合分子感知检索与语义锚点约束,使F1分数比最强监督基线提升57.7%,药物相互作用率降低77.5%。 六类基座模型实验证实增益源自框架本身而非特定模型,已被EMNLP 2026接收。

  14. arXiv · NLP28

    Many Paths to the Same Mistake: 生成同一学生错误背后的多样化推理路径

    本文提出一种生成-过滤管线,通过前向一致性指标验证错误推理路径能否还原学生的实际错误答案,并利用LLM评估其现实性。 该研究发现,多数大语言模型难以在推理过程中维持错误逻辑,而小型监督微调模型能有效捕捉这些发散路径。 这项工作为高保真错误轨迹生成提供了框架,推进了非合作型用户模拟。

11月16日周一
  1. arXiv · NLP33

    Concertina 通过折叠教师模型权重实现高效知识蒸馏

    提出 Concertina 方法,将 N 层教师模型折叠为单共享块,并在 Qwen3-4B 上验证其有效性。 该方法的 2.27B 学生模型在 22B tokens 上蒸馏,保留教师 90% 的常识/数学推理能力,八项基准平均 84%,超越 Qwen3-1.7B 基线。 代码已开源,证明紧凑模型无需大规模重训,折叠自身并配合正确数据即可恢复大部分能力。

  2. arXiv · NLP25

    人类标注变异性研究:文本与视觉蕴含中的差异及 VariNLI-VE 数据集

    研究团队发布 VariNLI-VE 数据集,包含 2,250 个针对 SNLI 文本及其视觉对应项的重标注结果,涵盖标签、置信度及解释。 数据显示,视觉蕴含任务中人类标注分歧并未如预期般减少,且标注者常保留相同标签但改变解释理由。 评估发现,视觉语言模型在视觉蕴含任务中准确性较低,与人类标签分布一致性较弱,且不确定性高于文本任务。

  3. arXiv · AI26

    Astraios:参数高效指令微调代码大语言模型

    Astraios 构建了包含 28 个基于 OctoCoder 的指令微调模型,覆盖 7 种微调方法及 4 种不同规模的模型(最大 16B 参数)。 在 5 类任务和 8 个数据集上的测试表明,全参数微调(FFT)在下游任务中表现最好,而 LoRA 在成本与性能之间通常能取得最佳平衡。 研究还发现,模型规模越大,其鲁棒性和代码安全性往往越低。

  4. arXiv · ML26

    FedUCA:通过效用约束随机聚合提升联邦学习中理性参与度的框架

    提出FedUCA框架,通过效用约束随机聚合解决联邦学习中理性客户端因利益冲突退出训练的问题。 该框架采用狄利克雷采样混合策略建立非支付通信渠道,服务器据此优化聚合参数以满足客户端的个体理性约束。 该方案有助于提升客户端留存率并改善全局模型性能,已获NeurIPS-2026会议接收。

  5. arXiv · AI29

    D-VLA:面向视觉-语言-动作模型的高并发分布式异步强化学习框架

    D-VLA 提出了一种高并发、低延迟的分布式强化学习框架,旨在解决大规模具身基础模型训练中的资源冲突瓶颈。 该框架引入“平面解耦”隔离高频数据与低频权重控制,并设计了四线程异步“泳道”流水线,实现采样、推理与梯度计算的全并行重叠。 在 LIBERO 等基准测试中,D-VLA 在百亿参数模型上的吞吐量和采样效率显著优于主流强化学习框架,且在万亿参数扩展性测试中保持线性加速。

  6. arXiv · ML45

    27B 开源推理模型通过 PEAR 在模拟中训练并原生驱动真实机器人

    27B 开源推理模型在纯模拟环境中通过强化学习训练,无需演示即可原生使用真实机器人。 在 LIBERO 和 RoboDojo 上训练后,模型在真实双机械臂机器人上的任务成功率达 60%,LIBERO 基准成功率从 1.6% 提升至 74.4%。 该技术为机器人大规模后训练提供了新路径,且未在九个通用基准上造成能力退化。

  7. arXiv · AI38

    PrivacyPR:隐私感知代码审查基准数据集

    发布包含 4,131 个 GitHub PR 的数据集 PrivacyPR,提供 1,169 个高置信度隐私修复及 250 条人工验证样本。 在 Small 子集上,编码智能体在通用提示下仅检测出 42%-51% 缺陷,而在明确隐私审查指令下检测率达 88%-91%。 结果表明缺陷检测依赖审查意图,且伴随 11%-15% 的误报,数据与代码已公开。

  8. arXiv · ML37

    按文件大小与单任务能耗选择量化代码 LLM

    一项针对 Qwen2.5-Coder 在 MacBook Air M2 上的评估表明,在 1 至 2 GB 文件大小区间,选择 q4_K_M 格式优于大模型低精度选项。 测试显示 3B 模型在 2 GB 档位的正确性与能耗表现均达前沿水平,而 7B-q2_K 在 3 GB 档位能耗增加但无显著正确率提升。 该研究为本地部署代码助手提供了基于 Ollama 文件大小的具体选型指南。

  9. arXiv · AI21

    视觉推理在文本到图像奖励建模中的新思考

    研究指出,现有文本到图像奖励模型在视觉推理评测中表现不佳,偏好微调会侵蚀视觉理解能力。通过翻转配对轴,将视觉推理数据集转化为偏好对混合训练,实现了视觉理解与偏好预测的帕累托改进。 该奖励模型在推理时最佳n选择和强化学习后训练阶段,将组合提示下的文本到图像生成准确率分别平均提升4.0%和5.5%,优于使用6倍更多偏好对的HPSv3模型。

  10. arXiv · ML30

    MarathonTS:基于窗口组装与长序列生成器的长合成时间序列基准

    MarathonTS 作为首个开放基准,统一对比了基于短窗口组装和长序列生成器的合成时间序列方法。 在 9 个开放小时级数据集上使用 10 个随机种子生成等长序列,通过 12 组共 83 项指标评估对真实数据(训练、验证、时间外划分)的保真度,并测试在 14 项分类与回归任务中仅用合成序列训练的模型效用。