RSIMed 通过检索增强自进化突破临床数据限制,提升医疗基础模型性能
RSIMed-27B 在罕见病诊断中准确率随计算量线性增长,无外部模型辅助下达到 0.516 诊断准确率。 优于 GPT-5.6 最佳设置的 0.399,且推理成本仅为后者的 1/38;自生成任务训练效果优于 GPT-5.5 等外部教师生成的任务。
RSIMed-27B 在罕见病诊断中准确率随计算量线性增长,无外部模型辅助下达到 0.516 诊断准确率。 优于 GPT-5.6 最佳设置的 0.399,且推理成本仅为后者的 1/38;自生成任务训练效果优于 GPT-5.5 等外部教师生成的任务。
FedFit 提出基于 Fisher 信息矩阵的联邦动态稀疏训练框架,显著缩小稀疏与密集模型间的准确率差距。 该框架利用损失景观的二阶近似替代幅值启发式,在无显式 Hessian 计算开销下实现高效结构调整。 实验显示其在 CV 和 NLP 基准上优于 SOTA 方法并保持高通信效率,代码已开源。
针对博世(Bosch)25 种产品配置在五年内的域增量学习难题,结合持续机器学习与鲁棒优化可提升维护模型性能。 实验表明该方法在预测性能和维护成本上优于微调、在线学习等基线,相关成本指标降低超 40%。 结果证明在无法保留全部历史制造数据且产品组合不断扩展时,持续机器学习对维护决策支持具有实际价值。
该研究提出 Check Token 机制,首次在语言模型生成流中建立内置自我校验。模型通过输出功能标记触发检查、定位、截断与重写,该标记不携带推理内容。 实验基于 Qwen3-32B 和 Qwen3-Next 进行,在 HMMT25 任务上带来 10.8 pp 性能提升,开销系数为 1.13x,token 效率是 Best-of-8 的 88 倍。
研究团队发布 WAXAL,这是一个开放且大规模的多语言语音数据集,覆盖 27 种非洲语言,代表超过 1 亿使用者。该数据集包含逾 14,100 小时的语音数据,其中自动语音识别(ASR)语料库有 2,340 小时带转录文本的图像提示自然语音,跨 19 种语言(另有约 11,760 小时未转录音频);合成语音(TTS)语料库约 247 小时,覆盖 15 种语言配置。
研究显示,在监督微调示例中,基于梯度的数据归因方法追踪的是答案格式相似性而非任务语义。当基准测试共享答案格式时,梯度对齐显著(非衰减余弦相似度接近0.4),而不同格式间无对齐(接近0.0)。这一排序从预训练早期检查点贯穿至后训练阶段,并跨模型规模与家族成立。这表明梯度基于的方法需在与答案格式和任务独立变化的数据上进行测试,以提升鲁棒性和可靠性。
提出 Relay-OPD 方法解决在策略蒸馏中的前缀失败问题,通过教师在触发点接管生成教师腿并移交给学生。 使用 Qwen3-4B-Instruct-2507 作为教师模型,Relay-OPD 在 8 个基准上平均优于标准 OPD 5.73%,且减少超过 50% 的训练轨迹长度。
CD4LM 提出可组合框架加速扩散语言模型,在 GSM8K 上实现 5.18 倍加速且保持准确率,叠加缓存加速器后达 9.73 倍。 核心组件 Discrete-Space Consistency Distillation (DSCD) 训练轨迹不变学生模型,结合 ConfidenceAdaptive Decoder 解决静态到动态不匹配。
该工作构建了首个公开的孟加拉语文本到 Gloss 翻译数据集,包含 1,000 条人工标注、4,000 条合成数据及 159 条测试对。 实验对比了微调开源模型与 GPT-5.4,GPT-5.4 自动指标得分最高,但较小的开源模型表现也具有竞争力。 这证明了系统性生成的合成数据在解决低资源手语翻译挑战中的有效性。
针对大语言模型阅读 FOMC 文本进行经济预测时的时序数据污染,研究发现部分技能源于对结果的记忆。在 2000 至 2026 年的 FOMC 声明和会议纪要上,仅凭先验信息的模型对过去 GDP 预测的 AUC 可达 0.64。 研究通过对比时间一致性模型,发现实时预测中的前瞻优势在多重检验校正后不可检测,建议直接评估记忆效应。
研究发现向 LLM 合成受访者提供人口统计信息对个体预测增益微小,多数群体估计增益可被普查数据或合成画像替代。在 11 个开源模型和 3 个托管模型中,模型倾向于使群体差异扁平化,尤其是宗教和民族差异。 该研究基于两项美国调查,对比了 LLM 与统计模型在相同信息下的表现。 作者提出了一种审计方法,帮助调查机构判断哪些估计可以使用人口统计记录。
TrainExplorer 通过策略规划与解耦执行,在 PostTrainBench 上取得 39.02 分,超越 Claude Code 7.32 分并高于 GPT-5.6 Sol 驱动的 Codex。该框架利用文献构建策略搜索空间,通过单组件干预解决现有方法中的策略锁定与执行耦合问题,代码将公开。
研究发现,LLM 生成的癌症患者病例中,81.0% 至 93.2% 的患者在关键特征上高度相似。 在 12 个临床场景中,LLM 仅遵循 29/36 次的生物标志物与治疗逻辑,涉及既往治疗或虚弱情况时准确率极低。其预测的 12 个月生存率为 89.9%,高于 72.2% 的观测值。 研究提出的临床状态空间框架可评估数字孪生,旨在改进 LLM 的世界模型以支持临床模拟。
研究提出概念能量指标,揭示下一词元预测损失在预训练期间如何驱动不同概念的发展。该指标量化概念子空间与平均梯度外积的对齐程度。 实验基于 Pythia-410M 和 1B 模型的 19 个检查点及 12 种词法、句法与语义概念。
GRAFT 框架通过特征空间线性桥接实现跨骨干 LoRA 复用,突破同架构限制。 在 Qwen2.5 到 Qwen2.5-VL 的 10 项 Super-NaturalInstructions 文本任务中,GRaft 优于随机初始化 LoRA。 这为在连续学习中复用语言与多模态模型能力提供了有效机制。
功能标度律(FSL)揭示了最优批大小调度(BSS)结构依赖任务难度:易任务全程增批,难任务则后期切换大批。 该机制源于“快速追赶效应”,即小批切大批后梯度噪声快速遗忘,使损失迅速对齐;难任务可延后大批使用以显著降低数据消耗。 在1.1B参数和1T token的Dense及MoE LLM预实验中,后期切换调度持续优于固定或早期切换基线。
研究发现 Transformer 不同模块间存在持续的 Sharpness Disparity,据此提出 Blockwise Learning Rate 策略以加速 LLM 预训练。
两项开源决策模型 Nimble 9B 和 Tev1 4B 在 1,113 份口腔癌病理报告中提取 25 项数据,Tev1 字段准确率 0.917,与 Qwen3.5 9B 持平但快四倍。
Sada-ASR 在 120 小时 MSA 及八种方言测试集中表现最优,120 小时测试集词错率 11.69%,优于 Microsoft MAI-Transcribe-2 的 13.51%。
研究利用262,276条Reddit记录评估异构Transformer融合框架,选定模型组合达成0.844 macro-F1,较最佳单模型提升0.021。 审计发现50.2%记录存在训练集谱系重叠,故采用谱系不相交划分。去重驱动词移除导致58%的拯救案例失效。 谱系审计可检测词汇过滤遗漏的依赖,校准揭示集成行为盲区。
该研究提出框架直接比较训练数据归因方法,发现同类范式内存在强表征与中等功能对齐,跨范式对齐低且依赖任务。 对齐稳定性与任务相关,相似下游性能源于文档相对重要性一致而非全量排序一致。 研究将发表于EACL 2027,为归因方法评估提供直接比较维度。
在 CosyVoice 2 框架下,少量笑声数据搭配其他非语言声音(如咳嗽)可显著提升生成效果。仅用 200 条笑声样本加 3,200 条咳嗽样本,笑声端到端 F1 从 0.170 升至 0.529,超过 1,600 条纯笑声样本的 0.495。 该研究发现跨 Token 迁移在低资源非语言声音生成中具有互补价值。 这一结论为缓解非语言数据稀缺问题提供了新的技术路径。
提出FlashREINFORCE框架,实现无评论家单轨迹异步强化学习,解决长程智能体中的组同步与覆盖问题。 在DeepSeek-R1-Distill-Qwen-1.5B上稳定完成6000次更新,在Qwen2.5-Math-1.5B上以半量rollouts超越GRPO基线1.7个百分点,并成功扩展至Qwen3-30B-A3B模型。
summary_zh: 该研究提出一种方法,利用公开在线健康论坛构建无偏见、注重隐私的医疗问答数据集,并采用主题引导语义建模(TGSM)实现自动化标注。 基于检索器-读者架构,研究通过微调 BioBERT 等模型提升性能,实验结果证明其显著优于现有基准,为构建高效医疗问答系统提供了可复制框架。
SEMPA是一个无需训练的Agentic框架,在MIMIC-IV数据集上药物推荐的F1分数达到0.7295,药物相互作用率降至0.0172。 该框架结合分子感知检索与语义锚点约束,使F1分数比最强监督基线提升57.7%,药物相互作用率降低77.5%。 六类基座模型实验证实增益源自框架本身而非特定模型,已被EMNLP 2026接收。
本文提出一种生成-过滤管线,通过前向一致性指标验证错误推理路径能否还原学生的实际错误答案,并利用LLM评估其现实性。 该研究发现,多数大语言模型难以在推理过程中维持错误逻辑,而小型监督微调模型能有效捕捉这些发散路径。 这项工作为高保真错误轨迹生成提供了框架,推进了非合作型用户模拟。
OpenAI 发布的 ChatGPT for Academic Researchers 项目研究结果显示,1800 多名参与科学家报告使用 AI 后生产力近乎翻倍。研究通过隐私保护方法分析了 ChatGPT 在科研工作中的应用,涵盖从构思、数据分析到代码编写的完整流程,并探讨了其对科学发现的意义。
提出 Concertina 方法,将 N 层教师模型折叠为单共享块,并在 Qwen3-4B 上验证其有效性。 该方法的 2.27B 学生模型在 22B tokens 上蒸馏,保留教师 90% 的常识/数学推理能力,八项基准平均 84%,超越 Qwen3-1.7B 基线。 代码已开源,证明紧凑模型无需大规模重训,折叠自身并配合正确数据即可恢复大部分能力。
研究团队发布 VariNLI-VE 数据集,包含 2,250 个针对 SNLI 文本及其视觉对应项的重标注结果,涵盖标签、置信度及解释。 数据显示,视觉蕴含任务中人类标注分歧并未如预期般减少,且标注者常保留相同标签但改变解释理由。 评估发现,视觉语言模型在视觉蕴含任务中准确性较低,与人类标签分布一致性较弱,且不确定性高于文本任务。
BLiMP-RO 是首个针对罗马尼亚语的语法基准,包含 493 个由语言学家构建和 5,942 个经人工验证的半自动生成句子对,涵盖 10 个领域的 50 种语法现象。
Astraios 构建了包含 28 个基于 OctoCoder 的指令微调模型,覆盖 7 种微调方法及 4 种不同规模的模型(最大 16B 参数)。 在 5 类任务和 8 个数据集上的测试表明,全参数微调(FFT)在下游任务中表现最好,而 LoRA 在成本与性能之间通常能取得最佳平衡。 研究还发现,模型规模越大,其鲁棒性和代码安全性往往越低。
提出FedUCA框架,通过效用约束随机聚合解决联邦学习中理性客户端因利益冲突退出训练的问题。 该框架采用狄利克雷采样混合策略建立非支付通信渠道,服务器据此优化聚合参数以满足客户端的个体理性约束。 该方案有助于提升客户端留存率并改善全局模型性能,已获NeurIPS-2026会议接收。
D-VLA 提出了一种高并发、低延迟的分布式强化学习框架,旨在解决大规模具身基础模型训练中的资源冲突瓶颈。 该框架引入“平面解耦”隔离高频数据与低频权重控制,并设计了四线程异步“泳道”流水线,实现采样、推理与梯度计算的全并行重叠。 在 LIBERO 等基准测试中,D-VLA 在百亿参数模型上的吞吐量和采样效率显著优于主流强化学习框架,且在万亿参数扩展性测试中保持线性加速。
27B 开源推理模型在纯模拟环境中通过强化学习训练,无需演示即可原生使用真实机器人。 在 LIBERO 和 RoboDojo 上训练后,模型在真实双机械臂机器人上的任务成功率达 60%,LIBERO 基准成功率从 1.6% 提升至 74.4%。 该技术为机器人大规模后训练提供了新路径,且未在九个通用基准上造成能力退化。
发布包含 4,131 个 GitHub PR 的数据集 PrivacyPR,提供 1,169 个高置信度隐私修复及 250 条人工验证样本。 在 Small 子集上,编码智能体在通用提示下仅检测出 42%-51% 缺陷,而在明确隐私审查指令下检测率达 88%-91%。 结果表明缺陷检测依赖审查意图,且伴随 11%-15% 的误报,数据与代码已公开。
针对平滑非凸有限和问题的 Muon 优化器,在 shuffling 策略下证明了达成 $O(\varepsilon^{-3})$ 的迭代复杂度,以找到 $\varepsilon$-驻点。
一项针对 Qwen2.5-Coder 在 MacBook Air M2 上的评估表明,在 1 至 2 GB 文件大小区间,选择 q4_K_M 格式优于大模型低精度选项。 测试显示 3B 模型在 2 GB 档位的正确性与能耗表现均达前沿水平,而 7B-q2_K 在 3 GB 档位能耗增加但无显著正确率提升。 该研究为本地部署代码助手提供了基于 Ollama 文件大小的具体选型指南。
研究指出,现有文本到图像奖励模型在视觉推理评测中表现不佳,偏好微调会侵蚀视觉理解能力。通过翻转配对轴,将视觉推理数据集转化为偏好对混合训练,实现了视觉理解与偏好预测的帕累托改进。 该奖励模型在推理时最佳n选择和强化学习后训练阶段,将组合提示下的文本到图像生成准确率分别平均提升4.0%和5.5%,优于使用6倍更多偏好对的HPSv3模型。
研究表明,Grokking 不会实质性改变深度神经网络的训练效率动态。 实验在 16、32、64 位精度下测试了两种模型,发现长周期训练虽可诱导 Grokking,但效率曲线仍保持单调递减。 这证实了 Grokking 现象未对能耗与准确率的权衡产生显著影响。
MarathonTS 作为首个开放基准,统一对比了基于短窗口组装和长序列生成器的合成时间序列方法。 在 9 个开放小时级数据集上使用 10 个随机种子生成等长序列,通过 12 组共 83 项指标评估对真实数据(训练、验证、时间外划分)的保真度,并测试在 14 项分类与回归任务中仅用合成序列训练的模型效用。