ChronoEvo 研究显示 LLM 在纳入动态医学知识方面存在系统性失败
研究团队发布 ChronoEvo 基准,涵盖 12 类医学知识变更及 1,709 条推荐级修订。在主要模型中,90.8% 的回答识别出修订,但仅 58.5% 完全纳入新指引,存在 32.3 个百分点的认知与执行差距。
研究团队发布 ChronoEvo 基准,涵盖 12 类医学知识变更及 1,709 条推荐级修订。在主要模型中,90.8% 的回答识别出修订,但仅 58.5% 完全纳入新指引,存在 32.3 个百分点的认知与执行差距。
针对视觉语言模型(VLM)因误读图表导致推理失败的感知瓶颈,研究者提出最小编辑修正在线策略蒸馏方法。 该方法仅使用参考图表描述和验证过的参考解作为训练信息,教师模型对学生错误 rollout 进行打分,只有教师不喜欢的 token 才贡献到修正损失中;正确 rollout 则接受任务奖励强化学习。
研究通过 7,789 个模型与 6 个临床数据集指出,个体患者比群体平均更容易受到成员推理攻击,且高风险患者人群在不同训练配置下基本保持稳定。团队开发了轻量级筛选工具,通过 4 个小型模型在生产模型训练前识别高风险患者,无需删除数据即可实施保护。该工具表明隐私筛选应融入临床 AI 数据准备流程,使隐私评估更具实践性。
该研究提出了一个开源审计平台,利用 QLever 处理 Wikidata 中 1000 万条绑定关系以评估代表性。 平台采用卡方检验和 Wilson 分数置信区间等统计方法,覆盖性别、公民身份等维度。 结果显示女性占比 28.71%,非 WENA 公民身份占比显著偏低,揭示了严重的文档缺失问题。
一项覆盖 6003 种语言的全球纵向分析显示,AI 资源高度集中于少数语言,导致数字边缘化差距呈指数级扩大,而非缩小。 研究团队对比了 AI 与早期 IT 技术的传播模式,揭示了独特的炒作驱动扩散现象,并指出现有容量在部分社区未被充分利用。 该研究提出语言 AI 准备度指数(EQUATE),旨在通过映射技术、社会经济及基础设施前提,加速语言 AI 的公平扩散并建立可持续基准。
在线装箱任务中,基于价值过滤的 LoRA 权重巩固使模型生成均值向经典启发式收敛但未超越,表现为超出基线的 -1.7 点(p=0.008)及相对随机对照的 -3.1 点(p=0.004)。
提出PsyCLIENT框架及包含120个中文客户端画像的PsyCLIENT-CP数据集,涵盖60个咨询主题。在24名专业咨询师参与的评估中,其感知真实性和培训效用评分高于对比方法,且对话更常被误判为真人交互。
提出 SQuAT,将格向量量化感知训练扩展至十亿参数 LLM 及万亿级 token 训练。 采用基于 $E_8$ 的球形码本量化方向,独立低比特量化增益,利用隐式球面优化提升精度。 通过分布式精确最近邻分配,将 VQ-QAT 训练时间缩短 12.8 倍,支持扩展至 100 亿 token。
研究表明,推理模型中的 wait 标记主要继承自训练数据而非由强化学习(RL)新发明。在缺乏该词的基础模型上,RL 显著提升 MATH-500 准确率,但 wait 保持近零;该词通过中期训练(如 OLMo-3)或微调植入。 RL 并不改变已使用该词模型的行为,且仅凭标记频率无法指示 RL 诱导的推理能力。
低比特 N-Gram 嵌入可将表内存降低 75%,保留 99% 验证损失提升。 在 nanochat、Llama 和 GPT-2 族模型上,4-bit 量化大幅减少内存;对 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next,内存省 47-55%,困惑度增加不足 1.2%。 该方案降低内存需求并将节省容量用于增强模型性能。
使用 LLM 作为语料库调试器,通过 2650 万文档的斯洛伐克语 FineWeb2 子集发现 7 个缺陷,包括 140 万篇机器生成内容。 智能体运行成本为 $2.21-$2.84,测试套件扫描耗时 0.7 秒,无需 GPU;盲测验证了 7 个发现中的 6 个,缺陷率显著高于随机对照。 框架、斯洛伐克语测试套件及智能体轨迹已开源,该工作已被 EMNLP 2026 WaC 研讨会接收。
双语语言模型能捕捉人类第二语言(L2)阅读中的跨语言影响。 研究利用12种第一语言(L1)背景读者的眼动数据,证明匹配读者L1背景的双语模型在预测L2阅读时间上优于单语基线。 该预测优势集中在晚期眼动指标,受L1-L2书写系统重叠度调节,并在中级熟练度读者中表现最强。
研究评估四个参数量 8 至 270 亿的开放模型在西班牙 MIR 考试中的表现,三个大模型预计排名在约前 600 至 3000 名之间,可报考 41 至 43 个专业。 模型从不弃权,因为即使最不确定的答案正确率也高于 25% 的盈亏平衡点;医疗微调降低了过度自信但降低准确率且未改善置信度区分力,且 13%-38% 的正确答案基于临床依据不足的原因,移除或替换图像后准确率不变。
SyRA-CS 提出一种针对代码切换 ASR 的基于 Reptile 元学习的合成到真实适应框架。 模型在 16 组模型-语言对比较中 WER 全部优于持续微调,XLS-R 宏平均 WER 相对降低 17.7%,其他三个模型降低 5.3%–5.8%。
针对巴什库尔茨语发布了开放语料库、数据集及可复现基准,涵盖71,567篇文档与46.9M tokens。 实验对比了8种架构的三种适配方法,YandexGPT-5-Lite-8B经持续预训练后的宏观F1达0.748。 分词器丰度影响适配质量,西里尔分词器搭配俄语预训练效果更佳,但LLM无法替代人工评估语言正确性。
Cola2 框架结合连续语义压缩与平衡离散生成,动态分割语义片段并通过无辅助损失负反馈控制压缩率。 使用 3460.3 亿源 token 训练,未收敛检查点在 8 个任务平均分 60.10,并在 HellaSwag 和 StoryCloze 上超越 Llama-3-8B。 实验验证了该架构在 2100 亿训练 token 规模下的竞争优势,展示了连续潜在空间分层生成的潜力。
Delta N-gram 提出一种前向写入路径,将证据存入哈希 N-gram 表,预训练表 T^0 保持不变。 方法包含 4.1M 参数写入器,通过块平均 delta 规则更新;在 Qwen3.8-Flash-Next 上测试,delta writer 抗干扰保留率达 70%。 清除 Δ 可恢复原始模型,解决了在线梯度写入易遗忘的问题。
研究团队对 Llama 和 Qwen 指令模型的 up_proj 和 down_proj 矩阵实施谱平滑及尖峰扰动,揭示大奇异值被放大、小奇异值被缩小的效应。 正扰动更可靠地抑制语言与演绎推理响应,适度负扰动有时能提升事实性任务性能,敏感度随模型家族与基准模块显著变化。 谱扰动可作为轻量级干预手段,用于探查 LLM 内部能力的组织方式与权衡机制。
研究团队提出 FusionEval 基准,涵盖基于 Qwen3 和 Llama 构建的数学、代码等五个领域的专家模型池。该基准整合了有监督和免训练融合方法,在八项公开测试中评估性能与算力成本。
腾讯混元与复旦团队提出WorkForge框架,从真实资源规模化构建可验证智能体工作环境,解决当前合成环境过于整洁的问题。该框架产出WorkForge-16K数据集,包含1.67万个横跨40个专业领域的工作环境,强制智能体探索分散证据并完成长程任务。
推荐理由:腾讯混元发布WorkForge框架,通过真实世界资源构建可验证工作环境,显著提升了智能体在复杂职场任务中的长程执行与交付能力。
研究提出含 3,275 个样本的 DNBENCH 基准,用于评估 LLMs 从 1NF 到 BCNF 的数据库规范化能力。 针对 LLMs 在函数依赖推理中的失败模式,该研究设计了多智能体框架 MARS。 MARS 将证据提取、违规诊断和分解规划与模式生成分离,使 DNB-SCORE 相比单提示词基线提升 82.0%。
利用 LLM-Judge 自动构建策略对齐的训练数据,解决文本简化中缺乏人工标注和并行语料库的挑战。小规模开源 LLM 在自动指标和编辑分析中表现匹敌或超过 GPT-5。该方法在不同模型族和大小的简化模型中展现出稳健性,已被 AACL-IJCNLP 2026 接收。
研究通过微调开源 LLM 的价值观问卷回答,实现了模型输出的轻量化价值观对齐。该方法仅需选择性改变目标价值观的评分,即可在保留其他基线响应的情况下,改变模型在留出问卷及Reddit AITA道德判断等下游任务中的行为分布。结果表明,该监督信号的有效性强烈依赖于具体模型与价值观描述框架。
研究构建含60万样本的混合语码罗马尼亚语数据集CS-SeLeRoSa,评估LLM讽刺检测能力。 Gemma 4 31B零样本达成68.1% Macro-F1,微调后升至77.5%,超越GPT-5 mini等前沿模型基线。
DynaWeave 提出自动化动态场景合成框架,通过生成外生事件并微调 Qwen3.5 模型,在 CostBench 上将任务完成率提升 67.34 个百分点。
研究确立了长上下文性能与模型规模及短/长上下文 token 预算之间的实证加法幂律。 在 5 种模型规模和 100 多种配置下验证,该定律能准确预测 1.22B 参数模型在 100B LCCP token 下的性能轨迹。 结果显示 LCCP 收益可稳定观测、量化预测,并迁移至 128K 上下文扩展及监督微调后的智能体任务。
提出 Lift-Bench 与 Lift-Train,通过范围化约束缓解浅层奖励黑客。 Lift-Bench 包含可验证和判断约束,实验显示前沿模型在难子集表现不佳。 该基准和训练集数据生成管道已公开。
SoLiD26 发布了一个包含 1540 万个第一性原理结构的数据集,每个结构最多含 576 个原子和 15 种化学元素。 该数据集基于 VASP 软件使用 PBE 泛函和 D3 色散校正计算,主要来源于从头算分子动力学模拟,涵盖金属电极-电解质界面等系统。 它通过 MACE 模型验证了有效性,为电化学和催化系统中固液界面的 MLIP 开发提供了关键资源。
该研究通过因果自注意力动力学(解码器 Transformer 的玩具模型)严格解释“中间丢失”现象。 证明在独立同分布均匀 token 下,其限制相关方程有闭式解。 得出在明确小性条件下,token 检索分布呈 U 形:具有首要效应、近期效应及唯一的内部极小值。
该研究系统梳理神经网络特征叠加理论,并按声明强度对实践中的恢复方法进行了分级评估。 理论上指出单个线性映射读取特征需接近二次方宽度,而稀疏优化仅需线性宽度;实践中将稀疏自编码器等恢复方法分为四个类别。 研究评估了现有未解决问题,明确了训练网络特征识别中理论与经验层面的剩余挑战。
小规模实验因超参数敏感性而难以体现规模化定律,研究指出这种敏感性随模型规模增加而减弱。 消融实验表明,精准调优的超参数比缩放定律其他成分更重要;超参数损失面维度随规模增大而降低,使最优配置更易寻找。 该方法已成功复现大尺度结论:在 Transformer 架构中,预归一化(pre-normalization)随模型变大表现更优。
NodeSyn方法结合微调的分类生成器与可信公开来源生成合成查询,在医学建议与自我伤害两个领域评估了10个LLM。 该方法在8个模型上排名第一,其数据集平均失败率是通用合成基线的3.1倍、人类撰写查询的1.6倍。Level 3分类扩展在9个模型上显著提升了失败率,医学领域相对提升29.2%。代码与数据集已开源,支持可扩展的高风险模型评估。
S-FLM 将连续流语言模型迁移至超球面潜在空间,通过旋转向量生成序列,避免了传统 FLM 中 one-hot 向量的高昂计算开销。 该方法在大词表推理任务上显著提升了连续流模型性能,在标准温度采样下缩小了与掩码扩散模型的差距。
标签污染导致基于损失或梯度的重要性采样与剪枝失效,论文提出基于 $K$ 个独立代理模型损失秩方差的非单调评分规则。 该规则将总秩方差分解为代理间不一致性部分(用于采样)和代理内部分(用于剪枝),两者均可在无标签情况下验证。 在 CIFAR-10/100 标签噪声实验中,该方法在基于幅度的规则失效时显著优于随机选择,代理模型开销仅为训练成本的 2-4%。
ProMORNA 是一个零样本、端到端的生成框架,专为设计全长治疗性 mRNA 而构建,旨在平衡胞内稳定性与翻译效率。 它基于 BART 架构,在超过 600 万对天然蛋白-mRNA 数据上预训练,并通过两阶段后训练(包括冷启动 SFT 和多目标强化学习)优化。
该研究首次比较了强化学习(RL)与监督微调(SFT)在理论物理可验证任务中对大语言模型的影响。 实验基于开源数据稀缺背景,构建了包含2500+合成问题和人工改编问题的数据生成管线。结果显示SFT提升集中在分布内合成任务,而RL在人工数据及TPBench上泛化能力更强。 公开发布了数据管线、可验证QFT训练数据及约200M tokens的QFT推理痕迹。
研究通过模加法任务揭示扩散模型算法泛化机制,在单图像模式下模型通过周期性表示实现运算。 在高类内变异的多图像模式下,迭代采样将任务划分为算术计算和视觉细化两个阶段,并通过内部频率熵信号捕捉其转换过程。 该分析在受控环境中阐明了扩散模型算法泛化的内部动力学,但机制向模算术以外任务的推广性仍待探索。
该综述旨在统一在策略蒸馏(OPD)框架,通过研究学生生成状态、教师信息以及策略更新之间的相互作用来解决模型训练与部署历史的错配问题。 研究连接了蒸馏、自蒸馏、多教师集成、强化学习以及交互式智能体,并考察了不同监督设置下的设计选择如何影响能力迁移、训练效率及部署效果。 综述重点探讨了在学生演化过程中指导保持可靠和可学习的条件,并讨论了在适应监督以及分配计算资源以支持高效学习方面仍存在的开放挑战。
LLM 利用上下文示例生成合成表格数据时,即便微小的示例统计偏见也会引发全局数据失真。 研究引入了对抗场景,表明恶意贡献者可通过注入偏见示例破坏下游分类器针对受保护子群的公平性。 该发现揭示了 LLM 数据生成流水线在敏感领域中存在的重大安全漏洞。
研究者提出 QSelect 方法,通过组合 AWQ、GPTQ 和 AutoRound 静态低比特检查点,生成单一压缩模型以满足空间机器人的内存预算和静态制品要求。 在 Llama-3.1-8B 和 Llama-3.2-3B 上,3 比特目标适应模式使 3-bit 池化准确率比最佳单家族模型分别提高 4.3 和 4.5 点,且 3 比特下未量化嵌入和输出层占打包制品的 43-46%。