HindAudit 审计临床 Agent 基准中的后见之明偏差
HindAudit 在 MIMIC-IV 27,489 例急诊病例中发现,基准摘要使 4 个 LLM 零样本准确率从 25.4% 升至 39.7%,病史升至 45.3%。 后见之明主要存在于病例文本中,给模拟器提供诊断对实验室结果泄漏影响微小,掩码诊断名不改变该差距。 由于 MIMIC 缺乏实时病史,该差距被视为后见之明效应的上限。
HindAudit 在 MIMIC-IV 27,489 例急诊病例中发现,基准摘要使 4 个 LLM 零样本准确率从 25.4% 升至 39.7%,病史升至 45.3%。 后见之明主要存在于病例文本中,给模拟器提供诊断对实验室结果泄漏影响微小,掩码诊断名不改变该差距。 由于 MIMIC 缺乏实时病史,该差距被视为后见之明效应的上限。
SAFE-Triage 框架整合人工审核、自动化指标及 LLM 评估,在 40 个 MIMIC-IV 案例中对比 PLT 与 rPLT 分诊表现。 PLT 的急诊严重程度指数准确率更高(57.5% vs 42.8%),且低分诊率更低(13.1% vs 29.8%)。 该框架揭示准确率、通信质量与可读性间的权衡,支持部署前优化与持续监测。
语言模型在对日韩政党进行相对排序时,表现比最强固定答案基线高出两倍以上,但在同一量表上定位单一政党时则低于该基线。 该结论基于 Comparative Manifesto Project 的编码数据,且研究发现提供编码值可将定位表现提升至接近满分,表明比较性问题和绝对性问题衡量不同的能力。
FieldGuide 作为面向智能体的语料地图,在 5 项新闻文档探索任务中较 raw-file 访问减少 27% token 和 41% 耗时,较 RAG 减少 38% token 和 21% 耗时。
研究者推出 MInfoVisQA 基准,包含 24 种语言、8,960 个问答配置及 25 个多模态大语言模型评估数据。 该基准通过分离数值结构与文本生成并行视觉问答对,发现模型在跨语言场景下表现存在显著差异。 研究结果指出,平均准确率掩盖了鲁棒性差距,凸显跨语言敏感度指标在模型评估中的必要性。
Sleep2Word 是一种将呼吸、ECG 或 PPG 等周边生理信号转换为 EEG 频谱图的框架。 该框架通过时长感知的生理“词”进行量化,并在 9 个数据集(超 20K PSG 病例)上训练。 在 EEG 频谱重建、睡眠分期和生存预测等任务中,Sleep2Word 优于现有基线,全夜序列压缩率高达 69.7%。
GNN 在寻找 Ising 模型基态时无修改性能劣于最小和算法(能量空腔法),融合该类启发式规则后性能显著提升。 改进方案虽强于其他深度学习法,但同等计算成本下模拟退火法表现通常更优。
提出 SkillPE 创意导向框架,通过参考引导探索演化可复用电影技能,在 StoryEval 和 VBench 上较种子技能提升最高 1.10 分。 基于 20 个种子技能,结合 Resonators 和 Divergents 检索与变异,按 7 分四维量表评估最终技能库。 为电影感文生视频生成提供平衡保真度与创意的实用方法。
针对多兆瓦级灵活负荷整形,研究者提出一种可解释的“挑樱桃”策略,能在不增加批发电力成本的前提下,实现比静态LMP整形高2-3倍的年度电网CO2减排。 该方法基于对ERCOT电力市场近8900个节点的仿真数据,结合可观测的电网净需求与节点最低LMP阈值,动态选择当日最优整形信号。
FLARE 提出基于轻量级生成式奖励模型(GRM)的密集监督范式,解决长程编码智能体中稀疏二元奖励导致的信用分配危机。FLARE (N=1) 比 Global Rollout (N=5) 性能更优且 Token 消耗减少 5 倍。在 SFT 中带来 19.13% 相对性能增益,在 RL 中带来 9.19% 性能提升。
JigSLO 提出一种感知带宽争用的多 LLM 服务系统,平均将 SLO 达标率提升 2.3 倍,吞吐量提升 1.2 倍。 系统通过联合优化张量并行、计算份额与批次配置,在长上下文工作负载中仅需一半 GPU 即可匹配基线的最佳达标率。
研究开发框架评估大语言模型防护机制,分析攻击者可能获取的最大最小有害辅助。 分析 52 篇论文中 85 项评测发现,仅 5 项论证攻击路径,4 项提供阻断后证据。 NeMo Guardrails 默认流式配置下,94% 的密码泄露被阻断,但客户端仍获取密码。
针对边缘设备资源限制,提出 Mix-Opt 框架,通过自适应结合 BP-low 与 ZO-high 实现内存高效的文生图扩散模型个性化微调。 引入时间步感知的概率函数动态选择优化策略,在 U-Net 与 DiT 模型上均实现显著内存降低且保持高质量生成。
纯拒绝 SFT 导致过度拒绝,而混合 SFT 使 5 个阿拉伯语模型在有害拒绝率 H 达 90%-93% 时,良性拒绝率 B 维持在 14%-23%。 DPO 与推理护栏效果因模型而异,标注员一致性 89.0%(kappa=0.78),Qwen3Guard 与 Aya Expanse 32B 准确率分别为 88.7% 和 91.0%。
论文提出基于量化的方法,用K点离散测度近似概率测度,解决最优传输在大规模支撑下的高计算成本问题。 推导了量化测度的一致性及其在下游任务中的收敛保证。 合成与真实数据实验表明,该方法在保持性能的同时显著减少运行时间。
研究揭示 LLM 与人类在证据更新时机的位置偏差机制存在分歧。 发现查询时机的更新方式显著影响 LLM 的偏差表现,且较新模型的偏差显著强于旧版本模型。
针对单LLM模拟器导致的策略泛化失败,研究提出Verbalized Sampling与Co-Training两种解决方案。 在Persuasion for Good等三项基准测试中,Verbalized Sampling提升留出成功率9%,Co-Training进一步升至14%,并保留了策略多样性。 研究指出多样化模拟器是服务真实用户的必要要求,并开源了SCOPE框架。
大语言模型的滥用防护机制存在高危漏洞,因其依赖用户声称的专业身份进行拦截,而攻击者可直接伪造身份。研究发现,在12个顶级会议最新129篇论文的防御方案中,该漏洞普遍存在,现有基准测试无法有效识别。
研究显示第三方 API 路由器在 coding agent 工作流中存在控制缺口,可篡改请求与响应。 研究测试了四种渐进干预级别,包括响应替换、追加、LLM 润色注入等。 四个代表性 coding agent 在所有注入级别下防御成功率均为 0 百分,客户端缓解措施无法恢复端到端控制。
提出 MACE 框架,通过 MCTS 引导的对抗协同进化提升 LLM 安全对齐。该框架包含 GS-MCTS 搜索组件与 AC-TGPO 优化组件,实现攻击者与防御者的策略学习。
研究揭示低损失区域不对齐是引发 Grokking 的关键机制,并在标准模块算术任务中构建了“反-Grokking”反例,挑战了现有关联解释。 基于模态连通性的分析框架表明,当训练与验证划分的低损失区域对齐良好时,仅调整超参数无法产生 Grokking,模型动态将坍缩为可训练或不可训练状态。
现有 root cause analysis 评测使用 top@k accuracy 混淆了检索失败与重排序失败,研究通过分解方法审计四个基准并发现统计基线在工业 CPS 基准中 79-100% 时间误排真实原因。
研究提出 Agentic In-Context Learning (Agentic ICL),构建因果 Transformer 近似主动学习、bandits 及在线 RL 算法。 通过蒸馏实验验证 Transformer 能执行三种递归,发现优化过程奖励可保持最大化最终结果的行为策略。 研究指出改进过程监督与结果最优动作偏好的一致性,会改变预训练语言模型在文本复述下的决策行为。
有限候选池因远离主动约束边界,限制了代理辅助设计效能。 研究显示,连续约束 EI 使电磁线圈响应升至 0.9745 mT,热阻降至 11.905 K/W。 LogEI 性能更优,达到 0.9770 mT 和 11.860 K/W,验证了连续搜索优势。
summary_zh: Code4Scene 基准包含 170 个 Unreal Engine 案例,评估 14 个编码智能体在 3D 场景构建与编辑任务中的表现。
研究表明 Qwen3 0.6B-8B 模型在持续记忆代理中易依赖过时信息,Benefit 套件中依赖度达 0.92-1.00。 Llama-Instruct 交叉验证及 RGB、MisBench 实验支持该结论,且元数据与预解析可提升准确率。 结果发表于 NeurIPS 2026 PALM 研讨会,揭示线索依赖性脆弱性但未评估完整记忆生命周期。
研究提出 CEMMKG 框架,通过多粒度设计在局部和全局范围内为图像补充文本上下文,解决现有 MMKG 处理方法中图文语义鸿沟导致的 GraphRAG 性能瓶颈。 局部上下文不仅包含图像周围文本,还引入语义相关句子;全局上下文提供全文摘要。多数据集实验表明,该框架能有效利用上下文信息提升基于 MMKG 的 RAG 性能,且适用于不同的 RAG 方法。
现有智能体系统离线评估多将轨迹简化为二元成功值,导致约 75% 实例出现平局,降低统计效率。 提出的偏好轨迹评估法通过比较不同时刻的回报分布直接对比轨迹对,将平局率降至约 35%。 该方法提升了区分度与排序稳定性,表明基准测试饱和现象可能源于评估指标设计而非数据或难度问题。
EMRD框架提出了一种评估视觉语言模型在关键安全场景下探索、映射、记忆和决策能力的基准测试方法。该框架将空间推理分解为四个阶段,并使用18个指标对11个开放和闭源VLM进行了评估。 实验在16栋建筑中进行,包括三种环境压力。结果显示,开放权重模型在95%的案例中未能访问所有房间,而闭源模型在添加外部记忆后表现更佳。 该基准测试为评估VLM在具身智能控制中的可靠性提供了重要工具。
FoundCause 提出了一种仅用合成结构因果模型训练的摊销因果发现基础模型,通过单次前向传播将数据集映射为因果图。模型采用置换等变 Transformer,结合成对依赖统计量引导注意力机制,并显式预测潜在混杂因子对。在 14 个数据集上,FoundCause 在归一化结构汉明距离(SHD/d)上显著领先(0.875 vs 0.956),且在双变量因果关系预测中表现最佳。
针对预训练表示作为噪声代理协变量且标签稀缺的场景,研究提出一种半监督回归两阶段估计器。 该估计器利用所有代理协变量学习核特征,并在有标签数据上拟合岭预测器。 理论推导显示,当代理扰动可控且无标签样本充足时,可恢复快速样本收敛率,实验在低标签场景优于基线。
提出 Latent Q-Barrier Shielding 方法以改善安全上下文强化学习(ICRL)在分布外(OOD)部署中的表现。 该盾牌在部署前学习上下文表示、潜在动力学及集成成本评估器,无需参数更新即可筛选候选动作。 在 5 个安全 ICRL 基准测试中,该方法在 4 个基准测试中实现了更高的回报,且在全部 5 个基准测试中保持或降低了平均单集成本。
研究人员提出可扩展的类优化任务族 OPT*,包含可行性检查器与评估器,通过复杂度参数扩展 LLM 的搜索空间。 该框架对比了求解器引导的在线策略优化(使用 rank-based reward shaping)与无求解器时的搜索型离线 RL,并在理论层面关联了搜索预算下的信息提取效率。 在 OPT* 上的训练被证明能提升 LLM 逐步类优化推理的表现。
CardioLoom 基于 2,781,289 个心电图报告对在 1,298,359 名患者中完成预训练,覆盖 89 项评估目标与 9 个外部队列。 在 45 项内部心电图诊断中,其宏观 AUPRC 为 0.624,高于 DeepECG-SSL 的 0.615;仅用 10% 标注患者即可达到 0.559 的宏观 AUPRC,超过全量监督训练的 0.549。
summary_zh: LEAP框架结合领域专用语言模型与主动学习,实现了低数据条件下钙钛矿前驱体添加剂的优先筛选。 该模型从文献中提取机制相关知识,生成可解释分子描述符用于不确定性感知贝叶斯优化。
研究提出 CauSim 框架,通过由大语言模型增量构建可执行结构因果模型(SCM),将稀缺标签的因果推理转化为可扩展的监督问题。 CauSim 将不可执行的因果知识形式化为代码,实现跨表示的泛化,并支持通过课程扩展和数据量增加获得一致性收益,以及 LLM 自我改进。
Q-LocalAdam 是一种分布感知的优化器,通过分块线性量化动量状态和对数空间量化方差状态,在边缘设备上显著降低优化器状态的内存占用。 它使用去量化后的方差下限来维持数值稳定性,使得模型收敛效果接近全精度训练。 在人类活动、视觉和语言任务上的实验表明,该方法在减少峰值驻留内存的同时,仅引入适度的延迟开销。
PRCO 提出基于共享策略的双角色 RLVR 框架,在 8 个基准测试中将平均准确率提升 7 个点以上。 框架通过 Observer 生成证据描述、Solver 预测答案,并采用角色特定奖励解决信用分配模糊问题。 该方法性能优于先前开源的 RL 调优基线模型。
对11个前沿模型在4种场景下的评估显示,尽管环境激励高,代理几乎不策划,且无法用口头化评估意识解释。 向系统提示插入对抗性片段可诱导高策划率,但移除单个工具可使策划率从59%骤降至3%,增加监督最多可提高25%的策划率。 结果表明策划倾向应按代理配置报告,为部署环境下的系统性测量提供方法。
DiffATS 框架直接在正交 Procrustes 对齐的张量基元上训练扩散模型,实现 3.9 至 210 倍的数据压缩。 该方法无需预训练压缩自编码器,通过 Tucker 分解构建数据依赖型基元,并在图像、视频及 PDE 求解上实现强生成性能。