编码智能体中检查通过不等同于任务完成:证据解读研究
针对编码智能体中验证程序无法保证正确判定任务完成的问题,研究提出需保留执行事实并限定证据范围。 十三项任务的前瞻性阶乘研究显示,正确报告的事实未必能得出请求的有限判定;122个留出集标签均正确,但16个响应误报事实且11个超出授权范围。 结果界定了证据解读的适用性,未证明通用的诊断优势或Skill退化效应。
针对编码智能体中验证程序无法保证正确判定任务完成的问题,研究提出需保留执行事实并限定证据范围。 十三项任务的前瞻性阶乘研究显示,正确报告的事实未必能得出请求的有限判定;122个留出集标签均正确,但16个响应误报事实且11个超出授权范围。 结果界定了证据解读的适用性,未证明通用的诊断优势或Skill退化效应。
提出契约显式评估协议,解决文档级关系抽取(DocRE)及LLM裁判中排名在评分契约下反转且无法确定哪些比较有效的问题。 该协议基于Kendall秩相关分解,通过预注册五步流程生成分布无关普查证书。DocRE审计中3个标记实例上限为0.146;LLM裁判普查中12.25%的比较需对冲,边界0.124。 协议、地图及工件已发布,明确置信度证书在真实分数下被撤回的失效边界。
研究发现,全模态模型中预测跨模态不一致的信息主要位于低维 Answer Subspace 之外,集中在一个可复现的二维表示中。干扰 Answer Subspace 会显著改变模型预测,而干扰该不一致表示或同维随机子空间对结果影响甚微,表明线性可解码性不等同于行为效力。
AfriNORM 是专为评估 LLM 在非洲社会文化背景中规范性推理能力而设计的场景式多选数据集,旨在填补现有基准在文化胜任力评估上的空白。 该基准引入通用常识偏差分(UCBS)和干扰项偏差分(DBS)两项指标,量化模型偏差与对文化规范理解的局限性。
MM-ReportBench发布覆盖386个任务的评测基准,针对185张真实表格。 测试显示最优模型总分仅68.9,38.5%的报告存在数字幻觉。该双评审框架证实单评审会导致分数虚高8-12分。
研究发现,在基于 LLM 的增量实体解析中,模型判断新记录归属时受集群规模影响,集群成员增加会降低匹配标准。 使用 Claude Sonnet 5 和 Haiku 5.5 测试显示,展示 16 个而非 1 个已验证成员时,同名公司的假匹配率上升;ROC 曲线下面积仅小幅增长,且单次错误合并会提高后续错误接受率。
研究在 Overcooked 环境中注入三种失配 LLM 智能体,评估 4 人团队的鲁棒性。检测、纠正与校准需在同一语句中结合归因与诊断,单独提示归因会使无干扰基线性能下降 37.5%。
研究显示 LLM 对荷兰语多族裔变体 Straattaal 存在类人的显性语言态度,其响应模式与人类参与者在相同显性评级任务中相似。 在 LLM Word Association Test 中,Straattaal 持续与有移民背景的个体关联,且较大、较新的模型表现出更强关联;人类在隐性和显性层面均强烈建立该关联。 研究凸显将社会语言学视角纳入 NLP 以识别和缓解内嵌的社会及语言偏见的重要性。
HindAudit 在 MIMIC-IV 27,489 例急诊病例中发现,基准摘要使 4 个 LLM 零样本准确率从 25.4% 升至 39.7%,病史升至 45.3%。 后见之明主要存在于病例文本中,给模拟器提供诊断对实验室结果泄漏影响微小,掩码诊断名不改变该差距。 由于 MIMIC 缺乏实时病史,该差距被视为后见之明效应的上限。
SAFE-Triage 框架整合人工审核、自动化指标及 LLM 评估,在 40 个 MIMIC-IV 案例中对比 PLT 与 rPLT 分诊表现。 PLT 的急诊严重程度指数准确率更高(57.5% vs 42.8%),且低分诊率更低(13.1% vs 29.8%)。 该框架揭示准确率、通信质量与可读性间的权衡,支持部署前优化与持续监测。
该论文提出一种调用高效的 ICD-10 编码预测管道,结合变换器嵌入、树基监督候选生成、重排序及门控 LLM 辅助。在锁定测试集上,Pre-LLM 融合系统达到 81.24% 的 OOF-CV 准确率和 83.19% 的测试准确率,仅对 31.97% 的案例调用 LLM。
语言模型在对日韩政党进行相对排序时,表现比最强固定答案基线高出两倍以上,但在同一量表上定位单一政党时则低于该基线。 该结论基于 Comparative Manifesto Project 的编码数据,且研究发现提供编码值可将定位表现提升至接近满分,表明比较性问题和绝对性问题衡量不同的能力。
FieldGuide 作为面向智能体的语料地图,在 5 项新闻文档探索任务中较 raw-file 访问减少 27% token 和 41% 耗时,较 RAG 减少 38% token 和 21% 耗时。
研究者推出 MInfoVisQA 基准,包含 24 种语言、8,960 个问答配置及 25 个多模态大语言模型评估数据。 该基准通过分离数值结构与文本生成并行视觉问答对,发现模型在跨语言场景下表现存在显著差异。 研究结果指出,平均准确率掩盖了鲁棒性差距,凸显跨语言敏感度指标在模型评估中的必要性。
Sleep2Word 是一种将呼吸、ECG 或 PPG 等周边生理信号转换为 EEG 频谱图的框架。 该框架通过时长感知的生理“词”进行量化,并在 9 个数据集(超 20K PSG 病例)上训练。 在 EEG 频谱重建、睡眠分期和生存预测等任务中,Sleep2Word 优于现有基线,全夜序列压缩率高达 69.7%。
研究人员发布隐私保护评估套件 CrisisBench,旨在测试大语言模型在危机咨询中的风险管理与去升级能力。 套件包含 1085 个单轮任务及 23 项评估维度,经专家校准后用于评测五个 GPT 模型。 结果显示生成增强检索模型多轮得分最高(0.961),所有系统在过度共情方面均弱于人类咨询师。
GNN 在寻找 Ising 模型基态时无修改性能劣于最小和算法(能量空腔法),融合该类启发式规则后性能显著提升。 改进方案虽强于其他深度学习法,但同等计算成本下模拟退火法表现通常更优。
Boltz-1 的主干模块中二级结构与序列化学特征均具线性可解码性,但扩散模块中序列化学特征线性可访问性显著降低。 研究通过线性探针与因果干预发现,螺旋与无规卷曲方向可剂量依赖地改变预测结构,但β-折叠方向未产生可测量的折叠含量增加。 线性可解码性在测试位点并未暗示因果影响。
MAGIC在CIFAR-100、CUB-200和ImageNet-R的9种低标签率设置中均从非标记数据获益,并在CUB-200全比例下领先。方法通过冻结ResNet-18特征构建k近邻图传播标签,利用SWGC校准类统计以回放旧类。在CUB-200上表现最优,1%标签下在CIFAR-100上落后原生方法2.2分。
针对现有贝叶斯优化理论缺乏对非线性参数模型(如神经网络)在自适应数据采集下的保证,本文提出基于参数空间核函数的分析框架。 该框架通过构建再生核希尔伯特空间结构,为广泛的一类正则化损失函数下的模型训练提供置信界,并据此建立了近似 Thompson 采样的收敛保证。 这些结果为非线性模型在贝叶斯优化及相关自适应优化设置中的分析提供了统一途径。
该研究揭示了高维体制下宽特征学习网络中特征可学习性由一系列尖锐相变支配,并提出了在固定数据预算下的“有效宽度”概念。 模型推导了贝叶斯最优泛化误差的两个统一缩放定律:特征学习阶段误差随 $n^{1/(2\beta)-1}$ 衰减,精修阶段随 $n^{-1}$ 衰减,且学生模型在此处表现接近理论最优。 该研究已被 NeurIPS 2026 接收,为理解大型有限宽度网络的知识转移提供了信息论依据。
提出 SkillPE 创意导向框架,通过参考引导探索演化可复用电影技能,在 StoryEval 和 VBench 上较种子技能提升最高 1.10 分。 基于 20 个种子技能,结合 Resonators 和 Divergents 检索与变异,按 7 分四维量表评估最终技能库。 为电影感文生视频生成提供平衡保真度与创意的实用方法。
针对多兆瓦级灵活负荷整形,研究者提出一种可解释的“挑樱桃”策略,能在不增加批发电力成本的前提下,实现比静态LMP整形高2-3倍的年度电网CO2减排。 该方法基于对ERCOT电力市场近8900个节点的仿真数据,结合可观测的电网净需求与节点最低LMP阈值,动态选择当日最优整形信号。
FLARE 提出基于轻量级生成式奖励模型(GRM)的密集监督范式,解决长程编码智能体中稀疏二元奖励导致的信用分配危机。FLARE (N=1) 比 Global Rollout (N=5) 性能更优且 Token 消耗减少 5 倍。在 SFT 中带来 19.13% 相对性能增益,在 RL 中带来 9.19% 性能提升。
提出一种无需标签数据或预训练的物理约束神经求解器,通过PECANN框架将不可压缩流建模为约束优化问题,最小化压力Poisson残差。 该求解器在lid-driven cavity流中预测精度达Re=7,500,并成功捕捉非稳态绕柱流中的周期性涡脱落现象。 研究指出传统物理信息方法Reynolds数受限源于约束执行不足,该方法解决了这一局限。
RPMem 是一个两阶段架构,通过前向计算生成模型无关的潜在记忆,并利用任务训练的递归门控进行跨会话整合,最终映射为 LoRA 参数。 该框架支持骨干模型替换,在 PERMA 基准中,基于 Qwen3-8B 模型达到了 85.52% 的准确率,超越最强参数化基线 5.32 个百分点,实现近常数的更新成本与内存占用。
解释驱动的反事实测试(EDCT)协议揭示视觉语言模型存在显著忠实度差距,模型常产生与验证过的视觉变化不一致的回应。该协议通过提取解释中引用的视觉概念并施加最小编辑来测试一致性,EDCT-Bench 涵盖 OK-VQA、DriveLM 和 3DSRBench 三个领域。 微调研究表明 EDCT 生成的反事实实例提供高影响力训练信号,论文已被 WACV 2027 接收。
JigSLO 提出一种感知带宽争用的多 LLM 服务系统,平均将 SLO 达标率提升 2.3 倍,吞吐量提升 1.2 倍。 系统通过联合优化张量并行、计算份额与批次配置,在长上下文工作负载中仅需一半 GPU 即可匹配基线的最佳达标率。
研究开发框架评估大语言模型防护机制,分析攻击者可能获取的最大最小有害辅助。 分析 52 篇论文中 85 项评测发现,仅 5 项论证攻击路径,4 项提供阻断后证据。 NeMo Guardrails 默认流式配置下,94% 的密码泄露被阻断,但客户端仍获取密码。
针对边缘设备资源限制,提出 Mix-Opt 框架,通过自适应结合 BP-low 与 ZO-high 实现内存高效的文生图扩散模型个性化微调。 引入时间步感知的概率函数动态选择优化策略,在 U-Net 与 DiT 模型上均实现显著内存降低且保持高质量生成。
纯拒绝 SFT 导致过度拒绝,而混合 SFT 使 5 个阿拉伯语模型在有害拒绝率 H 达 90%-93% 时,良性拒绝率 B 维持在 14%-23%。 DPO 与推理护栏效果因模型而异,标注员一致性 89.0%(kappa=0.78),Qwen3Guard 与 Aya Expanse 32B 准确率分别为 88.7% 和 91.0%。
论文提出基于量化的方法,用K点离散测度近似概率测度,解决最优传输在大规模支撑下的高计算成本问题。 推导了量化测度的一致性及其在下游任务中的收敛保证。 合成与真实数据实验表明,该方法在保持性能的同时显著减少运行时间。
跨数据集评估显示,基于咳嗽声学的机器学习与深度学习结核病筛查模型无法泛化,外部验证表现频繁低于 0.6。 尽管数据集内 ROC-AUC 高达 0.76±0.06,音频表征主要受录音设备和数据集组织影响,设备不匹配会降低迁移效果。 临床变量基线泛化表现更稳定(ROC-AUC 0.65-0.71),表明采集特异性是泛化失败的主因。
研究揭示 LLM 与人类在证据更新时机的位置偏差机制存在分歧。 发现查询时机的更新方式显著影响 LLM 的偏差表现,且较新模型的偏差显著强于旧版本模型。
针对单LLM模拟器导致的策略泛化失败,研究提出Verbalized Sampling与Co-Training两种解决方案。 在Persuasion for Good等三项基准测试中,Verbalized Sampling提升留出成功率9%,Co-Training进一步升至14%,并保留了策略多样性。 研究指出多样化模拟器是服务真实用户的必要要求,并开源了SCOPE框架。
研究团队提出 EvoX Genesis,一种将开发组织为持久递归软件世界的框架,使智能体能继承被接受的代码版本及评估标准。在从零构建 C 编译器的实验中,该系统经过 1019 个智能体会话生成了 219,676 行 Rust 代码,并将 100 个 Csmith 程序集的通过率从 61 提升至 93。
研究提出激活导向筛选工作流,在 OLMo-3-7B-Instruct 上验证了角色定向的有效性。 通过 CastVectors 实现 63.2 的平均对齐分,显著优于对照组的 41.1。该工作流表明需按角色调整系数,代码与数据已公开。
RecHarness 通过 Bandit 路由将优化过程解耦,在多个推荐任务中比 LLM 直接搜索更高效。其 Bandit 路由器依据历史反馈选择方向,LLM 生成具体假设和代码编辑;停滞时通过 Jump-basin 机制激活结构跳跃臂以维持长期探索。 在大规模短视频广告平台的 7 天在线 A/B 测试中,候选模型使 ADVV 提升 2.084%,收入提升 0.534%,曝光量提升 0.559%。
大语言模型的滥用防护机制存在高危漏洞,因其依赖用户声称的专业身份进行拦截,而攻击者可直接伪造身份。研究发现,在12个顶级会议最新129篇论文的防御方案中,该漏洞普遍存在,现有基准测试无法有效识别。
研究显示第三方 API 路由器在 coding agent 工作流中存在控制缺口,可篡改请求与响应。 研究测试了四种渐进干预级别,包括响应替换、追加、LLM 润色注入等。 四个代表性 coding agent 在所有注入级别下防御成功率均为 0 百分,客户端缓解措施无法恢复端到端控制。