Coding agents 如何利用 CompressionBench 压缩 LLM?
Coding agents 在 CompressionBench 中压缩 LLM,36 个任务中 29 个通过验证。平均 PPL 增加 3.4%,下游准确率 77.33%(BF16 为 79.56%)。
Coding agents 在 CompressionBench 中压缩 LLM,36 个任务中 29 个通过验证。平均 PPL 增加 3.4%,下游准确率 77.33%(BF16 为 79.56%)。
ServerBench 基准测试显示,在 11 个编码智能体模型中,Claude Sonnet 5.5 在 Gemma E4B 上实现 2.97 美元/美元收益,达到 vLLM 参考系统的 $4.87\times$。 该基准采用有状态重放和独立验证,33 次运行中 22 次产出可用系统,其中 13 次超越最强基线。 分析发现,高价值设计需协调容量与负载选择,且可靠交付依赖于对优化执行路径的验证。
研究提出用 LLM 提取轨迹结构化摘要并经文本编码器嵌入,构建低维系统表示以预测新系统评分。 该方法在 SWE-bench Verified 和 Terminal-Bench 2.0 上将平均绝对误差分别降至 0.08 和 0.12。 通过几何预测增强项目响应模型,在给定参考系统集时表现优于基线。
研究者发布 LifeVal 基准,用于评估 AI 模型在 148 个高价值个性化消费者任务上的表现。该基准覆盖年度支付意愿超 1.7 万亿美元的生活场景,基于 3800 名消费者的调研数据构建活动分布。评测任务由具备多年实战经验的创建者使用真实 ChatGPT 对话和记忆数据生成,并经过至少三轮人工质量控制。
NVIDIA发布名为Cosmos的共享框架,适配世界基础模型以支持物理AI的实时交互式世界模拟。该框架通过流式视觉观测响应用户动作与场景控制,支持预测动作的视觉后果以及从外部模拟器维护的物理状态生成观测。研究展示了相机导航、机器人操作、可控视频迁移和多视角自动驾驶模拟等示例,代码与模型检查点已公开。
针对持续智能体,该研究提出一种包含相位标记微纪元和时间分复用的时间组织层,以分离在线忙碌与离线空闲通道。模型在紧急/高负载子集上的解耦调度成功率达 26.6%,耦合调度仅为 11.1%。 使用冻结的 Qwen3-8B 骨干作为原型验证编排逻辑,但在代理结果上无法作为任务基准证据。该设计建立了一个可测试的调度框架,并明确了其有效条件。
研究提出上下文感知智能体 ElecLoad,用于多事件电力负荷预测。 该方法结合历史负荷与背景信息,分析事件相关性、生效时间及交互作用。 ElecLoad 自适应选择直接预测或分段预测,实验显示其在多数场景达到 SOTA 性能。
Coca-Cola 模型将工具输出压缩为隐式 token,在四个 QA 基准测试中将智能体 token 消耗降低 70.01%-89.24%,端到端运行时间减少 24.45%-55.97%,同时提升任务表现。 该方法引入 Action-Preserving Training 对齐全量与压缩观察下的动作分布,确保保留决策关键信息,代码已公开。
SumOne 是一款独立摘要器,通过掩码重建训练实现任务无关的上下文压缩。在 DeepSearchQA 和 SWE-bench Verified 上,它分别将推理成本降低约 78% 和 75%。该模型无需微调即可跨下游模型和智能体框架迁移使用。
研究团队提出 MA-Mesh 框架,通过构建基于角色的自愈层,使多智能体系统在动态环境中显著提升任务表现与鲁棒性。 框架包含两大核心机制:跨智能体反思允许智能体评估同伴表现以优化集体策略,基于角色的故障转移则在子任务失败时动态重分配角色以保障执行连续性。 该工作已被 EMNLP 2026 主会议接收。
HarnessFlow 提出一种在受限预算下优化 LLM 智能体 harness 的框架,利用 MCTS 策略平衡探索与利用。 在 6 个基准测试中,每个测试 15 次精炼后平均得分达 69.48%,比初始 harness 高 10.89 个百分点。 优化后的 harness 平均单任务执行成本低于手工设计的基线,为自动化 harness 设计提供了可行路径。
ModalSearcher 通过强化学习在实时 Web 环境中训练,提出自主跨模态搜索能力,平均准确率比 Qwen3-VL-8B 提升 16.2 分。 该 Agent 在五个多模态知识密集型问答基准上表现一致提升,并可处理跨模态多跳任务。 研究为构建能动态切换模态、主动引入视觉证据的智能体提供了可扩展路径。 ```
Reglos是一款无需训练的个人记忆智能体,旨在验证其代码框架优化在目标失败案例之外的泛化能力。 它通过一个编码智能体从失败日志中提出补丁,并由另一个模型家族的批评者筛选以防止基准测试作弊。在相同的底层模型支持下,Reglos在PersonaMem-v2和LongMemEval-S测试中均优于Mem0、MemOS和EverOS等SOTA系统。
该综述提出操作级角色—位置分类法,分析图谱在智能体 LLM 系统中对推理、知识、检索及协调的支持作用。 框架涵盖基准测试、比较设计与系统成本评估,指出自适应计算、记忆维护及依赖感知恢复是当前开放挑战。
论文提出递归自主智能体(RAA)框架,通过目标契约定义局部目标,利用能力契约支持生产单元的选取与组合。 该框架采用递归组织结构,通过通用接口协调设备、生产线和工厂,实现局部决策与全局协同的统一。
LLM agent 蒸馏研究显示,扰动或丢弃教师轨迹中的思考内容对学生模型最终动作性能影响极小。 研究指出,仅当思考包含的动作未显式披露信息时,思考监督才发挥关键作用。这挑战了蒸馏完整教师轨迹的常规做法,证明根据信息披露情况选择性地保留思考监督可提升效率。
这项研究评估了由视觉语言模型驱动的AI智能体在不确定性下的决策过程,发现 GPT-4o 在感知饼图和条形图的不确定性时准确率最高。 研究发现,当不确定性通过圆形图表、图标数组或文本表示时,自主智能体的决策表现与理性决策理论的对齐程度最好。该研究基于可视化素养和决策理论,分析了不同模型和可视化类型下的感知准确性与决策表现。
文章指出,将智能体行为归因于历史轨迹时需通过干预验证证据,即冻结执行中状态并仅修改可见历史以重放验证。现有方法如 DoVer、REFLECT 等虽执行干预,但均未报告测量回放证书。
研究提出 OPSD 方法结合权重与文本记忆,在 HaluMem 基准上匹配或超越强基线。 权重记忆通过 on-policy self-distillation 训练无上下文学生模型,显著降低查询时的 token 读取量。 该方案为多会话持久化部署提供了低成本、高效的记忆组件,并明确了混合检索的训练评估协议。
论文提出基于保证条件的持续授权(ACCA),旨在为自主 AI 智能体提供与工具、委托及环境变更兼容的运行时权限管理。 ACCA 通过区分证据有效性与上下文适用性推导权限声明,支持选择性重新评估与防呆行动拒斥,并采用本地交易网关场景验证其回归测试效果。 该方案在单一交易领域建立实施级证据,强调域治理配置不直接授予权限,但非跨域有害行为预防保证。
Replit 推出 ViBench 2.0 基准,用于评估长程软件构建能力。该基准包含 17 个全栈 Web 产品,基于 241 个功能请求,由浏览器智能体执行 544 个测试计划进行评分。 评测显示最强模型仅能交付 65% 的完整可用产品,且无开源模型达标;某模型家族 pass@1 从 3% 升至 53%,单次构建成本下降过半。
针对 AI 智能体市场中的 Sybil 攻击问题,研究团队提出了名为 Anduin 的去中心化声誉系统。该系统基于链上支付历史,通过构建买家与提供者的二部图模型,开发了三种抗 Sybil 攻击的评分算法。
VTHarness 智能体框架通过选择可重用程序技能和使用显式契约,协调虚拟试验的执行与决策。 在三个复杂合成环境中,VTHarness 在需求澄清后生成的必需队列输出与参考匹配度达 95.1%,远超检索方法的 60.4%。 该框架支持 Mayo Clinic 虚拟试验项目中对队列构建和终点分析的审查,提升了跨复杂临床模式的虚拟试验实施。
研究人员提出 ReScopeBench,这是首个在 18 个交互环境中评测智能体经验生命周期的基准。 该基准通过“经验优先”构建方法,区分结构与规则经验,并引入环境静默变化以测试智能体的更新能力。 在评估 20 个模型后,研究发现保留经验虽能提升任务表现,但智能体普遍难以维持经验的时效性。
针对 Agentic AI 系统资源需求不可预测的问题,论文提出了 CRO 算法,在调度时为计算和带宽预留资源并验证截止期限满足概率。 CRO 是一种在线算法,利用过去执行轨迹的滑动窗口,通过 conformal prediction 提供有限样本的无分布覆盖保证。 CRO 是唯一在所有风险水平下同时满足目标概率覆盖的方法,且与 Chebyshev 界基线相比,资源浪费大约减少了一半。
研究提出证据门控机制以限制多智能体系统中 LLM 审查者的过度覆盖权限。在 96 项任务基准中,该机制显著减少了对正确提案的破坏,同时保留了违规修复能力。 Qwen 模型在该机制下消除了正确提案破坏,但 Mistral 仍替换了全部 48 个正确提案,且拒绝了所有仅涉及福利的修复。
提出基于非平衡融合 Gromov-Wasserstein 传输的 OTAP 指标,用于评估大语言模型智能体轨迹,解决二元成功标志无法区分合理方案与侥幸成功的问题。 在三个公开基准测试中,当语义指标表现低于随机水平时,OTAP 能有效区分有效与无效轨迹;盲测 236 条轨迹显示其与人类判断一致性最高,且对边缘噪声敏感度低于结构感知基线。
研究团队提出 LITMUS 基准,用于评估 LLM 智能体在真实 OS 环境中的行为越狱风险。该基准包含 819 个高风险测试案例,采用语义-物理双重验证机制和 OS 级状态回滚功能。评测发现当前前沿智能体缺乏有效安全意识,Claude Sonnet 4.6 仍执行了 40.64% 的高风险操作,且存在用户不可见的执行幻觉(EH)现象。
该研究构建了包含 26 项指标的统一评测体系,在受控环境下对比了 11 种长期记忆 Agent 记忆基质,并得出没有单一基质能持续主导所有场景的结论。 实验覆盖稠密索引、文本记录等类别,使用 3 个骨干模型在 4 个基准套件上评估。结果表明宽泛检索利于长上下文事实问答,但会损害顺序决策性能。
SAGE框架通过智能体引导探索进行随机提示优化,旨在提升AI系统性能。 该方法比较了随机搜索、遗传算法及SAGE策略,发现无单一策略占优。 SAGE在心理健康聊天机器人应用中,通过八轮A/B测试实现次日留存率的稳健提升。
LLM 智能体在生成前已通过隐状态预知工具必要性。研究通过探测隐状态发现,工具必要性可线性解码(AUROC 0.89-0.96),但模型无法将其有效转化为行动。
该研究首次将多用户 LLM 智能体交互形式化为多委托方决策问题。 通过统一协议和三个压力测试场景,发现前沿 LLM 在目标冲突、隐私保护及迭代协调方面存在系统性短板。 结果揭示了 LLM 在团队工作流中的效率瓶颈,为多用户智能体系统设计提供了评估基准。
研究人员提出RADIUS套件,用于评估大语言模型在模拟调查时的对齐度,涵盖排名、分布及统计显著性三个维度。 该套件通过实验揭示了单一指标的局限,能发现分布改进但错误识别人类首选选项的情况。 RADIUS已开源,旨在支持调查模拟器的可复现和可比性评估。
DIAL 提出一种对抗框架,通过生成器与判别器迭代竞争提升多轮对话用户模拟器的真实度。 在心理健康支持领域应用 DIAL,恢复了监督微调导致的词汇多样性下降,并大幅降低了判别器准确率。模拟失败率与真实情况强相关,为部署前评估提供可靠且低成本的方法。
研究人员提出新框架,通过重要性采样使 LLM 生成的人口对齐人格与 Big Five 心理特征分布匹配,显著减少模拟偏差。 该框架先从社交媒体数据生成叙事人格,经质量评估后利用任务特定模块适配目标子群体,实现高保真的群体模拟。 此方法增强了 LLM 驱动的社会模拟准确性,为计算社会科学和公共政策研究提供新的计算机会。
研究提出选择性鲁棒性作为 LLM 社会智能体的验证标准,并设计受控上下文丰富化方法。 实验在囚徒困境博弈中验证,发现描述性与规范性决策丰富化能产生不同行为模式,且效果因模型而异。该框架已被 NeurIPS 2026 的 SocialAgent Workshop 接收。
论文提出 LongBanana,这是首个由专家设计与验证的长上下文多参考图像合成基准。该基准包含 90 个任务,依据 3x3 分类法组织,共提供 4,670 个专家指定的原子评估项,其中 15% 的双标签子集准确一致率达 89.4%。
研究显示多轮强化学习(RL)在 LLM 智能体上的增益高度依赖交互预算,当轮数预算收紧时轨迹级优势会显著减弱。其核心优势集中于错误恢复与长程韧性,而非均匀提升单步决策质量。 针对部署风险,论文提出 BudgetMix RL 作为替代方案,在训练中动态调整交互预算。实验表明该方法能在多种执行设置下保持稳健性能。
研究人员提出 LegalEvolver 框架,通过规则引导的自我演化优化检索查询,解决法律判决预测中查询质量低的问题。 该框架利用启发式优化查询作为种子,将轨迹经验总结为动态规则,并结合强化学习实现多轮迭代自我演化,突破模型初始性能上限。 在广泛基准测试中,其端到端性能证明查询优化的有效性,且动态规则优于固定规则,证实了自我演化的益处。
该自主规划框架在四个国家的五个电力系统中评估了40条碳约束轨迹,所有候选方案均满足固定的年度运营碳预算检查。 智能体通过执行年度投资与调度优化及馈线验证,保留最低成本的合格方案;其中28条轨迹匹配参考设计并超过新场景上限。另有96条轨迹在1,000 Mt年度上限下提供匹配参考。