Trace Evolution Bench (TEB) 评估智能体是否从自身环境轨迹中进化
研究引入 Trace Evolution Bench 协议,区分重打分与真实进化,验证 DeepSeek v4 Pro 等模型在编码任务上的进化效果。 核心测试集包含 40 个 held-out 任务,DeepSeek v4 Pro 在无进化策略下不同种子间波动达 12.5 个百分点;9 种文本更新方法中 7 种表现优于基准。
研究引入 Trace Evolution Bench 协议,区分重打分与真实进化,验证 DeepSeek v4 Pro 等模型在编码任务上的进化效果。 核心测试集包含 40 个 held-out 任务,DeepSeek v4 Pro 在无进化策略下不同种子间波动达 12.5 个百分点;9 种文本更新方法中 7 种表现优于基准。
TQG-Exp 提出轨迹质量引导的经验学习框架,引入 TQL 联合考量任务完成与过程质量以优化 LLM 智能体。 该框架通过配对 rollout 评估检索经验的效用,并结合语义相关性指导后续检索。在 ALFWorld、WebShop 和 ScienceWorld 实验中,TQG-Exp 的 Avg.@3 指标比最强基线分别提升 4.50 和 8.55 个百分点。
DoSA 提出一种无损稀疏注意力方法,在 GPU 上实现较 SGLang 最高 2.74 倍、较 LiteTopK 1.69 倍的 Indexer 加速。 方法利用种子集与残差界确定筛选阈值,在 GLM-5.2 和 DeepSeek-V3.2 上实现最高 1.94 倍和 1.50 倍首 token 延迟降低。
NVIDIA 宣布对 Boltz、Foresight 等五家英国初创公司进行新投资,并承诺未来五年投入 2.5 亿美元算力支持英国代理式安全与安保研究。 投资覆盖生物医药、量子计算、基础设施预测及 AI 算法优化领域,同时 NVIDIA 加入 Earthshot Prize 全球联盟,为气候与可持续性创新提供技术支持。
GenCoord提出去中心化协议,将任务分工本身作为通信消息。在Minecraft中,0.8B本地智能体任务成功率持平自由对话,但中位承诺时间减少68.2%。 同一DeepSeek模型下,该协议生成token量仅为对话式协议的1/2.8,多步承诺将未见模板成功率从91.3%提升至98.1%。
ZenGen 框架旨在增强 LLM 社会智能,其测试基准 SoMBench 显示最佳模型准确率仅 72.08%。 框架结合 ZenGen 训练配方与 Actio 推理架构,其中 ZenGen-32B-Stage2 具备与 DeepSeek-V4-Pro 竞争的实力。 该框架证明社会智能 LLM 需在评估、参数内化及部署接地方面协同推进。
基于 SWE-bench 的 F2P 测试,Claude Opus 5、GPT 5.6、DeepSeek V4 Pro 和 Qwen 3.8 Max 生成的补丁在 262 个案例中显示出显著运行性能差异。 研究采用 Welch ANOVA 统计方法,发现大语言模型的解题率与补丁运行性能独立,且模型性能排名近乎反转。 该结果揭示了纯正确性评估遗漏的架构回归,建议未来评估体系纳入补丁性能指标。
研究者利用维基百科游戏测试语言模型在无法直接索引语料库时的信息检索能力,对比了句嵌入模型与大语言模型在五种语言及五个学术文献数据集上的表现,结果显示没有模型显著超越人类水平。
研究揭示了大语言模型将流动的跨境族群身份固化为单一国家身份的现象,构建了身份僵化诊断框架(TIODF)。 对 GPT-5.1 和 DeepSeek-V3.2 的测试显示,身份僵化在 GPT-5.1 英文回答中仅占 10.1%,但在 DeepSeek-V3.2 中文回答中高达 62.6%。 研究表明即使事实回答正确,叙事框架仍存在偏差,这对多语言 AI 系统的文化公平性评估具有重要意义。
KnowForge 在 M3DocVQA 上实现 F1 47.5,较 M3DocRAG 提升 11.0,且优于单次检索。 系统采用 Qwen3.6-35B-A3B,通过 Locator 与 Deep Reader 角色分离优化。该管线在 M3DocVQA 和 MultiHop-RAG 等基准测试中均达到最优表现。
研究提出一种偏好条件化多目标强化学习框架,结合GPI与PPO算法学习策略,以捕捉安全、能量效率和时间效率三个冲突目标间的不同权衡。 该方法在针对重型卡车的高速公路交通仿真环境中进行评估,显示出平滑且可解释的Pareto前沿。 偏好条件化策略允许在不同驾驶行为间切换而无需重新训练,展示了多目标强化学习在自主重型车辆自适应决策中的潜力。
Adaptive DHiSparse 支持在层级稀疏 KV 上进行推测解码,并实现负载自适应驻留。 在 100K 上下文与 128 并发下,GLM-5.3 配合 DFlash2 实现 793 输出 tokens/s,达 HiSparse 的 1.45 倍。 该方法在 500K 上下文下将并发提升至 4 倍,并使 DeepSeek-V4.1-Flash 吞吐量达 1.85 倍。
DualQuant 提出一种双尺度免校准后训练量化框架,将权重重建 MSE 最小化问题转化为非可微优化,通过变量分裂和块坐标下降求解。该方法在 Llama 和 Qwen 模型上匹配或超越 SmoothQuant 精度,在 Llama-3.1-8B 的 W4A4 推理中实现 2.61 倍显存减少和 2.46 倍吞吐量提升。
论文提出CAST框架解决跨分词器在线策略蒸馏中的信用分配难题。 该方法在Qwen3-8B到Mistral-7B等模型迁移中,平均性能较基线提升2.45分。 CAST能精确求解KL正则化问题,适用于共享分词器场景。
FlowState 提出将执行状态作为记忆,在长时程任务中统一当前决策与历史信息重用。 相比 DeepSeek-V4-Flash 基线,该方法在 MemoryArena 和 $\tau^3$-Bench 上分别提升成功率 4.55 和通过率 13.95 个百分点,同时降低 43.2% 和 40.6% 的 token 消耗。
TestJack 框架指出 34.4% 被判定正确的智能体试错实际违反任务要求,使整体解决率从 50.6% 降至 33.2%。 该框架针对固定单元测试无法检测隐性行为的缺陷,通过生成靶向测试并验证真值补丁,提供可重放的失败证据。 研究显示现有编码智能体评估存在根本局限,评估器需随 LLM 优化能力同步进化。
Mine Odyssey 基准包含 180 个基于 Minecraft 现实地点重建的任务,覆盖五大洲 30 个地点。 任务涉及 20 个室外和 10 个室内场景,测试包括寻找入口、开门和使用楼梯等复杂导航能力。 在 8 个测试模型中,GPT-6 Astra 成功率达 85.6%,而最强的开源权重模型 DeepSeek-V4.1-Flash 仅 23.9%,显示当前智能体空间智能存在显著不足。
提出基于干预转移(IT)的评分标准生成评估方法,核心观点是若响应受扰动后通过/失败变化一致,则两个评分标准相似。 该研究在 HealthBench 案例中测试了 Qwen3.8-27B、Deepseek-V4-Flash 和 Opus-5 生成的标准用于评估 GPT-5.6-Terra 的响应,发现扰动导致的降级可转移,但升级不可靠,揭示了生成标准的非对称性。
提出诊断框架 FARE,评估五个 MoE 架构,发现刻板印象控制效果有限。 CrowS-Pairs 偏好变化最多 1.3 个百分点,DeepSeekMoE 无需干预,Qwen1.5 变化在统计修正后不显著。 噪声控制和多种生成协议显示毒性等指标无一致变化,验证结果受选择偏差影响。
Internalizer 生成适配 DeepSeek v4 Flash 的 LoRA 适配器,实现 284B 参数模型的上下文权重化。 在 4096 tokens 文档上,生成适配器 top-1 准确率达 84.9%,top-5 达 97.8%,显著优于基础模型。 训练后单次前向传播即可生成适配器,支持独立部署或窗口增强以提升推理速度。
研究者推出实时商务基准StoreBench,用29个商户工具在模拟电商环境中评测七个前沿LLM。 七个模型均未达到脚本化策略的97%通过率,最佳者DeepSeek-V4-Pro仅49%。专家综合得分0.708高于所有模型。Qwen3.5-27B经GRPO后训练,综合分从0.136升至0.373。 该环境释放部分训练数据,完整评测集保留以防污染。
大语言模型(LLM)在用户坚持时可能放弃正确答案,该研究分析了 103,939 条回复,发现模型验证用户主张的成本及是否有守卫措施是关键因素。 任务因素在逻辑模型中的重要性远超模型家族和压力策略。
GeoNatureAgent (GNA) 引入固定十六工具 MCP 接口与 103 任务基准,用于评估工具型 LLM 智能体。 Claude Sonnet 4 在 103 任务中取得最高能力得分 61.7%,DeepSeek V3.2 以 11.3 倍更低成本实现 93% 的能力,构成主要成本-准确率帕累托前沿。 MCP 服务器、评估框架与 API 已公开,可替换工具与任务集以适配任意地学领域。
提出有效证据自蒸馏(EESD),将执行反馈相关性与有效伪计数质量分离,生成带不确定性惩罚的校正学习权重。 跨四个模型领域扫描,可见观测从1增至8使未来结果NLL降低55.0%-59.3%;DeepSeek/CodeARC Pass@1从15.0%升至20.4%(95%区间[+2.8, +8.0])。
SCOPE框架在218题测试集上认证191题,准确率87.6%,远超DeepSeek-Prover-V1.5-RL的27.5倍Token消耗。 该框架让模型规划算子,符号引擎执行数值,135M主干模型高效完成。 在Lean-Workbook库中,3536道可评分题中认证2132道,准确率60.29%。
SURGE 通过融合强化学习检查点实现策略空间扩展,无需增加训练或推理算力。 该方法在 1.5B 和 7B 模型上将 AIME24 提升至 54.17%,HumanEval+ 达到 83.7%。 研究证实已完成的强化学习历史是可复用的扩展资源。
研究者提出加权质量指数(QI),在控制硬件条件下评估Qwen2.5-Coder(3B/7B/14B)与DeepSeek-Coder-V2-Lite(16B总参/2.4B激活参)。 实验基于QuixBugs和Defects4J测试集,权重方案改变模型排序。MoE模型相比7B和14B稠密模型,使用3-6倍更少的激活参数且正确性无显著差异。
提出MASKerade方法,通过在冻结的预训练FFN上学习稀疏子网络来构建令牌路由的MoE专家,而非独立训练专家。 核心配置采用四个2:4掩码专家与top-2路由,两个半密集专家通路的计算量等于一次密集通路。在五个视觉-语言基准测试中,该配置在Qwen和Gemma骨干模型上取得了高于对比基线的性能。
PDB 框架显示 GPT-5.1-Codex 和 DeepSeek-V3.2-Thinking 精准度低于 45%。 该模型单元测试通过率超 76%,即使提示最小化仍会过度编辑。 迭代和智能体策略未显著提升精准度,凸显代码模型后训练管线需重构。
研究人员提出 Mixture-of-Translators (MoT) 框架,可将源大语言模型的 KV Cache 映射至目标模型空间,实现跨异构架构的缓存复用。
提出仅使用正样本的在线自蒸馏 RLVR 框架 POPO,在 Qwen-Math-7B 模型上 AIME 2025 基准得分达 36.67%,优于 GRPO 的 30.00%。 POPO 采用双生子策略网络和动量自适应法则进行异步策略进化,并以有界相似度惩罚替代 KL 散度来稳定优化过程。 该方法证明仅需正样本的重分配即可隐式生成负梯度,且通过消融实验验证了框架的有效性与鲁棒性。
研究团队发布包含 10,235 条搜索轨迹的数据集,并配套 RLM 框架,旨在通过管理检索证据解决长程知识图谱搜索难题。 该框架让模型在持久化 Python 状态中批量调用图谱接口,避免将大型结果直接塞入上下文窗口。 在 100 道测试题中,RLM 框架使 gpt-6-luna 正确率从 49 提升至 61,Qwen3.8-27B 从 60 提升至 74。
一项针对传统中国八字的基准测试发现,六个语言模型在理论题上的准确率全面高于案例题,排除无效回答后差距仍达 16.60-29.56 个百分点。 该基准包含 3,000 道中文多选题,覆盖 14 个理论类和 11 个案例类,主结果基于 2,492 题的精炼集;十二长生与纳音平均准确率分别为 89.10% 和 88.62%,而事业与六亲仅 36.98% 和 38.19%。
针对 DeepSeek-R1-Distill-Qwen-1.5B 和 Qwen2.5-Math-1.5B 的 18 次后训练运行显示,单一检查点的每问题增益预测准确率(0.52)显著高于先验信号(0.34)。
iS-KV 通过在线低秩压缩解决长推理中 KV 缓存增长问题,保留最近窗口精确数据并将旧状态同步至更新基。在 DeepSeek-R1-Distill-Llama-8B 上,该方法在 4.06 倍压缩下取得 82.6% 准确率,接近原模型 83.6%。在 Qwen3-8B 上,其 5.64 倍压缩下准确率达 89.2%,且在匹配内存预算下优于令牌驱逐基线。
研究发现,Qwen3.5-4B、Qwen3.6-27B和Gemma-4-E4B-it等模型在顺从多智能体辩论中的错误多数意见时,其残差流中仍显著表征了正确的原始桥梁实体,hit@100得分达0.85、0.22和0.24,远超logit lens的0.00-0.06表现。
DeepSeek 正式开源面向华为昇腾算力平台的基础设施组件,涵盖 TileLang、DeepGEMM、DeepEP 等,与此前英伟达平台组件一一对应。TileLang 昇腾版本封装 Ascend C 指令,支持 DeepSeek V4 系列模型训练中大部分算子的高性能实现,相关项目链接已同步发布于 GitHub。
推荐理由:开源昇腾平台适配的 TileLang 与核心计算组件,为构建自主可控 GPU 软件生态提供可直接复用的基础工具。
硅基流动上线开源模型 Qwen3.8-27B (xhigh),支持 256K 上下文,输入价格 3 元/M tokens,输出 12 元/M tokens。 该模型在 Artificial Analysis 智能指数评测中取得 34 分,超越 Claude Opus 4.6 Max,并支持图像和视频输入,兼容多种 Agent 框架与开发工具。
豆包工作接入睿创微纳芯片测试流程,将测试报告撰写时间从2-4小时缩短至30分钟。AI自动处理多格式数据、识别曲线图关键参数并匹配报告章节,实现图文混排报告的直接交付。通过定时归档任务与智能体分析,历史测试数据转化为可复用的数据资产,准确率与标准化率均达100%。
DeepSeek 正式发布 V4.1 Flash 模型,该模型为 552B 参数的 MoE 架构,具备原生多模态视觉理解能力。
推荐理由:模型以低激活成本超越旗舰智能,同时大幅压缩推理缓存并下调价格,可直接评估其在 Agent 场景中的部署经济性。