RAMP:重新思考基于答案读取协议的多模态评估
RAMP 提出统一答案读取协议,揭示读取方式显著影响多模态模型评估结果。 在 500 道 POPE 对抗题上,SmolVLM-256M 准确率因读取类型差异波动达 20.2 个百分点,TinyLLaVA-1.1B 为 16.4 个百分点。 该协议提供可复现分析框架,将答案读取确立为多模态评估中可测量的关键组件。
RAMP 提出统一答案读取协议,揭示读取方式显著影响多模态模型评估结果。 在 500 道 POPE 对抗题上,SmolVLM-256M 准确率因读取类型差异波动达 20.2 个百分点,TinyLLaVA-1.1B 为 16.4 个百分点。 该协议提供可复现分析框架,将答案读取确立为多模态评估中可测量的关键组件。
GaugeRoPE 提出了一种无需训练的潜在 KV 缓存压缩方法,在 Mistral-7B 上实现 5.85 倍压缩,解码吞吐量提升 2.48 倍。 该方法通过 RoPE 兼容载波与位置无关残差 KV 修正,避免逐 token 历史 K/V 重建,支持 MHA 和 GQA 架构。
TrainExplorer 通过策略规划与解耦执行,在 PostTrainBench 上取得 39.02 分,超越 Claude Code 7.32 分并高于 GPT-5.6 Sol 驱动的 Codex。该框架利用文献构建策略搜索空间,通过单组件干预解决现有方法中的策略锁定与执行耦合问题,代码将公开。
审计显示最廉价可行LLM路由器在91.82%机会中部署,却导致32.22%服务合同违约。 引入菜单感知路由承诺框架MARC及其实用变体MARC-P,将条件失败率降至0.73%并维持85.79%部署率。 研究确立部署承诺为连接路由评估、服务可靠性与推理成本的独立运营决策。
针对 GPTQ 贪心优化中连续缩放与离散整数分离的瓶颈,JointQ 提出了一种联合缩放与整数量化的方法。通过在组量化中利用 Hessian 矩阵重新计算每组最优缩放,并在所有比较中保持校准误差不高于 GPTQ,实现了对 GPTQ 解决方案的改进。
研究通过 210 份简历和 14 个岗位的受控实验,审计了 LLM 辅助招聘系统的部署就绪度,发现评估接口选择显著影响操作性能。 标量分数通常比二元判断更有效地区分候选人资格变化,且比较判断对呈现顺序敏感;明确的权限规则和指令隔离能降低未授权合规性。 研究揭示了 LLM 评估者决策与理由常不一致,该框架支持对完整简历评估系统进行审计以辅助部署决策。
提出 Qualitative Variance Audit Framework,一个八步方法用于审计 LLM 生成的类别系统。 该方法比较模型自创和共享参考编码本在受控输入下的重复应用与代码分布。
研究提出通过让 LLM 从候选未来研究方向中做出选择来量化“研究品味”,构建了基于 19 篇 ML 论文、包含 80 组对比的顺序控制评测集。 测试 8 款 LLM 发现,模型与作者推荐方向的匹配率(author alignment)介于 45.0% 至 67.5% 之间,且存在稳定偏离;模型偏好向规模化与通用性倾斜,该评测为引导 AI 自主科研偏好提供早期描述性依据。
预训练优化器的增益不会自动迁移到 KL 蒸馏。 研究对比 AdamW、AdaGrad、SOAP 及 Muon 在 Qwen 模型蒸馏中的表现,发现无一致优于 AdamW 的质量与时间权衡。 AdamW 通常验证 KL 最低,SOAP 增加显著训练耗时,结论依具体可行配方而定。
提出用于 LLM 智能体市场的软宏观控制方法及双机制评估框架,在五个单指数市场中验证了目标路径对实际路径的影响。 无新闻时跟踪得分较无参考路径高 0.306 和 0.415,有新闻时高 0.183 和 0.329;70/30 股现比下结构偏差最低(B=0.042),3:7 技术占比下实现率峰值 R=0.894。 该框架仅基于宏观观测,分离了信息模拟与宏观涌现两个阶段,提供了可解释的双分数评估方案。
基于预训练 Flow-based TTS 引入 SNR 和 ASR 听觉反馈,使系统无需显式韵律控制即可在噪声环境下自适应提升语音清晰度。 反馈信号注入 Flow-matching 条件用于语料精修和因果块级更新;实验表明听觉反馈在未见过的噪声中具备泛化能力,且单纯增强功率/F0 跟踪不保证语音质量。
Leave-One-Out Transformer (LOOT) 通过重构合并机制和低方差 NELBO 估计器,解决了掩码扩散模型无法修正 token 及训练信号稀疏的问题,实现了有效的推理期自纠错。
研究对比了 MCP 代码模式、决策路由层与纯 MCP 三种范式,在 12 个服务器、最多 1,958 个干扰工具的受控测试中,使用 Qwen、Gemma、Nemotron 三个开源 agent 进行预注册评估。
本文系统综述了大语言模型(LLM)在 AI 基础设施全生命周期中的应用,涵盖加速器设计、内核工程、编译、部署、运维、数据管理及能效优化。 文章按 LLM 管理的主要资源构建分类法:面向产物的计算方法、面向运行的部署/系统状态方法,以及面向资源的数据与能效方法。
论文提出 AdaMenu,通过检索构建紧凑候选菜单并单次调用决策模型,解决大标签空间下的分类与扩展难题。 在四个最大含 1,016 标签的数据集上,AdaMenu 相比 TypeSafe 基线在全部 16 组运行对中的准确率提升 16.6-34.3 个百分点,输入 token 用量降低 3.2-22.9 倍。 该方法在层级基线不可用的限制场景下仍可运行,显著提升了大标签分类的效率与可用性。
研究发现,LLM 生成的癌症患者病例中,81.0% 至 93.2% 的患者在关键特征上高度相似。 在 12 个临床场景中,LLM 仅遵循 29/36 次的生物标志物与治疗逻辑,涉及既往治疗或虚弱情况时准确率极低。其预测的 12 个月生存率为 89.9%,高于 72.2% 的观测值。 研究提出的临床状态空间框架可评估数字孪生,旨在改进 LLM 的世界模型以支持临床模拟。
三项研究显示,语音大语言模型在识别13岁以下儿童时存在三个不可见故障模式。2.5%至42.5%的音频被错误分类为13岁以上,部分5至11岁儿童被误判为18岁以上。
MemeEconomy 模拟显示,LLM 智能体在生存压力下有害选择率平均上升 15 个百分点。该研究覆盖四个前沿模型家族的 10 个模型,并利用 BDI 日志训练出 2B 参数的验证器 MemeAgent,在 Pass vs. Block 决策中准确率高达 97.5%。该工作揭示了当前对齐训练在对抗经济激励时的局限性,相关成果已被 NeurIPS 2026 接收。
针对多模态大语言模型(MLLM),硬负样本微调提升空间关系准确率,但并非源于视觉能力增强。 研究采用CompHall基准及LLaVA-1.5、LLaVA-NeXT、Idefics2三组模型,通过修正损失函数验证:微调在CV-Bench空间关系任务上分别提升+3.2、+23.1、+6.0分。
summary_zh: 提出 Speaking-Clock Mamba 模型,通过在 Mamba 骨干中引入音素条件的选择性扫描(PCSS),将转录文本进度整合进时间递归过程。
SERAG 是一种监督式异常检测器,结合独立编码的语义分数与图卷积网络的关系分数。 在 ICEWS18 子集上,10% 异常率时测试 AUPRC 达 0.321,显著优于基线的 0.159。 结果表明文本与关系信号的互补性有效检测了 LLM 生成的合成异常。
SynthDCB 提出了基于世界蒸馏的可扩展设备控制基准,通过模块化可执行组件构建包含显式状态和时序动态的交互世界。 该基准涵盖 Home、Car 和 Phone 三个领域,包含 114 个设备类、1,166 个函数和 95 个事件。
GRAFT 框架通过特征空间线性桥接实现跨骨干 LoRA 复用,突破同架构限制。 在 Qwen2.5 到 Qwen2.5-VL 的 10 项 Super-NaturalInstructions 文本任务中,GRaft 优于随机初始化 LoRA。 这为在连续学习中复用语言与多模态模型能力提供了有效机制。
针对google/gemma-3-12b-it模型,结合量化与重排序可保持WMT翻译任务质量。 研究使用int8/fp8格式无损失,int4留残余;最佳4选1重排序器提升8/4位系统表现。
VidEngram 是一款智能体长视频问答系统,在 OmniVideoBench 全量测试中,基于 GPT-5-mini 规划器版本得分 37.0%,超越单次通过式 Qwen2.5-Omni 基线的 32.3%。
功能标度律(FSL)揭示了最优批大小调度(BSS)结构依赖任务难度:易任务全程增批,难任务则后期切换大批。 该机制源于“快速追赶效应”,即小批切大批后梯度噪声快速遗忘,使损失迅速对齐;难任务可延后大批使用以显著降低数据消耗。 在1.1B参数和1T token的Dense及MoE LLM预实验中,后期切换调度持续优于固定或早期切换基线。
研究发现 Transformer 不同模块间存在持续的 Sharpness Disparity,据此提出 Blockwise Learning Rate 策略以加速 LLM 预训练。
研究发现,基于 DeBERTa 的嵌入余弦相似度主要追踪文本长度而非同质化。在 606 万条 Reddit 评论中,截断长度使均值增加八倍,随机替换复现 81% 的非对称性。 控制长度后,政治阵营间收敛在 ChatGPT 前停止;跨阵营回复的针对性比同阵营更强。
summary_zh: Jetriever利用Jev决策得分评估存储记忆对当前问题的效用,以全池效用评分取代相似度搜索。在InMind的125个间接查询任务中,该方法将金标准对话排首位的比例达84.8%。
针对 LEC 方法在独立同分布采样下违反总体 SCER 目标的问题,提出稳定性补偿线性期望控制(SC-LEC)方法。 利用理论全数据参考的负线性风险补偿阈值选择不稳定性,并推导两个有限样本证书。在 CommonsenseQA、ARC-Challenge 和 TriviaQA 数据集上验证了该方法的保留增益。
研究团队提出从社交媒体话语直接估算症状解析心理测量网络的框架,并首次在3个独立语料库中验证该框架,涵盖抑郁与进食障碍。 在抑郁研究中,表达评分与BDI-II总分相关系数达0.434,21个条目中20个通过FDR显著性检验,分半信度为0.935。 网络比较测试显示不同模态间仅3%-5%的边存在差异,但桥接症状表现出分歧;识别的语言特征在全部3个语料库中方向一致,并聚为三个构念家族。
RepoFactory 将真实仓库转化为可验证环境,产出 10,159 个环境,覆盖 17 个软件领域。 在 Qwen3.5-35B-A3B 上训练生成的 RepoHorizen-35B-A3B 在 NL2Repo-Bench 提升 22.6 分,五类基准平均提升 8.5 分。 环境进化循环相比无进化组分别多带来 5.1 分与 2.1 分的增益。
SWE-WhatIf 通过建模用户意图与满足标准,实现对新编码智能体的自适应会话重放。该框架在 89 个真实会话中生成的回复最接近真实用户,且在回避用户反对行为的测试中胜率高达 66.3%。 该工具被用于对五个 LLM 编码智能体进行排名,并在一项涉及 16 名用户的研究中影响了 14 人的后续智能体使用决策。
研究显示,在临床语音智能体中仅依赖转录文本无法有效识别患者的挫折感,约59%的轮次仅包含一两个词。 在30个通话样本中,引入音频信息对识别准确率的影响因模型而异,部分Gemini 2.5模型在提示下提升了3.0个百分点,但部分开源模型表现反而下降。 研究结论表明,针对短文本轮次,单纯转录文本不足以排除患者处于挫折状态,音频辅助需结合特定模型与提示策略才能有效。
团队提出Living Context Graph(LCG)持续学习上下文层,在BIRD数据库text-to-SQL任务上将准确率提升22.6个百分点。 LCG无需复制底层数据仓库,通过自举语义和概念图索引业务上下文,增量学习性能接近单次学习终点。 该技术已被NeurIPS 2026 Workshop接收,显著提升了企业数据推理效率。
研究发现一种名为“经验侵蚀”的故障模式:当工具定义发生静默变更时,基于 MCP 构建的资深智能体在大多数任务上失败,而新手智能体多数成功。 资深智能体倾向于复用旧调用而非检查当前接口,即便工具定义已显示变更,它们仍错误地报告成功。这种失败存在于所有测试的记忆形式中,且随经验量增加而加剧;简单告知更新或指向文档无法有效解决该问题。
CuRSE-Bench 揭示文生图安全评估存在文化盲点,包含 10,709 个文化特定提示词和 2,648 个通用对照,覆盖六个地区与十个危害轴。 该基准通过 CultureCraft 框架构建提示词,测试发现文化盲点评判员低估文化特定潜在危害,但其在通用对照上与地区人格评判员表现一致。 这一选择性盲点持续存在于已部署的审核系统中,凸显现有安全评估机制对特定文化背景下的隐性危害缺乏有效识别能力。
研究者提出 CLAM 框架,利用循环超网络在前向传播中整合会话激活,无需梯度步骤或生成调用。在 2-7B 开放模型上,CLAM 性能超越所有 Agent 基线 1-45 分,且构建记忆耗时比提取系统少 3-151 倍。
研究发现扩散语言模型主要置信度集中于最左侧前沿位置,仅在此处提交速度接近任意位置提交。 回退提交占比 11-35% 却导致 61-72% 的失败,限制在前沿提交可恢复大部分准确率。 该分析基于四个 DLM 在数学、代码等任务上的提交追踪验证。
研究提出 SilentGuard 框架,将静默 API 故障检测移至工具调用执行层,利用不变量测试拦截违规结果,避免模型幻觉。在 15 个公共研究 API 中发现 11 个存在静默故障,错误计数最高被夸大 691 倍。