基于签名词汇证据的风险校准意图路由方法
该方法结合签名词汇证据与分类器置信度间隔,构建双特征置信度模型用于对话式AI意图路由。 在BANKING77、CLINC150和HWU64数据集上,该方法将风险覆盖曲线下面积分别降低15.8%、15.1%和11.8%;在5%错误率目标下,BANKING77的请求接受率提升1.83个百分点。
该方法结合签名词汇证据与分类器置信度间隔,构建双特征置信度模型用于对话式AI意图路由。 在BANKING77、CLINC150和HWU64数据集上,该方法将风险覆盖曲线下面积分别降低15.8%、15.1%和11.8%;在5%错误率目标下,BANKING77的请求接受率提升1.83个百分点。
Swiss-Knife 框架通过可热交换评分模块和解码时选择规则,在帮助性/诚实性/无害性平衡上取得谐波 F1 0.797,优于基线 0.750。 其核心组件 Candidate-Batch Normalization 使权重单形对奖励模型重标定不变,且目标重构耗时仅 0.05 ms,无需梯度计算。
SALT 通过在现有句子编码器中注入 span-level 监督,显著改进 token 表示。 该方法在五项多语言 token 级基准测试中取得了其中四项的最佳结果,优于微调策略。 同时它也提升了跨语言检索和分类任务的句子级表现。
研究提出 DBloom 方法,通过扩展块大小解决块扩散推测解码中的搁置加速瓶颈,显著提升生成速度。 在 Qwen3-8B 和 Qwen3-4B 上,相比 B16 基础模型,该方法将每提示承诺长度最多提高 1.7 tokens,中位解码速度提升 10.2%,高天花板基准上速度提升 11.9%。 该方法优于 JetSpec 树形起草器,在所有基准上承诺长度更高,为块扩散起草器提供更高效的加速方案。
研究者提出针对多语言 LLM 对齐的元学习框架,利用跨语言偏好数据实现低资源语言的高效适配。 该方法在仅有 100 个目标语言样本的极端低资源场景下,胜率较基线提升最高 33.4%,并被 NeurIPS 2026 接收。
EasyOPD 是基于分布式强化学习框架 verl 开发的在线策略蒸馏框架,支持跨 tokenizer、自蒸馏及步进式蒸馏三种场景。 该框架通过解耦用户配置、监督逻辑与执行后端,提供 YAML 配置文件、文档及安装演示包。 实验显示其能在推理、代码生成等基准任务中保留特定目标并展现差异化性能表现。
研究团队发布 RABBiT,这是一款紧凑的音频到 fMRI 编码器,旨在通过脑调优技术实现脑对语音诱发反应的高精度零样本和少样本预测。 在 324 名受试者及多个未见过的 fMRI 数据集上测试,RABBiT 的零样本预测能力超越 SOTA fMRI 基础模型,仅使用 10 分钟数据即可通过参数高效微调大幅提升性能。
研究提出名为 Turing-RL 的基于图灵测试的强化学习方法,用于训练用户模拟器 LLM。该方法利用 LLM 裁判生成判别式图灵奖励,优化生成响应与真实用户历史的不可区分性。
Polar 是一个包含 4026 个多选题的基准,通过选项级似然度而非基于提示词生成来衡量大语言模型的政治偏见。 该基准涵盖两个意识形态轴和八个议题类别,并在美国与韩国政治语境下并行评估了 38 个模型。
研究提出 CRAM 框架,通过隔离任务模块缓解多模态 LLM 持续微调中的灾难性遗忘,并利用自适应秩实例化实现高效参数分配。 该方法采用质心引导路由激活现有专家,辅以正交性惩罚限制更新方向,在多模态基准实验中表现出优于现有方法的优势,代码已公开。
扩散语言模型中仅前缀探测严重低估训练数据泄露风险。 研究者提出填充提取协议,基于任意二进制掩码实例化于LLaDA-8B和Dream-7B。边缘条件掩码比前缀条件掩码多提取3倍逐字序列。 持有隐私信息脱敏副本的攻击者通过针对性填充将隐私信息召回率提升2.5至4.5倍。
MedExAgent 通过两阶段训练流程,在噪声临床环境中实现诊断性能与更大模型相当且成本高效。 该智能体将临床诊断形式化为部分可观测马尔可夫决策过程,采用七种患者和三种检查噪声模型。训练先基于卡尔加里-剑桥模型进行监督微调,随后使用 DAPO 优化包含诊断准确性、工具调用质量和检查成本的复合奖励。
研究引入 HorizonBench 及数据生成器,评测 25 个前沿模型在偏好演变中的表现。 该基准包含 360 名用户的 4245 个问题,结合 13 周收集的人工纵向数据集。模型准确率达 52.8% 时,常错误选择过时偏好;检索与记忆方法均无法恢复丢失的准确率。
轻量级图神经网络结合 Cayley-Encoder 架构改进 LLM 最终层表示,在 13 个任务中准确率达 48% 提升。 该方法利用 SL(2, Zn) 上的 Cayley 图替代全连接结构,实现稀疏且低直径的层间聚合,仅增加 0.1% 参数量。 Cayley-Encoder 在冻结 LLM 条件下优于 LoRA 微调,并有效支持小样本场景。
HYPER框架通过假设引导将RAG从主题导向转为证据导向,无需训练即可提升准确率。 该框架将检索分解为支持、区分和特征三种证据角色,引导检索靠近决策边界。 在MedQA和MMLU-Med上,HYPER比Simple RAG分别提升5.9和3.6分。
S-GRADES 是一个开源 Web 基准,整合了 14 个评分数据集,提供标准化访问和可复现的评估协议。 该基准用于测试三种最先进大语言模型在多种推理策略下的表现,并分析示例选择与跨数据集迁移的影响,旨在揭示不同评估范式间的可靠性与泛化差距。
该综述审视了突破Transformer二次方注意力复杂度的近期进展,涵盖亚二次方注意力变体、循环神经网络、状态空间模型及混合架构。 文章从计算与内存复杂度、基准测试结果及根本局限性三个维度进行批判性分析,探讨纯注意力Transformer的主导地位是否面临挑战。 作者认为这种挑战在领域特定和边缘设备应用中尤为可能,论文为同行评审会议版本。
研究人员提出 Mixtures of In-Context Learners (MoICL) 方法,在 7 个分类数据集中的 5 个上性能超越 ICL 和 LENS 基线,最高提升 13%。 MoICL 将演示子集视为专家并学习权重函数以合并输出分布,同时降低达到相同性能所需的推理时间。 该方法对域外(最高 +11%)、不平衡(最高 +49%)及噪声演示(最高 +38%)表现出更强的鲁棒性。
提出两阶段概率推理范式 ThinkSum,用于解决 LLM 在多个对象或事实序列逻辑推理上的不足。 基于 BIG-bench 评估,ThinkSum 在 13 个高难度任务中优于 GPT 系列 SOTA,常使用更小模型变体。 概率推理在 LLM 调用外执行,使预测更具可解释性,且对提示词设计敏感性降低。
针对 LLM 表现优异,论文提出更具挑战的个人模仿游戏,测试机器能否在对话中复制特定个体。 通过30人实验建立基线,并构建基于 LLM 的系统模拟论文作者。 在20人欺骗研究中,审查者选系统而非作者朋友7/10轮,选作者而非系统13/20轮,均无法与随机区分。
ExecJudges 利用前沿 LLM 生成基于词汇匹配等规则的可执行程序,在 TREC DL 2019-2021 上的标注一致性达到 Claude Sonnet 5.5 LLM 判决水平。 该方法单次生成程序成本为 $0.17-$0.49 每主题,无需额外评分开销,且生成的标注能以 0.87-0.94 的 Kendall's tau 值对官方 TREC DL 运行结果进行有效排序。
研究团队提出 Vibe-Trading,一个集市场研究、策略生成、回测及多智能体协作于一体的智能体原生交易框架。 该框架核心在于通过证据共享、版本化研究记录和显式权限门,实现结果的可追溯与可复现,将策略研究与实盘执行严格分离。
研究提出V-lens,利用统一多模态模型的图像生成能力,无需训练解码器即可可视化选定token的隐状态。 在BAGEL、SenseNova-U1等模型上应用lens tuning后,代词指代正确可视化率从2-11%提升至86-94%,且该视觉监督意外改善了文本答案质量。
DRIFT 提出一种端到端自动驾驶框架,集成 <150M 参数的轻量语言模型进行场景描述与动作注释。 该框架通过蒸馏代理推理特征,允许在推理时绕过语言模型且无损驾驶性能。 DRIFT 总参数量仅 255M,在 Bench2Drive 上达到 97.03 Driving Score 和 89.39% Success Rate,并在 NAVSIM 和 AlpaSim 上以更低计算成本取得竞争力结果。
Openhagen Worlds 推出 27 个校准环境,包含 178 个难度层级,用于测试智能体在预算限制下运行实验并推理结果的能力。 每个层级经过 64 个开发实例的脚本预言机验证,确保非演绎策略成功率不超过 0.25。DeepSeek V4.1 Flash 在前沿测试中解决 32 个实例,9B 模型经策略迭代后核心层级成功率从 0.090 升至 0.148。
研究发现语言模型推理能力的提升涉及类似人类皮层发育的区域重组,在连续层范围内存在局部变化。 将相关区段权重嫁接到指令微调模型中平均提升了数学推理能力,且随区域重叠度增加而提高。该分析还定位了医疗模型中可迁移的推理相关区域,展示了低干扰下的性能提升。
研究发现 GR00T N1.7 模型在 LIBERO-Spatial 任务中对地标词同义词敏感,导致闭环完成率从 100% 降至 67.6%。在连接层前替换地标词向量即可改变物体选择,但连接层后替换影响微弱。在多样化地标词上微调或仅训练连接层可修复同义词缺失任务的完成率。
针对长上下文大语言模型服务的计费问题,提出分层框架。实验表明内容相关性主导位置权重,且缓存命中可使 65,536 token 的重复前缀计算成本降低两个数量级以上。 校准模拟显示 99 分位会话费用可降 31-42%,但收入匹配的非线性费率会导致中位数费用增加。
研究发现,将潜在 Chain-of-Thought 运行至预设全程可能降低推理性能。 该方法通过估计剩余建设性进度动态调整推理水平,无需重新训练 LLM。 在多个算术基准中,推理准确率最多提升 7.2 个百分点,潜在计算量最多减少 29.0%。
该研究在冻结的 Qwen3.5-0.8B 等模型上训练投影头,构建了针对 MedMCQA 的 System 1 决策模型。 模型将题目和选项向量化,通过对比学习优化,使小模型准确率从 33% 提升至 42.5%。 相比 Flan-PaLM 等模型,该方案提供了快速且低成本的基线方法。
提出长窗口投机解码框架 Sightline,通过匹配草稿器视界长度的验证窗口提升 SVG 生成速度。 在涵盖 text-to-SVG 与 image-to-SVG 的六项基准(源自 MMSVG、MMSVG-2M 及 SArena)测试中,Sightline 在所有设置下均为对比无损解码器中速度最快。 分析表明其优势源于更长的验证窗口避免了短窗口被截断导致的轮次损失,相关代码与数据已开放获取。
研究提出 AnyS1 框架,利用人类编写的程序化技能将决策点转化为通用源,训练出单个校准的 4B pointer System-1 模型。该框架在运行时以单次前向传播解决常规决策,并在置信度低于阈值时回退至 System-2 大模型。 在三个未见过的 benchmark 测试中,AnyS1 将 episode 成本降低 75%-91%,模型调用时间减少 63%-92%,同时保持任务可靠性。
summary_zh: 研究 Qwen3 0.6B 和 1.7B 模型在 127 个生命周期内使用 LoRA 适配器每晚微调,发现从用户反馈学习的效果取决于评判机制,且长期会出现衰减。
针对个人健康助手 Kicker 的指令更新,Safe Personal RSI 在 21 次更新尝试中拒绝了 20 次。 修复确认显示 GPT-5.6 Luna 将攻击违规率从 10.7% 降至 0%,Qwen2.5-7B-Instruct 至 Qwen3-14B 迁移使违规率从 69.0% 降至 17.9%。 方法在模型权重和运行时代码固定的前提下,通过可执行基准测试确保更新安全性后再行采用。
Option-GRPO 层级 RL 框架利用 SDK 源码结构优化代码 LLM 适配未见 SDK,在 12 个未见 SDK 上达成 61.4% pass@1 准确率。 基于 32B 参数基座模型实验,该方法比 flat GRPO 高 8.7 分,生成代码 API 调用少 34.7% 且长度短 27%,直接解决 AI slop 问题。
多智能体系统可通过置信度有限样本测试,以 5% 答案变化率上界安全跳过辅助消息,在未知问题中保留 76% 至 95% 的收益。 该机制在 Qwen 模型对上,通过跳过 59% 至 80% 的消息实现文本推理延迟降低数百毫秒,但 KV cache 路径性能未达标。
GRAFT 通过引入父代特异性执行证据优化进化交叉机制,在六个推理与编程场景测试中取得 82.0% 平均准确率。 该方法无需额外任务执行,仅利用评测中有限的成功与失败样本指导语义交叉与突变,其准确率比最强基线高出 9.8 个百分点。 这一结果证明了在执行证据指导下进行进化智能体设计的有效性。
BOS Summary 提出一种免训练推理方法,在预填充阶段允许 BOS token 聚合所有输入信息,使其携带特定于输入的上下文。 该方法在 8 个基准测试中优于直接提示及链式思考(CoT)方法,性能超过近期的 sink 干预技术,且无额外参数或推理开销。 其机制分析表明,让 BOS 携带具体信息可削弱其注意力主导地位,将注意力重新分配至内容 token,改善后续层的行为。
SpecLook 提出免训练的预测验证框架,通过预测智能体下一步观察结果,使每个问题仅需单次前向传播。 该方法在 V*、HR-Bench 和 POPE 上准确率为 87.2% 和 86.2%,较 DeepEyes-7B 快 7.7 倍。 无需标签即可评估答案可靠性。
QDA 利用智能体自动设计量化配方,在 W4A16、W4A8 和 W3A16 精度下平均精度比最强公开配方高 0.9、1.4 和 2.2 个百分点。 该系统通过计算 KL 散度快速评分候选方案,并提供兼容新架构的公开 PTQ 方法库,每次搜索仅需 64 个 GPU-hours。 在 GLM-5.3-Flash 模型上,QDA 恢复了 FP8 模型 98.3% 的准确率,所有检查点均无推理开销。