扩散语言模型中通过填充提取训练数据
扩散语言模型中仅前缀探测严重低估训练数据泄露风险。 研究者提出填充提取协议,基于任意二进制掩码实例化于LLaDA-8B和Dream-7B。边缘条件掩码比前缀条件掩码多提取3倍逐字序列。 持有隐私信息脱敏副本的攻击者通过针对性填充将隐私信息召回率提升2.5至4.5倍。
扩散语言模型中仅前缀探测严重低估训练数据泄露风险。 研究者提出填充提取协议,基于任意二进制掩码实例化于LLaDA-8B和Dream-7B。边缘条件掩码比前缀条件掩码多提取3倍逐字序列。 持有隐私信息脱敏副本的攻击者通过针对性填充将隐私信息召回率提升2.5至4.5倍。
MedExAgent 通过两阶段训练流程,在噪声临床环境中实现诊断性能与更大模型相当且成本高效。 该智能体将临床诊断形式化为部分可观测马尔可夫决策过程,采用七种患者和三种检查噪声模型。训练先基于卡尔加里-剑桥模型进行监督微调,随后使用 DAPO 优化包含诊断准确性、工具调用质量和检查成本的复合奖励。
研究引入 HorizonBench 及数据生成器,评测 25 个前沿模型在偏好演变中的表现。 该基准包含 360 名用户的 4245 个问题,结合 13 周收集的人工纵向数据集。模型准确率达 52.8% 时,常错误选择过时偏好;检索与记忆方法均无法恢复丢失的准确率。
轻量级图神经网络结合 Cayley-Encoder 架构改进 LLM 最终层表示,在 13 个任务中准确率达 48% 提升。 该方法利用 SL(2, Zn) 上的 Cayley 图替代全连接结构,实现稀疏且低直径的层间聚合,仅增加 0.1% 参数量。 Cayley-Encoder 在冻结 LLM 条件下优于 LoRA 微调,并有效支持小样本场景。
HYPER框架通过假设引导将RAG从主题导向转为证据导向,无需训练即可提升准确率。 该框架将检索分解为支持、区分和特征三种证据角色,引导检索靠近决策边界。 在MedQA和MMLU-Med上,HYPER比Simple RAG分别提升5.9和3.6分。
S-GRADES 是一个开源 Web 基准,整合了 14 个评分数据集,提供标准化访问和可复现的评估协议。 该基准用于测试三种最先进大语言模型在多种推理策略下的表现,并分析示例选择与跨数据集迁移的影响,旨在揭示不同评估范式间的可靠性与泛化差距。
该综述审视了突破Transformer二次方注意力复杂度的近期进展,涵盖亚二次方注意力变体、循环神经网络、状态空间模型及混合架构。 文章从计算与内存复杂度、基准测试结果及根本局限性三个维度进行批判性分析,探讨纯注意力Transformer的主导地位是否面临挑战。 作者认为这种挑战在领域特定和边缘设备应用中尤为可能,论文为同行评审会议版本。
研究人员提出 Mixtures of In-Context Learners (MoICL) 方法,在 7 个分类数据集中的 5 个上性能超越 ICL 和 LENS 基线,最高提升 13%。 MoICL 将演示子集视为专家并学习权重函数以合并输出分布,同时降低达到相同性能所需的推理时间。 该方法对域外(最高 +11%)、不平衡(最高 +49%)及噪声演示(最高 +38%)表现出更强的鲁棒性。
提出两阶段概率推理范式 ThinkSum,用于解决 LLM 在多个对象或事实序列逻辑推理上的不足。 基于 BIG-bench 评估,ThinkSum 在 13 个高难度任务中优于 GPT 系列 SOTA,常使用更小模型变体。 概率推理在 LLM 调用外执行,使预测更具可解释性,且对提示词设计敏感性降低。
针对 LLM 表现优异,论文提出更具挑战的个人模仿游戏,测试机器能否在对话中复制特定个体。 通过30人实验建立基线,并构建基于 LLM 的系统模拟论文作者。 在20人欺骗研究中,审查者选系统而非作者朋友7/10轮,选作者而非系统13/20轮,均无法与随机区分。
ExecJudges 利用前沿 LLM 生成基于词汇匹配等规则的可执行程序,在 TREC DL 2019-2021 上的标注一致性达到 Claude Sonnet 5.5 LLM 判决水平。 该方法单次生成程序成本为 $0.17-$0.49 每主题,无需额外评分开销,且生成的标注能以 0.87-0.94 的 Kendall's tau 值对官方 TREC DL 运行结果进行有效排序。
研究团队提出 Vibe-Trading,一个集市场研究、策略生成、回测及多智能体协作于一体的智能体原生交易框架。 该框架核心在于通过证据共享、版本化研究记录和显式权限门,实现结果的可追溯与可复现,将策略研究与实盘执行严格分离。
研究提出V-lens,利用统一多模态模型的图像生成能力,无需训练解码器即可可视化选定token的隐状态。 在BAGEL、SenseNova-U1等模型上应用lens tuning后,代词指代正确可视化率从2-11%提升至86-94%,且该视觉监督意外改善了文本答案质量。
DRIFT 提出一种端到端自动驾驶框架,集成 <150M 参数的轻量语言模型进行场景描述与动作注释。 该框架通过蒸馏代理推理特征,允许在推理时绕过语言模型且无损驾驶性能。 DRIFT 总参数量仅 255M,在 Bench2Drive 上达到 97.03 Driving Score 和 89.39% Success Rate,并在 NAVSIM 和 AlpaSim 上以更低计算成本取得竞争力结果。
Openhagen Worlds 推出 27 个校准环境,包含 178 个难度层级,用于测试智能体在预算限制下运行实验并推理结果的能力。 每个层级经过 64 个开发实例的脚本预言机验证,确保非演绎策略成功率不超过 0.25。DeepSeek V4.1 Flash 在前沿测试中解决 32 个实例,9B 模型经策略迭代后核心层级成功率从 0.090 升至 0.148。
研究发现语言模型推理能力的提升涉及类似人类皮层发育的区域重组,在连续层范围内存在局部变化。 将相关区段权重嫁接到指令微调模型中平均提升了数学推理能力,且随区域重叠度增加而提高。该分析还定位了医疗模型中可迁移的推理相关区域,展示了低干扰下的性能提升。
研究发现 GR00T N1.7 模型在 LIBERO-Spatial 任务中对地标词同义词敏感,导致闭环完成率从 100% 降至 67.6%。在连接层前替换地标词向量即可改变物体选择,但连接层后替换影响微弱。在多样化地标词上微调或仅训练连接层可修复同义词缺失任务的完成率。
针对长上下文大语言模型服务的计费问题,提出分层框架。实验表明内容相关性主导位置权重,且缓存命中可使 65,536 token 的重复前缀计算成本降低两个数量级以上。 校准模拟显示 99 分位会话费用可降 31-42%,但收入匹配的非线性费率会导致中位数费用增加。
研究发现,将潜在 Chain-of-Thought 运行至预设全程可能降低推理性能。 该方法通过估计剩余建设性进度动态调整推理水平,无需重新训练 LLM。 在多个算术基准中,推理准确率最多提升 7.2 个百分点,潜在计算量最多减少 29.0%。
该研究在冻结的 Qwen3.5-0.8B 等模型上训练投影头,构建了针对 MedMCQA 的 System 1 决策模型。 模型将题目和选项向量化,通过对比学习优化,使小模型准确率从 33% 提升至 42.5%。 相比 Flan-PaLM 等模型,该方案提供了快速且低成本的基线方法。
提出长窗口投机解码框架 Sightline,通过匹配草稿器视界长度的验证窗口提升 SVG 生成速度。 在涵盖 text-to-SVG 与 image-to-SVG 的六项基准(源自 MMSVG、MMSVG-2M 及 SArena)测试中,Sightline 在所有设置下均为对比无损解码器中速度最快。 分析表明其优势源于更长的验证窗口避免了短窗口被截断导致的轮次损失,相关代码与数据已开放获取。
研究提出 AnyS1 框架,利用人类编写的程序化技能将决策点转化为通用源,训练出单个校准的 4B pointer System-1 模型。该框架在运行时以单次前向传播解决常规决策,并在置信度低于阈值时回退至 System-2 大模型。 在三个未见过的 benchmark 测试中,AnyS1 将 episode 成本降低 75%-91%,模型调用时间减少 63%-92%,同时保持任务可靠性。
summary_zh: 研究 Qwen3 0.6B 和 1.7B 模型在 127 个生命周期内使用 LoRA 适配器每晚微调,发现从用户反馈学习的效果取决于评判机制,且长期会出现衰减。
针对个人健康助手 Kicker 的指令更新,Safe Personal RSI 在 21 次更新尝试中拒绝了 20 次。 修复确认显示 GPT-5.6 Luna 将攻击违规率从 10.7% 降至 0%,Qwen2.5-7B-Instruct 至 Qwen3-14B 迁移使违规率从 69.0% 降至 17.9%。 方法在模型权重和运行时代码固定的前提下,通过可执行基准测试确保更新安全性后再行采用。
Option-GRPO 层级 RL 框架利用 SDK 源码结构优化代码 LLM 适配未见 SDK,在 12 个未见 SDK 上达成 61.4% pass@1 准确率。 基于 32B 参数基座模型实验,该方法比 flat GRPO 高 8.7 分,生成代码 API 调用少 34.7% 且长度短 27%,直接解决 AI slop 问题。
多智能体系统可通过置信度有限样本测试,以 5% 答案变化率上界安全跳过辅助消息,在未知问题中保留 76% 至 95% 的收益。 该机制在 Qwen 模型对上,通过跳过 59% 至 80% 的消息实现文本推理延迟降低数百毫秒,但 KV cache 路径性能未达标。
GRAFT 通过引入父代特异性执行证据优化进化交叉机制,在六个推理与编程场景测试中取得 82.0% 平均准确率。 该方法无需额外任务执行,仅利用评测中有限的成功与失败样本指导语义交叉与突变,其准确率比最强基线高出 9.8 个百分点。 这一结果证明了在执行证据指导下进行进化智能体设计的有效性。
BOS Summary 提出一种免训练推理方法,在预填充阶段允许 BOS token 聚合所有输入信息,使其携带特定于输入的上下文。 该方法在 8 个基准测试中优于直接提示及链式思考(CoT)方法,性能超过近期的 sink 干预技术,且无额外参数或推理开销。 其机制分析表明,让 BOS 携带具体信息可削弱其注意力主导地位,将注意力重新分配至内容 token,改善后续层的行为。
SpecLook 提出免训练的预测验证框架,通过预测智能体下一步观察结果,使每个问题仅需单次前向传播。 该方法在 V*、HR-Bench 和 POPE 上准确率为 87.2% 和 86.2%,较 DeepEyes-7B 快 7.7 倍。 无需标签即可评估答案可靠性。
QDA 利用智能体自动设计量化配方,在 W4A16、W4A8 和 W3A16 精度下平均精度比最强公开配方高 0.9、1.4 和 2.2 个百分点。 该系统通过计算 KL 散度快速评分候选方案,并提供兼容新架构的公开 PTQ 方法库,每次搜索仅需 64 个 GPU-hours。 在 GLM-5.3-Flash 模型上,QDA 恢复了 FP8 模型 98.3% 的准确率,所有检查点均无推理开销。
该研究对大语言模型强化学习运维(RLOps)进行系统性综述,旨在解决训练扩展中暴露的分布式执行、反馈计算及学习动态故障问题。研究将现有方法归纳为训练设置、经验收集、奖励计算、策略优化和模型评估五个阶段,并深入分析各阶段的操作关注点与管理技术。文章指出了训练过程可观测性、跨阶段协调及通用化 RLOps 等开放挑战,相关资源已托管于 GitHub 仓库。
在100对合成日志中,gpt-5.6-sol添加结构化残留记录后,明确说明未返回查询的比例为29%,而仅添加安慰剂记录为5%。 但70%至71%的记录声称无未决问题,且该结构化记录与伴随文本在提及缺口方面完全一致。 该结果预注册检验未达显著,无法证明结构化记录独立改善了模型披露。
JDPI 利用对比学习构建有害与良性原型,通过原型相对距离实现安全检测,在四个基准测试中检测准确率提升 9.1-18.0 个百分点。 该模型仅需二元安全标签进行编码器适配,跨数据集鲁棒性优于传统分类器,平均准确率提升 1.59 个百分点。
CAR 框架结合文献接地与迭代开发,在 LiveIdeaBench 40 个主题上表现出高于单轮提示的方法学新颖性。 该框架构建语义知识图谱,配备双关联等四个算子,在 BioXArena 等基准中取得最高胜率。 结果未确立显式算子的一致性质量优势,但实现了构思过程与文献来源的可追溯性。
研究表明,语言模型在通用训练中的进展可替代被屏蔽的特定数据,使其后续以极少数据快速掌握被屏蔽技能。 以国际象棋模型为例,从未显式学习应对将军指令的模型表现接近经该指令训练的模型;在70亿参数模型中屏蔽的编程语言,随模型进步后重新学习所需数据量递减。 数据过滤虽能延缓能力形成,但所需数据量随模型改进而减少,对能力监管具有参考价值。
Chiron 是一款基础模型,通过联合微调 LLM 实现对心理构念的表征和个体行为预测。其训练数据涵盖 36 个行为领域和 78 个社会实验,包含 288,307 条个人记录。
针对魁北克法语的持续预训练(CPT)收益取决于基模型对目标方言的现有能力,并非普遍有益。 实验采用 30M token 预算,发现语料构成(特别是文学文本)比数据量更关键;CPT 主要提升表达理解而非语法,且会导致阅读理解能力下降。
CurvDelta 框架通过低曲率空间参数化更新,解决 LLM 适配中能力保留难题。 利用 K-FAC 实现高效适配,CurvLoRA 提供低秩变体。在数学推理、代码生成及知识遗忘任务中,其在 TOFU 和 MUSE 基准上展现出优于基线模型的获取-保留平衡,保留性能接近从零开始重训练的参考水平。
Piccolo 0.8B 至 27B 多模态决策模型通过 Agentic Data Engineering 实现模型与数据协同演化。 Piccolo-27B 在 Decision Index Vision Full 榜单以 75.59 分居首,9B 与 4B 模型在各自规模 Private 基准测试中排名第一。 发布权重及工具,为构建前沿决策模型及扩展数据驱动的递归自我改进提供可行蓝图。
Clover-35B-A3B-Preview 是支持思考模式扩散的 MoE 语言模型,总参 35B、激活 3B,SWE-bench Verified 73.6、Terminal-Bench 2.1 51.7。