PivotLoRA:LoRA 初始化子空间方向对少样本适应重要性的机制分析
summary_zh: PivotLoRA 证明 LoRA 适配器初始输入子空间方向的重要性取决于机制,并在 13 种方法中取得少样本 BERT-base 分类最佳平均排名。
summary_zh: PivotLoRA 证明 LoRA 适配器初始输入子空间方向的重要性取决于机制,并在 13 种方法中取得少样本 BERT-base 分类最佳平均排名。
新架构 ARISE 通过自评估机制在无需更新模型权重的情况下演化智能体记忆。 基于 SOP-Bench 和 $\tau^2$-bench 测试,ARISE-Teacher 利用 Claude Opus 4.6 归因,相比基线分别提升 10.9 pp 和 5.8 pp,且模型调用减少 4.0%。 该架构在 14 个企业工作流领域验证了可行性,实现了准确性提升与成本控制的平衡。
论文理论分析了 On-policy Distillation 中目标选择对 Token 优先级、顺序及优化效率的影响。 研究发现序列级 OPD 存在“未来一致性偏差”,导致先匹配后段 Token 的反向学习顺序;前向 KL 散度具有良好优化景观,而反向 KL 等散度易出现梯度消失。
LProp 提出一种潜在不确定性传播机制,在 LLM Agents 中利用潜在表示和新证据修正继承的分布,无需额外轨迹采样。 该方法在选择题、数学推理等任务上优于基线,并在八种传播场景中实现最低的推理 token 平均用量。
针对有限阈值分布族,研究在固定总质量约束下最小化决策后悔的 Proper Loss 权重设计。 通过裁剪阈值密度上包络并设定下限,推导出一维根搜索确定的最优权重,该方案在合成实验中优于均匀权重。
该研究证明切比雪夫抽象能突破 Taylor 展开在复平面的收敛半径限制,以几何速率扩展认证可达集宽度,实测误差公式匹配率介于 89% 至 94%。 方法采用闭式严格余项,首次实现多项式 Softmax 变换器,并在闭循环及 MNIST 分类器测试中,成功认证了 Taylor 方法因发散而无法证明的输入区域,所有认证声明在蒙特卡洛测试中零违反。
该综述考察了Prandtl神经网络、Preisach神经网络等模型在非线性滞回系统中的应用,重点分析其记忆表示机制与网络架构。 模型通过停止算子引入滞回记忆,利用退化停止神经元捕捉刚度退化及非共形滞回,并扩展至处理速率依赖行为。 EPNN结合退化算子与速率信息,能够适应对称或非对称、共形或非共形等多种滞回特性。
summary_zh: SANTA++ 提出了一种无需训练的随机注意力方法,利用代表性键在 32K 上下文下保留 95-98% 的密集注意力分数。 该方法将缓存键分组,采样代表以决定团队,并在 RTX 5090 上实现 1.38 倍 Flash SDPA 速度提升。
XMerge 是一种后训练方法,通过跨轴选择识别低变化块,并由局部边界重建重新拟合相邻层,实现 LLM 深度压缩。 该方法无需任务标签或端到端微调,不引入架构变更或额外推理参数,在 Llama 和 Qwen 骨干模型测试中表现优于现有基线。 在 k=4 移除级别下,XMerge 在 CORE 和 MMLU 基准上排名第一,避免了大困惑度增加,被 NeurIPS 2026 接收为口头报告。
MOLT 是 Hugging Face 原生的极简可扩展智能体强化学习开源框架。 代码仅 9.2K 行,支持 4B 至 753B 模型,异步训练速度提升 2.4 倍。 其训练器 NeMo AutoModel 支持高达 2.8 万亿参数的模型。
在推理模型服务中,基于校准数据动态选择停止规则比预设静态token预算更优。5%风险目标下,学习规则在Qwen3上比静态预算多节省10.4-17.0个百分点token,准确率低于完整推理2.4-2.9点。 预承诺某类策略在某些工作负载中最高损失27.4点,而校准选择最多仅落后最优类11.6点;Qwen3-8B在vLLM中平均响应时间与生成token数成正比。
论文提出无需训练的DUME方法,通过岭回归将不同领域的稠密专家复用为统一MoE模型。实验显示其在推理场景中平均达到原稠密专家104%的性能。该方法支持动态增减专家,且代码已开源。
该方法结合签名词汇证据与分类器置信度间隔,构建双特征置信度模型用于对话式AI意图路由。 在BANKING77、CLINC150和HWU64数据集上,该方法将风险覆盖曲线下面积分别降低15.8%、15.1%和11.8%;在5%错误率目标下,BANKING77的请求接受率提升1.83个百分点。
Swiss-Knife 框架通过可热交换评分模块和解码时选择规则,在帮助性/诚实性/无害性平衡上取得谐波 F1 0.797,优于基线 0.750。 其核心组件 Candidate-Batch Normalization 使权重单形对奖励模型重标定不变,且目标重构耗时仅 0.05 ms,无需梯度计算。
研究提出 DBloom 方法,通过扩展块大小解决块扩散推测解码中的搁置加速瓶颈,显著提升生成速度。 在 Qwen3-8B 和 Qwen3-4B 上,相比 B16 基础模型,该方法将每提示承诺长度最多提高 1.7 tokens,中位解码速度提升 10.2%,高天花板基准上速度提升 11.9%。 该方法优于 JetSpec 树形起草器,在所有基准上承诺长度更高,为块扩散起草器提供更高效的加速方案。
EasyOPD 是基于分布式强化学习框架 verl 开发的在线策略蒸馏框架,支持跨 tokenizer、自蒸馏及步进式蒸馏三种场景。 该框架通过解耦用户配置、监督逻辑与执行后端,提供 YAML 配置文件、文档及安装演示包。 实验显示其能在推理、代码生成等基准任务中保留特定目标并展现差异化性能表现。
该综述审视了突破Transformer二次方注意力复杂度的近期进展,涵盖亚二次方注意力变体、循环神经网络、状态空间模型及混合架构。 文章从计算与内存复杂度、基准测试结果及根本局限性三个维度进行批判性分析,探讨纯注意力Transformer的主导地位是否面临挑战。 作者认为这种挑战在领域特定和边缘设备应用中尤为可能,论文为同行评审会议版本。
研究人员提出 Mixtures of In-Context Learners (MoICL) 方法,在 7 个分类数据集中的 5 个上性能超越 ICL 和 LENS 基线,最高提升 13%。 MoICL 将演示子集视为专家并学习权重函数以合并输出分布,同时降低达到相同性能所需的推理时间。 该方法对域外(最高 +11%)、不平衡(最高 +49%)及噪声演示(最高 +38%)表现出更强的鲁棒性。
提出两阶段概率推理范式 ThinkSum,用于解决 LLM 在多个对象或事实序列逻辑推理上的不足。 基于 BIG-bench 评估,ThinkSum 在 13 个高难度任务中优于 GPT 系列 SOTA,常使用更小模型变体。 概率推理在 LLM 调用外执行,使预测更具可解释性,且对提示词设计敏感性降低。
针对 LLM 表现优异,论文提出更具挑战的个人模仿游戏,测试机器能否在对话中复制特定个体。 通过30人实验建立基线,并构建基于 LLM 的系统模拟论文作者。 在20人欺骗研究中,审查者选系统而非作者朋友7/10轮,选作者而非系统13/20轮,均无法与随机区分。
研究发现语言模型推理能力的提升涉及类似人类皮层发育的区域重组,在连续层范围内存在局部变化。 将相关区段权重嫁接到指令微调模型中平均提升了数学推理能力,且随区域重叠度增加而提高。该分析还定位了医疗模型中可迁移的推理相关区域,展示了低干扰下的性能提升。
针对长上下文大语言模型服务的计费问题,提出分层框架。实验表明内容相关性主导位置权重,且缓存命中可使 65,536 token 的重复前缀计算成本降低两个数量级以上。 校准模拟显示 99 分位会话费用可降 31-42%,但收入匹配的非线性费率会导致中位数费用增加。
研究发现,将潜在 Chain-of-Thought 运行至预设全程可能降低推理性能。 该方法通过估计剩余建设性进度动态调整推理水平,无需重新训练 LLM。 在多个算术基准中,推理准确率最多提升 7.2 个百分点,潜在计算量最多减少 29.0%。
该研究在冻结的 Qwen3.5-0.8B 等模型上训练投影头,构建了针对 MedMCQA 的 System 1 决策模型。 模型将题目和选项向量化,通过对比学习优化,使小模型准确率从 33% 提升至 42.5%。 相比 Flan-PaLM 等模型,该方案提供了快速且低成本的基线方法。
提出长窗口投机解码框架 Sightline,通过匹配草稿器视界长度的验证窗口提升 SVG 生成速度。 在涵盖 text-to-SVG 与 image-to-SVG 的六项基准(源自 MMSVG、MMSVG-2M 及 SArena)测试中,Sightline 在所有设置下均为对比无损解码器中速度最快。 分析表明其优势源于更长的验证窗口避免了短窗口被截断导致的轮次损失,相关代码与数据已开放获取。
summary_zh: 研究 Qwen3 0.6B 和 1.7B 模型在 127 个生命周期内使用 LoRA 适配器每晚微调,发现从用户反馈学习的效果取决于评判机制,且长期会出现衰减。
多智能体系统可通过置信度有限样本测试,以 5% 答案变化率上界安全跳过辅助消息,在未知问题中保留 76% 至 95% 的收益。 该机制在 Qwen 模型对上,通过跳过 59% 至 80% 的消息实现文本推理延迟降低数百毫秒,但 KV cache 路径性能未达标。
BOS Summary 提出一种免训练推理方法,在预填充阶段允许 BOS token 聚合所有输入信息,使其携带特定于输入的上下文。 该方法在 8 个基准测试中优于直接提示及链式思考(CoT)方法,性能超过近期的 sink 干预技术,且无额外参数或推理开销。 其机制分析表明,让 BOS 携带具体信息可削弱其注意力主导地位,将注意力重新分配至内容 token,改善后续层的行为。
SpecLook 提出免训练的预测验证框架,通过预测智能体下一步观察结果,使每个问题仅需单次前向传播。 该方法在 V*、HR-Bench 和 POPE 上准确率为 87.2% 和 86.2%,较 DeepEyes-7B 快 7.7 倍。 无需标签即可评估答案可靠性。
QDA 利用智能体自动设计量化配方,在 W4A16、W4A8 和 W3A16 精度下平均精度比最强公开配方高 0.9、1.4 和 2.2 个百分点。 该系统通过计算 KL 散度快速评分候选方案,并提供兼容新架构的公开 PTQ 方法库,每次搜索仅需 64 个 GPU-hours。 在 GLM-5.3-Flash 模型上,QDA 恢复了 FP8 模型 98.3% 的准确率,所有检查点均无推理开销。
Chiron 是一款基础模型,通过联合微调 LLM 实现对心理构念的表征和个体行为预测。其训练数据涵盖 36 个行为领域和 78 个社会实验,包含 288,307 条个人记录。
针对魁北克法语的持续预训练(CPT)收益取决于基模型对目标方言的现有能力,并非普遍有益。 实验采用 30M token 预算,发现语料构成(特别是文学文本)比数据量更关键;CPT 主要提升表达理解而非语法,且会导致阅读理解能力下降。
Clover-35B-A3B-Preview 是支持思考模式扩散的 MoE 语言模型,总参 35B、激活 3B,SWE-bench Verified 73.6、Terminal-Bench 2.1 51.7。
研究发现,直接提示词表示空间中每个问题存在能更常导向正确答案的方向。 在 LLaMA 3.1 8B 和 Qwen 2.5 7B 模型上,这些方向将直接提示平均准确率分别提升至 85% 和 86%,token 消耗仅为 CoT 的十分之一。 这些方向可用于未来训练模型对齐其状态,实现更高效推理。
研究在相同数据与训练预算下测试五项改动,发现 MoE、Muon 优化器和 Gated DeltaNet 混合带来最大增益。额外归一化有帮助,而参数匹配的注意力门控平均提升微小。 这些改动大部分可叠加,但重复实验揭示了微小交互作用及被初统计误判为噪声的益处。结论限于小模型训练场景,专家模型拥有更大总容量。 实践意义在于应共同测试有潜力的组件,并重复比较以决定保留哪些改动。
ProbMedTOD 提出结合贝叶斯网络与小型语言模型,在 DDXPlus 和 MIMIC-IV Notes 实验中性能优于 LLM-only 及检索基线。 系统分本体构建、结构预测和参数估计三阶段自动合成贝叶斯网络,通过 Agent 维持后验分布并选择诊断问题。 特别增强了小型模型的多轮推理能力。
这篇 arXiv 论文考察大语言模型生成儿童故事中的性别刻板印象,分析了16个模型在35个国家背景下生成的62,873篇故事。研究发现,面向男孩的故事在叙事框架上比面向女孩的故事表现出更高能动性和更低亲社会性,这些差异是持续但受语境影响的,推动了超越短文本基准的叙事特定偏见评估。
MIRAGE 是一个无需训练的框架,通过相关性感知的双路径推理器(CDR)解决多跳问答中知识注入下的来源信任错误,在多个基准上刷新了 SOTA 记录。 该框架通过基于 P(True) 的置信度路由机制处理冲突知识与全新信息,并辅以轻量级模板引导修正器,在四个 LLM 家族和两个基准上验证了其有效性。
LexTemporis 系统利用 10,901 个韩国上市企业 SME 状态记录,评估 LLM 生成的法律程序正确性。 研究发现过渡条款将结果一致率从 83-86% 提升至 89-90%,且四种 LLM 模型中无单一最优条件。 这表明仅依据审阅者解读进行评分会高估法律程序的实际性能。
研究提出 NarrowSpec,证明在推测解码中,DFlash 和 EAGLE-3 草稿模型的隐藏宽度可缩减至目标模型(Qwen3-8B, GPT-OSS-20B)的二分之一或四分之一,且能维持较高的 token 接受率。