CoCo-LoRA:用于多模态不确定性估计的上下文贝叶斯 PEFT 方法
提出多模态 PEFT 方法 CoCo-LoRA,将音频作为上下文信号条件化低秩空间的不确定性,而非融合特征流。 该方法通过池化音频嵌入投影至共享上下文空间,结合局部文本适配器特征,实现轻量级异方差不确定性建模,在多任务评测中匹配或超越纯文本基线。 在低资源多模态预测任务中,CoCo-LoRA 提供了稳健且参数高效的替代方案。
提出多模态 PEFT 方法 CoCo-LoRA,将音频作为上下文信号条件化低秩空间的不确定性,而非融合特征流。 该方法通过池化音频嵌入投影至共享上下文空间,结合局部文本适配器特征,实现轻量级异方差不确定性建模,在多任务评测中匹配或超越纯文本基线。 在低资源多模态预测任务中,CoCo-LoRA 提供了稳健且参数高效的替代方案。
KV Packet 提出免重算的 KV 缓存复用框架,通过轻量级可训练软 token 适配器桥接上下文断层。 在 Llama-3.1 和 Qwen-3 实验中,该方法实现近零 FLOPs 且 TTFT 低于重算基线,F1 分数与全量重算持平。 该工作已被 NeurIPS 2026 接收。
研究揭示大语言模型在多位算术上泛化延迟(grokking)受数字基数影响。在进位仅依赖当前位的基数下,Transformer 所需训练整数数量显著减少。 通过一步 Collatz 预测实验验证了上述规律,该结构也适用于整数除法及 decoder-only 模型。该研究在 NeurIPS 2026 Workshop 被接受,表明数制选择可预先预测样本效率。
论文提出长期异质剂量反应曲线(HDRC)估计方法,利用最优传输框架对齐数据以消除未观测混杂因素。 方法建立了反事实预测误差的泛化界,并在合成及半合成数据集实验中验证了该方法的有效性。
OptiCom 是一个通过动态组合 LLM 优化机制的统一框架,在 32 个基准组中平均 Max-score 排名 1.72,其中 23 个组取得最高分。
EOPSA 提出一种高效在策略自蒸馏安全对齐框架,将推理计算量减少约 50%,且仅对约 2% 的 token 进行反向传播,在保持 32B 参数规模模型推理能力的同时提升安全合规性。 该方法通过自适应 rollout 调度和选择性蒸馏,排除风格漂移导致的无效梯度噪声,确保计算资源集中于安全关键 token。代码和模型已在项目仓库开源。
研究者推出 Forecast-Dojo 可回放环境,包含 1,568 个 Polymarket 事件及 1880 万篇新闻,用于 LLM 预测智能体的评估与训练。 跨 12 个模型测试发现,研究工具能提升预测性能,且所有模型表现均落后于历史市场预测。基于该环境微调 Qwen3-30B-A3B-Thinking-2507,其评估集准确率从 34.8% 提升至 42.8%。
研究通过构建公共品博弈实验,发现 LLM 智能体在历史统计模式被破坏时,长上下文的决策优势消失,其表现回归无上下文基线。 实验表明,随着策略互依性增强,决策质量退化加剧,证明当前 ICL 行为更符合统计外推而非递归信念推理。 该工作将 ICL 机制研究扩展至多智能体策略环境,并引入理性预期均衡作为区分推理与外推的诊断工具。
CLWM 通过反事实对比目标解决预训练编码器导致的“反事实坍缩”,使模型能区分视觉相似但行为后果不同的干预。 在遮挡操作和混淆导航任务中,规划成功率分别提升至 74.6% 和 78.9%,延迟厨房场景的失败率降低至 9.7%。 该方法建立的表征无关指标可审计任意编码器,为具身智能体的动作规划提供了可靠保障。
研究发现大语言模型拒答存在因果不对称性,即“破缺对称性”。即使模型输出拒答,正确答案仍可从隐藏状态线性恢复。 释放被隐藏答案仅需单位置干预,而重新施加抑制需多位置广泛干预,重构连贯拒答序列难度更高。 这表明拒答并非简单对称开关,探针可恢复性可能高估真实行为控制力,定位拒答相关方向无法可靠引导模型从作答转向拒答。
研究提出轻量级因果精化器 xPress,通过并行精化恢复扩散草稿器中缺失的因果依赖,解决独立采样导致的联合概率低问题。 在 Qwen3-8B 模型及七个基准测试中,xPress 使平均接受长度提升约 30%,端到端解码吞吐量提升约 1.3 倍。
summary_zh: CIPHER 提出去耦探索-选择(DES)框架,通过在计划层生成 N 个候选方案并并行执行 M 个(M<N)来扩展测试时计算。 评估了 48 种设计选择,在 357 个任务上联合测试 Infi-DA-Bench 和 InsightBench,使用专有和开源基础模型。
AlphaCNOT 提出基于蒙特卡洛树搜索(MCTS)的强化学习框架,解决 CNOT 门最小化问题。 在基于线性可逆综合(Linear Reversible Synthesis)任务中,相比 Patel-Markov-Hayes(PMH)基线,该方法实现了最高 24.62% 的 CNOT 门数量削减,在支持至 8 个量子比特的不同拓扑结构中均表现更优。
研究发现,LLM 的言语化置信度受刻度设计显著影响,0-20 尺度比标准 0-100 尺度更能提升元认知效率。 在六个 LLM 和三个数据集的测试中,78% 以上响应集中在三个整数上;边界压缩会降低性能,而偏好整数的现象在非常规范围内仍然存在。 这项研究强调置信度刻度设计应作为 LLM 评估中的一类实验变量。
论文提出 CAFE 框架,将自动特征工程(AFE)重构为因果引导的顺序决策过程,结合因果发现与强化学习。 该框架分两阶段:先学习稀疏有向无环图获取软因果先验,再用级联多智能体深度 Q 学习选择因果组及算子。 在 15 个基准上显著优于最强 AFE 基线(Wilcoxon p<0.001),在分布偏移下性能下降幅度最多减少 4 倍。
SAYO 是一种视觉推理模型,利用强化学习框架引入区域级视觉注意力奖励,解决多模态大模型视觉焦点薄弱及错误传播问题。 该模型在多个多模态基准测试中,持续提升了多样化推理与感知任务的性能表现。
针对多目标强化学习中目标冲突导致的样本效率低问题,提出路由集成策略学习与核代理轨迹归因算法。 路由集成将轨迹动态路由至高奖励策略,在 Meta-World 等在线环境中性能较基线提升 4.3%;核代理归因法捕捉轨迹间非线性交互,使留一法分析相关性提升 50%,轨迹选择奖励提升 27%。 该论文发表于 NeurIPS 2026,为解决对齐与机器人控制中的多目标平衡提供了新框架。
针对 GRPO 训练中验证器被作弊利用的问题,提出低通过预算审计(LB)策略,通过优先审计弱通过最少的组并惩罚被抓作弊样本,有效抑制奖励作弊。 在 LeetCode 和 Countdown-Code 任务中,LB 策略将作弊率降至接近零,而同等预算的随机审计无效;此外,该策略比无偏校正方法在留出集准确率上高出 6.1-11.8 分,且仅需使用完整审计 28% 的标签量。
RAINFALL 结合 LLM 与符号验证,在 358 个 C 程序基准中求解 323 个排序函数,成功率 90.22%。 采用 MiniMax V2.7 执行代码补全任务,比最优基线 PROTON 2.1 多解 12 个程序;组合使用成功率达 96.65%。 框架为 LLM 辅助合成可形式化验证的活性证明证书提供了通用路径。
该论文提供首个联合覆盖LEO卫星分布式训练、协同推理及LLM在轨适配的综述,旨在解决AI算力受限下的卫星智能化部署难题。 文中详细阐述了联邦学习与分割学习如何实现星地协同训练,以及多种协同推理架构满足实时服务需求,同时探讨LLM在轨服务的资源感知机制。 这项研究构建了太空原生AI技术的实施路线图,为克服卫星网络动态拓扑与SWaP约束提供了设计原则。
提出UTA学习率衰减(LRD)方法,将其视为闭环形状与尺度问题,实现分段最优形状与训练状态自适应。 在LLaMA(60M至1B参数)及ResNet50、ViT-B模型上验证,具备即插即用优势且开销可忽略。 广泛的消融研究证实了UTA在峰值学习率、最终衰减比及参数φ₀等维度上的鲁棒性。
研究显示在神经网络的 Grokking 现象中,权重矩阵的有效秩压缩跟随泛化起始而非记忆过程。Transformer 模型在测试准确率达 95% 后约 900 步内出现最陡的秩下降,且强制降低秩会延迟甚至阻止 Grokking,表明秩压缩是现象的标志而非原因。
该研究利用共享 Transformer 架构,在保持路网强连通的前提下实施动态车道分配与限速控制,将每日交通延误降低 90%。 模型采用 GERASTSA 注意力机制并经由近端策略优化微调,相比固定配置大幅减少更新次数;移除关系偏差会导致延误增加约 5 倍。
该研究证明在逐实体坐标系下,不变注意力分数仅依赖于范数及传输内积。 17/17 拟合种子在最小宽度下通过长度 1000 测试,而两倍宽度下为 7/18。 在 CLUTRR 解析任务中,传输组合比匹配 Transformer 高出 41 分。
Waypoint 是一个解析模型,能自动识别给定硬件和矩阵形状下的最优 GEMM tile size。 该模型通过捕捉内存层级、指令级并行和多线程等架构效应来估算性能。 基于 Waypoint 构建的 GEMM 库 OPAM 在 CPU 上加速 LLM 推理,实现 1.36 - 1.98 倍提速。
研究者提出 SPARTA 稀疏三值 LLM 加速器,专为长上下文边缘推理设计,通过统一数据通路和自适应注意力引擎解决内存带宽瓶颈。 该系统在 1.58-bit 三值权重下,将 KV 缓存流量较全注意力减少 4.1-4.8 倍,较现有稀疏注意力方案减少 1.3-1.5 倍,支持预填充与解码阶段的异构稀疏性优化。
新提出的免训练方法 Thinking-in-Bets 通过记录声明清单,在用户质疑前保护 LLM 智能体的正确工作成果。 该方法在五个 Gemini 模型和八个基准测试中评估,显示记录声明可近乎消除补丁审查中的错误逆转,并在不确定时门控记录能降低 token 开销。
研究团队提出GRASP框架,在医疗VQA任务中结合RL和SFT,仅需LoRA微调约1%参数,在Qwen3-VL-8B等模型上实现域内与OOD问答性能超越现有方法。
该 CNN-ViT 模型在内部卒中数据集上取得 95.48% 的 F1 分数,多中心外部验证 F1 分数下降至 58%-62% 区间。 内部高分受硬件噪声干扰,模型缺血性卒中敏感性仅 57%,易误诊为出血性卒中;DenseNet201+ViT 骨干多随机种子方差最低(0.59),稳定性最高。 研究强调未来需结合 3D 体积提取与临床数据的多模态架构,以解决内部验证假象问题。
提出 DoubleFree 框架,复用领域强化学习的历史轨迹实现无 Rollout 的多任务 LLM 整合训练。 在 Qwen3 和 SmolLM3 模型上,DoubleFree 将整合速度提升 2.99-5.75 倍,降低 80.9-90.1% 的 GPU 小时消耗。 该方法对现有后训练框架仅需最小改动即可显著降低系统成本,同时保持相当的多领域性能。
研究人员提出选择性残差适应(SRA)框架,用于增强大语言模型推理。 SRA 通过差异门和候选残差适配器校准 top-$K$ logit,无需运行时教师计算。在 Qwen3 0.6B 至 4B 数学基准测试中,SRA 将平均 Pass@1 提升高达 4.37 个百分点。
针对在线策略自蒸馏中教师模型因参考条件导致的参考幻觉和重新思考抑制问题,研究者提出了引导教师方法ST-OPSD。 该方法从推理轨迹中提取两个方向,在计算蒸馏目标时调节教师隐状态,抑制引用不可用参考的行为并鼓励在不确定步骤重新验证,学生模型则直接从未受引导的分布中学习。
层级 AL-RNN 同时在 100 项认知任务上训练,性能随非线性容量和任务特征维度增加而提升。层级联合模型优于独立训练模型和无结构联合模型。许多任务单独用线性动力学可解,但共享线性模型无法同时解决。
研究人员提出误差子空间校准(ESCal)框架,通过识别专家模型与合并模型权重差异中的低维误差子空间,进行合并后校准以减小性能差距。 该机制在每个中间块边界利用桥接模块将表示投影至误差子空间,仅学习线性映射以保持参数效率,子空间基保持不变。 实验显示,ESCal 使用少量校准集即可在视觉和自然语言理解基准上提升多种架构及合并方法的性能,使合并模型在表示和预测上更接近专家模型。
论文建立经济模型评估大语言模型在 SOC 中的 ROI,通过蒙特卡洛模拟计算盈亏边界与 Value at Risk。 该模型平衡由准确率驱动的生产力增益与 API、自托管及错误修复成本。分析表明多数配置不具备盈利性,盈利仅限于高准确率、低不确定性部署。 为机构提供了量化依据,支撑基于证据的采用决策。
AGQ方法在LIBERO基准上实现W3量化92.7%任务成功率,超AWQ和GPTQ分别1.2和3.7个百分点,并支持W2.5量化70.5%成功率。 该方法结合动作敏感度与权重恢复成本代理指标分配矩阵比特宽度,采用非对称W1.5*配置实现6.10倍完整模型压缩,维持25.5%任务成功率。
首个自动化管线实现了 LLM 设计黑盒优化算法,并在 Lean 中完成其预期运行时的机器验证。 Agent 针对 CycleUncover 问题提出了 $O(n^2)$ 算法,优于基线的 $e^{\Omega(n)}$;在 8 个问题类中,15 次运行有 12 次成功产出有效证明。 消融实验表明分阶段方法优于零样本生成,Lean 规范可替代开放式算法发现的实证评估。
研究发现,尽管 Agentic RL 导致推理轨迹发生显著偏移,但“更稳定的轨迹更可能产生正确回答”这一可靠性结构在 Base 和 RL 模型间得以保留。 基于此,作者提出 StaR-TTA 框架。
该综述针对大模型驱动的递归自我改进(RSI)提出操作性定义,构建四主题可信框架。涵盖改进有效性、约束保持及有效监督视角,分析从提议生成到更新实施的完整流程。旨在识别独立与纵向评估需求,解决验证结果失效及人为监督弱化的开放挑战。
研究提出诊断协议,通过对比逐节点网络等参照模型,揭示GNN优势主要源于参数共享而非图结构。在英国低压馈线数据中,参数共享恢复了约三分之二误差差距;图结构增益在重连测试中消失过半。 在客户序列短窗口数据中,邻域均值反而降低逐节点模型性能。作者建议仅在对比参照模型后,才将预测增益归功于图结构。
最多提供 50 页,更早的内容请使用搜索或主题页。