跳到正文
10月28日周三
  1. arXiv · AI20

    CoCo-LoRA:用于多模态不确定性估计的上下文贝叶斯 PEFT 方法

    提出多模态 PEFT 方法 CoCo-LoRA,将音频作为上下文信号条件化低秩空间的不确定性,而非融合特征流。 该方法通过池化音频嵌入投影至共享上下文空间,结合局部文本适配器特征,实现轻量级异方差不确定性建模,在多任务评测中匹配或超越纯文本基线。 在低资源多模态预测任务中,CoCo-LoRA 提供了稳健且参数高效的替代方案。

  2. arXiv · AI21

    大语言模型在算术泛化中的长期延迟机制

    研究揭示大语言模型在多位算术上泛化延迟(grokking)受数字基数影响。在进位仅依赖当前位的基数下,Transformer 所需训练整数数量显著减少。 通过一步 Collatz 预测实验验证了上述规律,该结构也适用于整数除法及 decoder-only 模型。该研究在 NeurIPS 2026 Workshop 被接受,表明数制选择可预先预测样本效率。

  3. arXiv · AI23

    EOPSA:高效在策略自蒸馏安全对齐方法

    EOPSA 提出一种高效在策略自蒸馏安全对齐框架,将推理计算量减少约 50%,且仅对约 2% 的 token 进行反向传播,在保持 32B 参数规模模型推理能力的同时提升安全合规性。 该方法通过自适应 rollout 调度和选择性蒸馏,排除风格漂移导致的无效梯度噪声,确保计算资源集中于安全关键 token。代码和模型已在项目仓库开源。

  4. arXiv · AI32

    Forecast-Dojo:用于 LLM 预测智能体基准测试与训练的实时回放环境

    研究者推出 Forecast-Dojo 可回放环境,包含 1,568 个 Polymarket 事件及 1880 万篇新闻,用于 LLM 预测智能体的评估与训练。 跨 12 个模型测试发现,研究工具能提升预测性能,且所有模型表现均落后于历史市场预测。基于该环境微调 Qwen3-30B-A3B-Thinking-2507,其评估集准确率从 34.8% 提升至 42.8%。

  5. arXiv · AI40

    多智能体决策中 LLM 上下文学习机制:递归推理还是统计外推?

    研究通过构建公共品博弈实验,发现 LLM 智能体在历史统计模式被破坏时,长上下文的决策优势消失,其表现回归无上下文基线。 实验表明,随着策略互依性增强,决策质量退化加剧,证明当前 ICL 行为更符合统计外推而非递归信念推理。 该工作将 ICL 机制研究扩展至多智能体策略环境,并引入理性预期均衡作为区分推理与外推的诊断工具。

  6. arXiv · AI24

    Counterfactual Latent World Models (CLWM) 在部分可观测下的具身反事实推理

    CLWM 通过反事实对比目标解决预训练编码器导致的“反事实坍缩”,使模型能区分视觉相似但行为后果不同的干预。 在遮挡操作和混淆导航任务中,规划成功率分别提升至 74.6% 和 78.9%,延迟厨房场景的失败率降低至 9.7%。 该方法建立的表征无关指标可审计任意编码器,为具身智能体的动作规划提供了可靠保障。

  7. arXiv · AI45

    大语言模型拒答中的对称性破缺:答案释放比拒答恢复更具局部性

    研究发现大语言模型拒答存在因果不对称性,即“破缺对称性”。即使模型输出拒答,正确答案仍可从隐藏状态线性恢复。 释放被隐藏答案仅需单位置干预,而重新施加抑制需多位置广泛干预,重构连贯拒答序列难度更高。 这表明拒答并非简单对称开关,探针可恢复性可能高估真实行为控制力,定位拒答相关方向无法可靠引导模型从作答转向拒答。

  8. arXiv · AI33

    AlphaCNOT 结合 MCTS 与 RL 实现 CNOT 门最小化

    AlphaCNOT 提出基于蒙特卡洛树搜索(MCTS)的强化学习框架,解决 CNOT 门最小化问题。 在基于线性可逆综合(Linear Reversible Synthesis)任务中,相比 Patel-Markov-Hayes(PMH)基线,该方法实现了最高 24.62% 的 CNOT 门数量削减,在支持至 8 个量子比特的不同拓扑结构中均表现更优。

  9. arXiv · AI33

    LLM 言语化置信度:置信度尺度设计如何揭示元认知机制

    研究发现,LLM 的言语化置信度受刻度设计显著影响,0-20 尺度比标准 0-100 尺度更能提升元认知效率。 在六个 LLM 和三个数据集的测试中,78% 以上响应集中在三个整数上;边界压缩会降低性能,而偏好整数的现象在非常规范围内仍然存在。 这项研究强调置信度刻度设计应作为 LLM 评估中的一类实验变量。

  10. arXiv · AI28

    CAFE:结合多智能体强化学习与因果引导的自动特征工程

    论文提出 CAFE 框架,将自动特征工程(AFE)重构为因果引导的顺序决策过程,结合因果发现与强化学习。 该框架分两阶段:先学习稀疏有向无环图获取软因果先验,再用级联多智能体深度 Q 学习选择因果组及算子。 在 15 个基准上显著优于最强 AFE 基线(Wilcoxon p<0.001),在分布偏移下性能下降幅度最多减少 4 倍。

  11. arXiv · AI38

    路由集成与轨迹归因方法在多目标强化学习中的应用

    针对多目标强化学习中目标冲突导致的样本效率低问题,提出路由集成策略学习与核代理轨迹归因算法。 路由集成将轨迹动态路由至高奖励策略,在 Meta-World 等在线环境中性能较基线提升 4.3%;核代理归因法捕捉轨迹间非线性交互,使留一法分析相关性提升 50%,轨迹选择奖励提升 27%。 该论文发表于 NeurIPS 2026,为解决对齐与机器人控制中的多目标平衡提供了新框架。

  12. arXiv · AI30

    GRPO 中预算受限强验证器审计以抑制奖励作弊

    针对 GRPO 训练中验证器被作弊利用的问题,提出低通过预算审计(LB)策略,通过优先审计弱通过最少的组并惩罚被抓作弊样本,有效抑制奖励作弊。 在 LeetCode 和 Countdown-Code 任务中,LB 策略将作弊率降至接近零,而同等预算的随机审计无效;此外,该策略比无偏校正方法在留出集准确率上高出 6.1-11.8 分,且仅需使用完整审计 28% 的标签量。

  13. arXiv · AI30

    LEO星座中的分布式训练、协同推理与LLM适配:低轨卫星智能综述

    该论文提供首个联合覆盖LEO卫星分布式训练、协同推理及LLM在轨适配的综述,旨在解决AI算力受限下的卫星智能化部署难题。 文中详细阐述了联邦学习与分割学习如何实现星地协同训练,以及多种协同推理架构满足实时服务需求,同时探讨LLM在轨服务的资源感知机制。 这项研究构建了太空原生AI技术的实施路线图,为克服卫星网络动态拓扑与SWaP约束提供了设计原则。

  14. arXiv · AI36

    UTA: 通用训练自适应学习率衰减

    提出UTA学习率衰减(LRD)方法,将其视为闭环形状与尺度问题,实现分段最优形状与训练状态自适应。 在LLaMA(60M至1B参数)及ResNet50、ViT-B模型上验证,具备即插即用优势且开销可忽略。 广泛的消融研究证实了UTA在峰值学习率、最终衰减比及参数φ₀等维度上的鲁棒性。

  15. arXiv · AI28

    Grokking 中的子空间结晶化:秩压缩跟踪相变

    研究显示在神经网络的 Grokking 现象中,权重矩阵的有效秩压缩跟随泛化起始而非记忆过程。Transformer 模型在测试准确率达 95% 后约 900 步内出现最陡的秩下降,且强制降低秩会延迟甚至阻止 Grokking,表明秩压缩是现象的标志而非原因。

  16. arXiv · AI21

    SPARTA:面向长上下文边缘推理的稀疏三值 LLM 加速器

    研究者提出 SPARTA 稀疏三值 LLM 加速器,专为长上下文边缘推理设计,通过统一数据通路和自适应注意力引擎解决内存带宽瓶颈。 该系统在 1.58-bit 三值权重下,将 KV 缓存流量较全注意力减少 4.1-4.8 倍,较现有稀疏注意力方案减少 1.3-1.5 倍,支持预填充与解码阶段的异构稀疏性优化。

  17. arXiv · AI25

    CNN-ViT 交叉注意力融合模型在急性卒中分类中的多中心外部验证

    该 CNN-ViT 模型在内部卒中数据集上取得 95.48% 的 F1 分数,多中心外部验证 F1 分数下降至 58%-62% 区间。 内部高分受硬件噪声干扰,模型缺血性卒中敏感性仅 57%,易误诊为出血性卒中;DenseNet201+ViT 骨干多随机种子方差最低(0.59),稳定性最高。 研究强调未来需结合 3D 体积提取与临床数据的多模态架构,以解决内部验证假象问题。

  18. arXiv · AI31

    DoubleFree:利用探索历史实现无 Rollout 的多任务 LLM 训练

    提出 DoubleFree 框架,复用领域强化学习的历史轨迹实现无 Rollout 的多任务 LLM 整合训练。 在 Qwen3 和 SmolLM3 模型上,DoubleFree 将整合速度提升 2.99-5.75 倍,降低 80.9-90.1% 的 GPU 小时消耗。 该方法对现有后训练框架仅需最小改动即可显著降低系统成本,同时保持相当的多领域性能。

  19. arXiv · AI33

    引导教师:通过激活引导提升思考模型在线策略自蒸馏效果

    针对在线策略自蒸馏中教师模型因参考条件导致的参考幻觉和重新思考抑制问题,研究者提出了引导教师方法ST-OPSD。 该方法从推理轨迹中提取两个方向,在计算蒸馏目标时调节教师隐状态,抑制引用不可用参考的行为并鼓励在不确定步骤重新验证,学生模型则直接从未受引导的分布中学习。

  20. arXiv · AI26

    多任务模型合并中的误差子空间校准方法 ESCal

    研究人员提出误差子空间校准(ESCal)框架,通过识别专家模型与合并模型权重差异中的低维误差子空间,进行合并后校准以减小性能差距。 该机制在每个中间块边界利用桥接模块将表示投影至误差子空间,仅学习线性映射以保持参数效率,子空间基保持不变。 实验显示,ESCal 使用少量校准集即可在视觉和自然语言理解基准上提升多种架构及合并方法的性能,使合并模型在表示和预测上更接近专家模型。

  21. arXiv · AI23

    基于 ROI 与 VaR 的 LLM 在 SOC 部署的经济评估模型

    论文建立经济模型评估大语言模型在 SOC 中的 ROI,通过蒙特卡洛模拟计算盈亏边界与 Value at Risk。 该模型平衡由准确率驱动的生产力增益与 API、自托管及错误修复成本。分析表明多数配置不具备盈利性,盈利仅限于高准确率、低不确定性部署。 为机构提供了量化依据,支撑基于证据的采用决策。

  22. arXiv · AI49

    首个自动化管线在 Lean 中设计进化算法并机器验证其运行时界

    首个自动化管线实现了 LLM 设计黑盒优化算法,并在 Lean 中完成其预期运行时的机器验证。 Agent 针对 CycleUncover 问题提出了 $O(n^2)$ 算法,优于基线的 $e^{\Omega(n)}$;在 8 个问题类中,15 次运行有 12 次成功产出有效证明。 消融实验表明分阶段方法优于零样本生成,Lean 规范可替代开放式算法发现的实证评估。

  23. arXiv · AI27

    电力负荷预测中GNN的诊断协议:区分参数共享与邻域访问

    研究提出诊断协议,通过对比逐节点网络等参照模型,揭示GNN优势主要源于参数共享而非图结构。在英国低压馈线数据中,参数共享恢复了约三分之二误差差距;图结构增益在重连测试中消失过半。 在客户序列短窗口数据中,邻域均值反而降低逐节点模型性能。作者建议仅在对比参照模型后,才将预测增益归功于图结构。

最多提供 50 页,更早的内容请使用搜索或主题页。