跳到正文
11月3日周二
  1. arXiv · ML21

    可解动力学模型揭示上下文学习机制

    研究基于单层单头线性注意力模型,精确求解了参数动力学,阐明记忆与泛化如何从学习中涌现。 该工作将动力学与训练及泛化误差关联,并计算数据依赖的自由能量以预测长时极限下的误差。 此成果为从学习动力学视角理解上下文学习机制提供了新见解。

  2. arXiv · ML38

    从粗粒度观测生成预测:级联预测何时有效

    研究利用层级生成参考数据评估概率预测模型在粗粒度观测下的表现。 发现标准扩散模型和随机插值器存在显著分布误差,级联短程预测在湍流和波浪中能大幅降低误差。 提出了可解析的解析模型,表明最优级联深度取决于未分辨尺度与观测尺度间的耦合强度及预测依赖性。

  3. arXiv · ML21

    十亿参数规模下桥接奇异学习理论与机制可解释性

    研究建立奇异学习理论与机制可解释性的数学对应,证明两者均为参数-预测映射的函数,并在 Pythia-1B 模型上验证。 在 Dyck 括号匹配任务中测试 154 个训练检查点,发现 Fisher 信息量随因果效应变化,中位数偏秩相关系数达 0.51。 该工作首次在大模型尺度统一了基于局部几何理论与干预电路分析,为理解模型内部机制提供量化基础。

  4. arXiv · ML39

    L2RR方法解决强化学习中数据分布不匹配问题

    L2RR通过优化双层目标显式纳入目标侧性能反馈,改进GRPO在源提示上的离散采样分布。 实验在六个数学推理基准和三种模型规模上验证,L2RR提升了目标域性能并提高了rollout效率。 该方法解决了法律或隐私限制下无法共享目标提示的问题,对RLVR训练具有实用价值。

  5. arXiv · ML22

    TabAbax:表格基础模型技术报告

    TabAbax基于TabICLv2构建,重点优化合成预训练先验与列行编码器,以增强上下文预测能力。 BeyondArena回归基准142数据集Elo达1238;TabArena整体Elo 1676(较TabICLv2提升115),回归基准Elo 2024(提升336),证实先验质量是提升回归性能的关键因素。

  6. arXiv · ML22

    VoirDire: LLM 评委聚合的假设校准方法

    VoirDire 提出一种面向 LLM 评委面板的干预校准聚合方法,通过控制表面特征变化识别并抑制偏差方向,以增强共识可靠性。 在 12 个数据集上的评估显示,该方法在连续评分任务中最大降低 26.8% 的 MAE,在二分类与偏好任务中准确率最高提升 5.3 个百分点。

  7. arXiv · ML31

    组合式自我提升:潜力与陷阱

    研究系统评估了利用组合结构生成监督信号以实现模型自我提升的有效性,并在编码和推理任务中验证了该方法。实验识别出三个主要失败模式:子问题预测不可靠、组合引入误差以及监督覆盖范围有限。 尽管存在局限,短程监督微调(SFT)预热结合组合式自我提升能够引导强化学习,特别是在模型已具备相关技能且直接探索成功率低的任务上。

  8. arXiv · ML31

    统计推断下的执行性:从政策反馈到自进化系统

    研究团队提出针对执行性(Performativity)的端到端统计推断框架,证明忽略不确定性传播会导致重复重训练后置信区间覆盖率严重不足。 该框架为重复风险最小化建立了中心极限定理,推导了捕捉当前采样变异与历史部署继承不确定性的协方差递归,并开发了基于策略扰动的一致协方差估计器。 此工作为自决定数据分布的学习系统提供了统计工具,扩展了预测驱动推断至动态设置,提升统计效率。

  9. arXiv · ML31

    面向权重异常值与稀疏性的大模型量化方法研究

    该论文提出一种结合量化、低秩与稀疏分解的PTQ方法,利用模拟退火优化以补偿量化误差,显著降低大模型部署的内存负担。 实验在Llama 3.2 1B/3B、Llama 3.1 8B及Qwen2.5 7B上验证,使用4-bit NF4和FP4量化器,结果显示该方法在自然语言生成基准上明显优于直接量化,且内存开销极小。

  10. arXiv · AI33

    Reasoning Consensus 提出加权 DAG 聚合 LLM 推理

    Reasoning Consensus 将 LLM 链式推理提取为类型化图,合并跨模型等价步骤并按支持数加权。在覆盖法律、科学等 7 个基准测试中,其准确率 69.4%,与多数投票和辩论持平。用户研究显示参与者阅读其图表更快,18 人中有 14 人偏好在未来使用该方法。

  11. arXiv · AI33

    MOPDA:面向语言引导工业异常检测的混合轨迹在线蒸馏框架

    论文提出MOPDA,这是首个将在线自蒸馏引入基于LVLM的工业异常检测(IAD)的框架。 该框架包含“混合轨迹监督”和“语言引导视觉锚定”两个核心模块,分别用于判断学习和密集定位。 在五个IAD基准测试的跨数据集零样本评估中,MOPDA在多数检测、定位和判断指标上优于现有基于LVLM的基线模型。

  12. arXiv · AI21

    SemFlowRAG:基于有向语义流解决知识图谱检索中复杂推理难题

    SemFlowRAG 提出了一种将平坦检索空间重构为语料自适应语义梯度图的框架。 通过量化语义抽象性并设计抽象度引导的有向 PageRank 算法,强制检索轨迹沿“高到低语义抽象度”梯度行进。 实验证明该框架有效缓解了高抽象概念节点导致的“概率黑洞”问题,在检索及下游推理性能上优于现有基线模型。

  13. arXiv · AI30

    TRACER: 生成式推荐中的概念遗忘 Token 重分配框架

    TRACER 是一种基于 Token 重分配的端到端概念遗忘框架,专用于生成式推荐系统。 它通过将概念相关项目重新分配到替代 Token,在有效移除目标概念的同时,利用一致性正则化器保留语义一致性,比现有基线更好保持推荐效用。 该框架解决了语义 ID 共享导致概念移除与推荐效用保留之间冲突的问题。

  14. arXiv · AI30

    LEAD:面向大语言模型的长度高效自适应动态推理方法

    LEAD 方法通过在线自适应机制替代静态启发式,在五个数学推理基准测试中取得了 RL 训练的高效推理方法中最高的准确度和准确度效率分数,同时生成的输出长度显著短于基础模型。 该方法利用“势标度的不稳定性”在训练步骤中动态校准正确率与效率的权衡,并基于模型自身正确推理在线估算每个问题的目标长度。 LEAD 对称效率奖励同时惩罚过度思考与过度压缩,解决了传统方法中正确率退化与压缩不足并存的难题。

  15. arXiv · AI32

    权重 Gram 矩阵捕捉深层网络中的特征序贯线性化

    研究提出“特征学习方程”,指出权重 Gram 矩阵是捕捉特征动态的关键对象。 通过定义“虚拟协方差”和“目标线性度”,揭示了深层网络在训练中对表示进行序贯线性化的机制。 该视角统一解释了 Neural Collapse 及生成模型中的线性插值现象,论文已被 NeurIPS 2026 收录。

  16. arXiv · AI27

    ECR 实现紧凑语言模型持久语义路由的嵌入一致性调节

    ECR 通过冻结嵌入模型生成短离散前缀,实现 99.93% ± 0.12% 语言路由准确率,显著优于 34-36% 的随机控制基线。 该指标无法被似然(NLL)可靠捕获,且路由可恢复性在多语言、无监督分区及低精度场景中依然保持。 研究确立了路由持续性作为独立于任务性能和似然的显著且可测量属性。

  17. arXiv · AI28

    PrismServe 异构加速器集群上高效 LLM 服务系统

    PrismServe 结合请求级协作与量化专家混合,在 48 个三厂商加速器上服务 Qwen3-14B 时,吞吐量达跨节点部署的 2.0-2.6 倍,P99 每 token 时间减少 55-65%。 该系统基于未修改的 vLLM 实现,两级路由器依据预测响应质量选择专家,并按负载和前缀缓存局部性选择副本,在 Qwen3-8B/14B/32B 的 5 个下游任务中精度接近全精度。

  18. arXiv · AI38

    Generative Logic:一种用于自动数学推理的确定性架构

    Generative Logic (GL) 是一种确定性计算机架构,旨在自动化数学推理,通过编译公理定义并在演绎邻域中探索生成猜想。 GL 能够推导 Peano 算术基本定律和高斯求和公式,并基于给定猜想构建算术基本定理(FTA)的证明。 这些证明被导出至 Lean 4 并经过内核检查,验证了该架构在形式化验证中的有效性。

  19. arXiv · AI23

    图谱修复系统的形式化诊断框架

    论文提出图谱修复形式化诊断框架,通过抽象重写系统从合规图谱引入违规,确保约束可证覆盖。 方法应用于基于大语言模型的修复手段,多指标评估显示其有效区分不同算法在各类约束下的性能。 结果突显细粒度系统化工具在图谱修复领域的重要性。

  20. arXiv · AI20

    多神经元凸松弛在神经网络认证中的表达力:首个严格分析及通用凸屏障证明

    本文首次严格分析多神经元凸松弛的表达力,证明即使针对有限神经元和层最优分配资源,其本质仍不完备,将单神经元凸屏障扩展为通用凸屏障。 作者指出可通过增加多项式数量的 ReLU 神经元或将输入域划分为凸子多面体实现完备性,从而区分多神经元与单神经元方法。该研究为多神经元松弛方法奠定基础,指引了面向认证鲁棒性的新训练与验证方向。

  21. arXiv · AI38

    FRAG 预测 LLM 重学习鲁棒性:遗忘-保留对齐缺口比距离更有效

    论文提出无训练预测器 Forget-Retain Alignment Gap (FRAG),通过评估更新中遗忘关键权重与保留关键权重的对齐程度,比全局权重位移更可靠地预测 LLM 机器遗忘的鲁棒性。 研究基于遗忘关键、保留友好的原则,提出 Forget-Retain Pruning (FRP) 技术以增强模型抗重学习能力,结果表明权重选择性比单纯距离更能解释鲁棒性。

  22. arXiv · AI32

    ReLAT 如何在潜层推理中通过测试时重建闭合回路

    研究者提出自监督测试时训练方法 ReLAT,利用查询本身作为参考,通过可微的重建循环闭合潜层推理回路。 该方法在 Qwen 系列模型的数学推理、知识问答和代码生成基准测试中表现优于多种基线。在 Qwen3-8B 上,ReLAT 将 AIME 2024 准确率从 56.7% 提升至 73.3%。

  23. arXiv · AI31

    RoRo:基于评分标准的步骤级模型路由过程奖励框架

    提出RoRo框架,利用基于评分标准的奖励优化大型推理模型(LRM)的步骤级模型路由,解决仅使用结果奖励无法评估中间路由决策的问题。 框架通过交替优化生成查询特定的评估标准并打分,结合结果奖励使用GRPO优化路由策略。 实验显示,RoRo在五项推理基准测试中优于强基线,实现了更优的准确性与成本平衡。