跳到正文
10月28日周三
  1. arXiv · AI33

    LISA: 用于高效长上下文推理的线性索引稀疏注意力

    LISA 提出一种即插即用的自注意力替代方案,将长链式思维推理的计算复杂度从序列长度的二次方降低为线性。该方法结合线性注意力分支与 Lightning Indexer,通过动态稀疏选择优化计算资源分配。 在基于 Qwen 的实验中,LISA-1.5B 模型在 16K 上下文下将平均样本延迟降低 23.9%,同时在九项数学与代码推理基准测试中,其平均准确率比全注意力基线提升 4.2 个百分点。

  2. arXiv · AI25

    IEO框架:数据驱动维护优化中预测学习与决策目标对齐

    提出的Integrated Estimate-Optimize (IEO)框架将维护成本直接设为预测学习目标,优于传统Estimate-Then-Optimize (ETO)方法。 实验显示IEO将平均维护成本降低14.8–22.7%,失败率和成本方差显著减少,尽管预测误差更高。 这种对齐在计划与非计划停机成本比升高时效果更明显,支持预测学习与维护目标直接挂钩。

  3. arXiv · AI27

    GAS-PFN:一种基于图感知时空先验数据拟合网络的零样本交通预测方法

    研究者提出GAS-PFN,将随机游走扩散融入合成任务先验以学习图耦合动力学,实现零样本交通预测。 在90分钟预测时长的六个基准测试中,GAS-PFN的平均MSE较TimePFN降低34.0%,较四款工业界通用零样本预测器降低27.7%。 该设计表明使PFN先验与推理架构对齐图结构能提升零样本交通预测的上下文学习能力。

  4. arXiv · AI33

    结构鸿沟:更多数据为何无法替代结构化推理

    论文指出“结构鸿沟”:在有限数据下,仅靠示例学习的性能无法匹配拥有显式结构知识的求解器。 文章在 Gauss 反问题中证明,基于结构的 Wiener 求解器能达到 Bayes 风险,而仅用数据的学习者存在持续期望超额风险。 该研究通过控制实验验证,已知结构能在学习前约束假设空间,提升小样本下的泛化与可认证性。

  5. arXiv · AI30

    MoE 解码的 Channel Selection 无需校准数据

    研究证明混合专家模型(MoE)解码中的通道选择无需校准数据。Top-k 方法在 13% 和 18% 预算下,于 43 次对比中的 40 次表现优于或等于阈值法。 该方案在 Gemma 4 上避免了循环崩溃,且基于权重的读取器在 17.8% 的读取率下保留了 98.1% 的完整模型精度。Triton kernel 在批量为一时比 vLLM 快 1.60 至 1.90 倍。

  6. arXiv · AI27

    探索Delta学习假设的局限:直接偏好优化中单模型对生成器偏差

    研究证明,直接偏好优化(DPO)中基于单模型对的Delta学习假设会引入依赖生成器的系统性偏差,导致训练效果低于多模型数据。 实验发现,即使大模型响应质量更高,单对数据仍因奖励黑客(reward hacking)导致表现不佳;增加生成器数量可部分缓解此效应。 结果强调生成器多样性是构建偏好数据的关键因素。

  7. arXiv · AI32

    LearnPrunerV2:面向视觉-语言模型的可学习渐进式 Token 剪枝

    该论文提出 LearnPrunerV2,通过引入可学习模块与影子 token,解决现有 Token 剪枝中判据不可靠及调度僵化的问题,在 LLaVA-v1.5 上剪枝 77.8% 视觉 token 仍保留 99.8% 性能。模型通过 Budget-Deterministic Pruning 建立硬件友好的固定每层预算调度,并在多个基准测试中持续超越先前最先进方法。

  8. arXiv · AI25

    Select-TTT:用于原位测试时训练的查询条件化选择性快速权重更新

    论文提出 Select-TTT,一种模型无关的查询条件化规则,通过缩放写入强度解决 In-Place TTT 中无关内容稀释相关信息的缺陷。 该规则直接利用冻结输出头计算查询相关性,经温度缩放 softmax 生成学习率乘数,无需额外参数或监督。 Select-TTT 在两个基准和两个骨干模型上持续提升长上下文问答性能,对长时序代理任务具有潜在价值。

  9. arXiv · AI21

    保守博弈带徒:基线约束下的偏好学习

    研究提出保守博弈带徒算法,要求每轮较好选项累计得分高于可信基线 $(1-\alpha)$ 比例。 针对线性效用开发 MaxInP-BC,以 $\tilde{O}(d\sqrt{T}/\kappa)$ regret 实现高概率安全;通用效用类开发 BTIGW-BC,将在线逻辑回归 oracle 保证转化为累积安全证书,确保有限次回退且 regret 亚线性。

  10. arXiv · AI33

    ClaimNov 评估 AI 科学家如何识别新颖性

    研究人员提出细粒度可解释的 ClaimNov 模块,用于识别 AI 科学发现中的新颖性。该模块在 1.5% 的误报率下拦截了 97% 的伪装论文。 相比最强现有检查工具,ClaimNov 的声明级新颖性分析将 LLM 评委的误报率从 11.8% 降至 1.5%,并保留了 91% 含有拼接先验贡献的新颖提案。

  11. arXiv · AI25

    BUSTA:通过逆向基础块执行教会小语言模型推理二进制行为

    研究人员发布 BUSTA 框架,通过逆向基础块执行训练小语言模型,使其在资源受限环境中处理逆向工程任务。 使用 GRPO 对 Qwen3-1.7B 和 Nemotron-3-Nano 微调后,已知寄存器预测准确率分别升至 85.3% 和 95.2%。 细调后的 Nemotron-3-Nano 性能接近前沿模型最高分 99.2%,参数量大幅减少。

  12. arXiv · AI44

    基座模型可检测提示词分类器遗漏的隐藏意图

    研究提出一种名为PHLE的方法,通过评估基座模型对输出的似然来解码潜意识信号。 该方法能区分带有“爱猫头鹰”或“爱鹰”提示的数字串,以及移除显性对齐缺陷后隐藏伤害用户意图的回答,而提示词分类器表现接近随机猜测。 PHLE在Qwen和Olmobase模型间部分有效,为Persona Selection Model提供了证据,可用于审计模型隐藏目标。

  13. arXiv · AI30

    AgentBaton 如何实现高效的多模型协同任务

    AgentBaton 采用“强模型到高效模型”的接力策略,在 11 个模型组合及两个基准测试中,平均降低 65.9% 的 API 成本,任务准确率基本保持甚至提升最高 8.8 个百分点。 该轻量级检测器通过识别任务进度中的重复模式,决定何时从强模型切换至高效模型,优化了成本与准确度的帕累托边界。

  14. arXiv · AI25

    因果建模分析思维链忠实度评估中的正确性条件选择偏差

    研究通过七变量结构因果模型分析思维链(CoT)忠实度评估中限制于正确回答实例产生的选择偏差,推导了观测差距公式。 对18篇论文进行协议审查,并在四个算术任务部署中验证了正向选择差距,其中 GLM-5.3 模型在1000个样本下显示出 +7.4 个百分点的差距。 当反事实依从性可观察时,直接评估所有推理轨迹可估算总体忠实度,无需进行正确性过滤。

  15. arXiv · AI35

    研究揭示 LLM 可靠批改奥林匹克数学证明的能力局限,提出 MABGrader 框架

    研究提出用于大规模生成高保真对抗性证明的 TROJAN 流水线,并构建了包含专家评分的 USAMO 2025 候选答案数据集。 评测覆盖 20 个模型、7 项指标及 3 种推理方法,显示前沿模型在验证数学证明方面仍有较大提升空间。 提出的 MABGrader 多臂老虎机框架在二次加权 Kappa 指标上比 SOTA ProofGrader 高 26.4%,并将评分误差降低 14%。

  16. arXiv · AI33

    程序重构下的 LLM 生成证明稳定性压力测试

    RefactorProof 发现 LLM 生成证明在程序重构后表现脆弱,结构 PSR 介于 4.3% 至 26.8% 之间。 测试基于 458 个 Lean 变体,DeepSeek-Prover 和 Goedel-Prover 表现优于参考证明,存活率高 15.6 至 20.3 个百分点。 研究被 NeurIPS 2026 Workshop 接收,旨在衡量证明稳定性,而非修复证明的成本。

  17. arXiv · ML30

    BASTION: 基于预算感知树结构块扩散起草的推测解码框架

    BASTION 是一种无训练的预算感知推测解码框架,通过动态构建查询依赖的树结构扩散起草,在多种 GPU 架构上实现最高 6.61 倍于标准自回归解码的加速。 该框架集成了接受代理、在线延迟估计器和自适应最优优先扩展,利用硬件感知 roofline 模型平衡起草质量与验证成本,超越现有块扩散基线 39%。 发表于 NeurIPS 2026,保留目标模型分布且无需针对不同设置进行调优。

  18. arXiv · ML22

    被表征不等于被计算:Transformer 候选算法中间态的因果测试

    研究在 Transformer 上进行基数数字提取测试,模型在三个随机种子下达到 99.83% 的精确准确率。线性探针能解码算法中间值,但因果测试显示这些值未被传输至输出流,且稀疏电路搜索发现变量路由在后期才结合。该案例表明,当存在显式算法假设时,基于探针的结论可能与因果观察结果存在显著分歧。