跳到正文
11月17日周二
  1. arXiv · ML20

    SAM 扰动的统计重放诊断:NeurIPS 2026 Workshop 论文

    针对 SAM 泛化机制,本文提出“统计重放”诊断方法,通过局部窗口均值和标准差重放扰动。在 ResNet 18 和 CIFAR 10 实验中,纯重放未能复现 SAM 验证精度,混合重放可接近其性能但未复现训练动态。结果表明,多种简化解释被削弱,但 SAM 的核心机制仍未完全解释。

  2. arXiv · AI20

    HARMONIX:知识引导生成系统中结构约束的局限性评估

    HARMONIX 框架揭示了局部有效的决策未必能维持人类决策中的上下文关系。 该研究利用 19,745 条记录进行实验,发现综合约束在稳定结构中提高约 5 个百分点的根音程一致性,但在转调跟踪情境下降低近 9 个百分点。 这一结果证明可解释约束可能引入被整体准确率指标掩盖的系统性失败。

  3. arXiv · ML28

    深度循环语言模型的架构设计与 KV 重放机制

    针对深度循环模型在自回归解码中内存随深度增长的问题,研究提出结合架构调整与缓存共享以降低内存成本。 具体包括构建循环混合架构、Parcae 风格专用循环工作区,以及引入循环 KV 重放机制,仅允许选定迭代写入 KV 状态供后续复用。 研究发现循环混合架构对注意力锚点频率和循环混合器性能敏感,且循环 KV 重放能在保持性能接近全量缓存基准的同时实现跨迭代共享。

  4. arXiv · AI27

    RISE:面向 LLM 智能体推理的交互式结构化环境扩展方法

    RISE 通过从静态子图转向全规模交互式数据库,解决了现有结构化环境预过滤导致的测量偏差问题。 方法包含决策空间扩展与学习前沿扩展两条轴线,在 19 个基准和 3 种模型基座上进行测试。 结果显著提升领域内及未见模式的知识图谱推理能力,并实现零样本开放领域检索迁移。

  5. arXiv · AI32

    假设链中,提出正确问题是 AI 发现的关键

    研究显示,Claude Sonnet 5.5 和 GPT-6.1-Sol 在忽略窄峰数据的 32 次闭环测试中,采样频率低于随机搜索。 严格遵循模型分歧的代理在全部 32 次测试中均漏掉窄峰,早期探测未测间隙并跟进异常则能实现发现。 仅测当前模型分歧区不足够,提出指向未测区域的新问题是 AI 在假设链中发现的关键。

  6. arXiv · ML26

    理解预训练中推理数据的作用

    研究表明,在预训练中,原子训练信号的最优权重随推理链长度增加而增大,并随未纳入推理监督的事实比例增加而减小。 该结论在线性 Transformer 及包含 MLP 的全 Transformer 层中均得到验证,且在多跳推理和数学预训练的自然语言设置中确认了推理复杂性与数据覆盖率的调节作用。

  7. arXiv · AI30

    无重放循环状态迁移的信息极限

    研究指出循环模型状态迁移所需的最小连续因果记忆,等于提升系数系统的可达维数减去锚定状态信息。对于可控 d 状态模型,标量输入最多需要 k d 个额外实数坐标,即使矩阵替换方向在流式传输后才揭示。单秩一方向即可要求全部 k d 坐标。 在小语言模型实验中,等记忆三次插值比三阶系数提高了平均状态保真度,但未带来有意义的预测增益。

  8. arXiv · ML40

    双向对数线性注意力:提升长上下文召回率的混合架构

    双向对数线性注意力通过结合正向与锚定序列起点的反向层级,在保持因果性前提下实现了对早期和近期上下文更精细的访问。 在等参数匹配的语言模型测试中,该机制将 RULER 基准下 6144 token 上下文的针在草堆任务平均得分从 26.97% 提升至 50.03%。 多查询关联召回测试中,其平均准确率由 76.37% 升至 96.12%,且优于正向对数线性注意力。

  9. arXiv · AI38

    权重空间编程:语言模型零样本预测与结构化数据分类

    语言模型通过权重空间编程,无梯度下降地手动固定前馈网络所有参数,完成统计推断与目标变量预测。 方法将数据集与网络架构输入模型,直接输出权重与偏置数值,预注册预期分数。测试涵盖玩具问题、合成数据及经典基准,在两个层级击败梯度下降训练的基线。 核心发现是线性分离器训练误差可预测隐层有效性,弥补复合复杂度指数的不足。

  10. arXiv · AI20

    STaSBO:基于 LLM 引导策略规划与配置选择的贝叶斯优化

    针对贝叶斯优化中代理-采集配置选择依赖问题状态的情况,提出任务无关的 LLM 驱动元控制器 STaSBO,将数值计算与策略规划解耦。 STaSBO 包含策略规划与配置选择两阶段,利用结构化记忆优化轨迹。在 12 个合成数学及 10 个工程任务中,平均排名 2.17 和 2.60,优于最强基线的 4.08 和 4.10。

  11. arXiv · AI30

    置信度信号何时揭示问题难度?

    研究发现扰动不一致性、语义熵和解长度等置信度信号与群体问题难度呈强相关,优于 token 级不确定性。 即便限制在模型答对的问题子集,这些信号仍表现出难度区分能力,可作为推理时决策的代理指标。

  12. arXiv · AI26

    AGPV 通过智能体引导过程验证提升数学推理自纠正准确率

    AGPV 在五个数学推理数据集上实现平均准确率 63.8%,较最强基线提升 13.5 个百分点。 该方法将解题分解为关键声明序列,结合共享数学工具箱与完整性验证,证明了在覆盖充分时的正确性保障。 评测涵盖 DeepSeek、Qwen 及 GPT 四个模型,显示 AGPV 的修复覆盖率高于程序化验证基线。

  13. arXiv · AI26

    POLPO 通过帕累托排序实现多验证器策略优化

    研究团队提出 Partial-Order Likelihood Policy Optimization (POLPO),利用帕累托主导解决多验证器场景下的策略优化难题。该方法扩展了直接偏好优化的列表似然,无需构建聚合标量奖励,直接学习验证产生的比较关系。在代码生成与指令遵循实验中,POLPO 展示了比标量奖励训练更高的学习效率及完整需求满足率。

  14. arXiv · ML34

    HiMX:基于定制化 HIFLOAT4 表示的混合格式矩阵乘法

    HiMX 提出混合尾数框架优化 4-bit 权激活量化(W4A4)LLM 推理,将 Qwen3-8B 平均端到端精度损失从 2.38 降至 1.77。 框架利用 S1P2 与 E2M1 互补特性,针对不同分布权重和激活优化量化,实现统一整数 MAC 阵列。 该异构尾数表示方法在 Qwen3-30B-A3B 上将精度损失从 2.23 降至 1.85,展现 W4A4 推理潜力。

  15. arXiv · ML35

    Skill-LR:基于LLM引导奖励公式化的分层强化学习框架

    研究人员提出分层强化学习框架 Skill-LR,利用视觉语言模型识别子目标,并通过 LLM 生成匹配的潜在奖励公式。 该框架基于两阶段提示过程,使奖励信号随分层计划演化,降低了时间方差并提升了样本效率。 在 MiniGrid 和 BabyAI 的多阶段基准测试中,Skill-LR 比 RUDDER 等基线收敛更快且更可靠。

  16. arXiv · NLP42

    研究发现开源大语言模型在上下文中发展出信念状态几何结构

    研究在6个开源LLM中发现,信念状态可从残差流激活中线性解码,峰值R²值达0.83-0.99。 该结论基于40个非平凡信念结构的隐马尔可夫模型数据,并通过修补与转向干预验证了功能相关性。 结果在表征层面证明,开源LLM的上下文学习近似于对上下文推断生成模型的最优贝叶斯预测。

  17. arXiv · NLP26

    基于 Goodreads 评论的大规模研究揭示内容特征与 PERMA 幸福指标之间的关联

    对 1370 万条 Goodreads 评论的分析表明,推荐系统的满意度信号与 PERMA 幸福指标存在显著差异,且内容特征与幸福的关联强度更高。 研究区分了即时享乐型与持久意义型幸福,发现不同内容语言特征分别与之相关,表明仅基于满意度进行优化可能无法真正促进用户福祉。

  18. arXiv · NLP42

    多模态专家混合模型中的“看见但不思考”:路由分心现象分析

    研究者揭示多模态专家混合模型存在“看见但不思考”现象,即模型能准确感知图像内容,却在后续推理中失败,而纯文本场景下能正确解题。 分析发现视觉专家与领域专家存在层级分离,图像输入在中层诱导了显著的路由偏差,导致任务相关的推理专家未能充分激活。 通过设计路由引导干预方法增强领域专家激活,在六个基准测试中取得一致提升,复杂视觉推理任务最高提升3.17%。

  19. arXiv · NLP26

    基于原子概念编辑的模型行为解释与控制框架

    该研究提出一种黑盒可解释性框架,通过原子概念编辑学习可验证宪法,从而解释和控制模型行为。在数学推理任务中,干扰变量使 GPT-5 易混淆,但对 Gemini 2.5 和 o4-mini 影响有限;在文生图任务中,GPT-Image 侧重语法合规,Imagen 4 则优先氛围一致性。使用学习得到的宪法控制模型行为,成功率平均提升 1.86 倍。代码已开源。

  20. arXiv · NLP23

    基于 LLM 的关键思维子技能自动化评估可行性研究

    研究通过三种方法(零样本提示、少样本提示和监督微调)在 GPT-5、Llama 3.1 8B 和 ModernBERT 上评估关键思维子技能。 微调 Llama 3.1 8B 表现最佳,擅长区分高可分性且标签均衡的子技能,但在细微区分或标签不均衡时性能下降。 该探索性研究为在教育真实情境中规模化评估关键思维技能提供了初步路径。

  21. arXiv · NLP33

    SmartThinker:通过步骤级Token分配实现高密度推理

    SmartThinker 提出步骤级Token分配框架 SCPO,通过在线估计各推理步骤对正确率贡献来学习选择性保留或压缩,解决现有全局长度惩罚忽视步骤结构的问题。 该框架引入“推理密度”定义以平衡不同价值步骤的压缩压力,并结合长度偏差修正和难度自适应裁剪提升训练稳定性,在9个域内及域外基准测试中实现了更优的准确率与效率权衡。

  22. arXiv · NLP31

    多域对比策略优化提升大推理模型跨域能力

    论文提出多域对比策略优化(MCPO),通过对比学习解决混合域强化学习中不同领域能力相互冲突的问题。 该方法在关键推理片段定位交互单元,利用互补对比目标实现跨域知识共享与域内巩固。MCPO 比现有方法平均高 3.17 分,并超越单域训练 1.05 分。

  23. arXiv · NLP30

    模糊指纹编码器预训练语言模型用于对话情感识别:人类评估与有效性研究

    针对标准预训练语言模型在对话情感识别中缺乏可解释性且易将少数类误判为中性类的问题,研究者结合模糊指纹技术提出了解释性方法。该方法通过模糊相似函数匹配情感原型,实验显示减少了中性类过度分类,并获人类评估支持,在达到最先进水平的同时揭示了分类过程。

  24. arXiv · NLP23

    为何模型操控有效:LLM 参数动态的统一视角

    该研究提出统一框架,将 LLM 的 LoRA 微调与激活干预解释为控制信号诱导的动态权重更新。 分析表明,强操控在提升目标概念倾向(preference)的同时,可预测地降低生成连贯性(utility)。 基于此,新方法 SPLIT 在增强操控效果的同时更好地保留效用,代码已开源。