跳到正文
11月17日周二
  1. arXiv · AI20

    STaSBO:基于 LLM 引导策略规划与配置选择的贝叶斯优化

    针对贝叶斯优化中代理-采集配置选择依赖问题状态的情况,提出任务无关的 LLM 驱动元控制器 STaSBO,将数值计算与策略规划解耦。 STaSBO 包含策略规划与配置选择两阶段,利用结构化记忆优化轨迹。在 12 个合成数学及 10 个工程任务中,平均排名 2.17 和 2.60,优于最强基线的 4.08 和 4.10。

  2. arXiv · AI30

    置信度信号何时揭示问题难度?

    研究发现扰动不一致性、语义熵和解长度等置信度信号与群体问题难度呈强相关,优于 token 级不确定性。 即便限制在模型答对的问题子集,这些信号仍表现出难度区分能力,可作为推理时决策的代理指标。

  3. arXiv · AI26

    AGPV 通过智能体引导过程验证提升数学推理自纠正准确率

    AGPV 在五个数学推理数据集上实现平均准确率 63.8%,较最强基线提升 13.5 个百分点。 该方法将解题分解为关键声明序列,结合共享数学工具箱与完整性验证,证明了在覆盖充分时的正确性保障。 评测涵盖 DeepSeek、Qwen 及 GPT 四个模型,显示 AGPV 的修复覆盖率高于程序化验证基线。

  4. arXiv · AI26

    POLPO 通过帕累托排序实现多验证器策略优化

    研究团队提出 Partial-Order Likelihood Policy Optimization (POLPO),利用帕累托主导解决多验证器场景下的策略优化难题。该方法扩展了直接偏好优化的列表似然,无需构建聚合标量奖励,直接学习验证产生的比较关系。在代码生成与指令遵循实验中,POLPO 展示了比标量奖励训练更高的学习效率及完整需求满足率。

  5. arXiv · ML34

    HiMX:基于定制化 HIFLOAT4 表示的混合格式矩阵乘法

    HiMX 提出混合尾数框架优化 4-bit 权激活量化(W4A4)LLM 推理,将 Qwen3-8B 平均端到端精度损失从 2.38 降至 1.77。 框架利用 S1P2 与 E2M1 互补特性,针对不同分布权重和激活优化量化,实现统一整数 MAC 阵列。 该异构尾数表示方法在 Qwen3-30B-A3B 上将精度损失从 2.23 降至 1.85,展现 W4A4 推理潜力。

  6. arXiv · ML35

    Skill-LR:基于LLM引导奖励公式化的分层强化学习框架

    研究人员提出分层强化学习框架 Skill-LR,利用视觉语言模型识别子目标,并通过 LLM 生成匹配的潜在奖励公式。 该框架基于两阶段提示过程,使奖励信号随分层计划演化,降低了时间方差并提升了样本效率。 在 MiniGrid 和 BabyAI 的多阶段基准测试中,Skill-LR 比 RUDDER 等基线收敛更快且更可靠。

  7. arXiv · NLP42

    研究发现开源大语言模型在上下文中发展出信念状态几何结构

    研究在6个开源LLM中发现,信念状态可从残差流激活中线性解码,峰值R²值达0.83-0.99。 该结论基于40个非平凡信念结构的隐马尔可夫模型数据,并通过修补与转向干预验证了功能相关性。 结果在表征层面证明,开源LLM的上下文学习近似于对上下文推断生成模型的最优贝叶斯预测。

  8. arXiv · NLP26

    基于 Goodreads 评论的大规模研究揭示内容特征与 PERMA 幸福指标之间的关联

    对 1370 万条 Goodreads 评论的分析表明,推荐系统的满意度信号与 PERMA 幸福指标存在显著差异,且内容特征与幸福的关联强度更高。 研究区分了即时享乐型与持久意义型幸福,发现不同内容语言特征分别与之相关,表明仅基于满意度进行优化可能无法真正促进用户福祉。

  9. arXiv · NLP42

    多模态专家混合模型中的“看见但不思考”:路由分心现象分析

    研究者揭示多模态专家混合模型存在“看见但不思考”现象,即模型能准确感知图像内容,却在后续推理中失败,而纯文本场景下能正确解题。 分析发现视觉专家与领域专家存在层级分离,图像输入在中层诱导了显著的路由偏差,导致任务相关的推理专家未能充分激活。 通过设计路由引导干预方法增强领域专家激活,在六个基准测试中取得一致提升,复杂视觉推理任务最高提升3.17%。

  10. arXiv · NLP26

    基于原子概念编辑的模型行为解释与控制框架

    该研究提出一种黑盒可解释性框架,通过原子概念编辑学习可验证宪法,从而解释和控制模型行为。在数学推理任务中,干扰变量使 GPT-5 易混淆,但对 Gemini 2.5 和 o4-mini 影响有限;在文生图任务中,GPT-Image 侧重语法合规,Imagen 4 则优先氛围一致性。使用学习得到的宪法控制模型行为,成功率平均提升 1.86 倍。代码已开源。

  11. arXiv · NLP23

    基于 LLM 的关键思维子技能自动化评估可行性研究

    研究通过三种方法(零样本提示、少样本提示和监督微调)在 GPT-5、Llama 3.1 8B 和 ModernBERT 上评估关键思维子技能。 微调 Llama 3.1 8B 表现最佳,擅长区分高可分性且标签均衡的子技能,但在细微区分或标签不均衡时性能下降。 该探索性研究为在教育真实情境中规模化评估关键思维技能提供了初步路径。

  12. arXiv · NLP33

    SmartThinker:通过步骤级Token分配实现高密度推理

    SmartThinker 提出步骤级Token分配框架 SCPO,通过在线估计各推理步骤对正确率贡献来学习选择性保留或压缩,解决现有全局长度惩罚忽视步骤结构的问题。 该框架引入“推理密度”定义以平衡不同价值步骤的压缩压力,并结合长度偏差修正和难度自适应裁剪提升训练稳定性,在9个域内及域外基准测试中实现了更优的准确率与效率权衡。

  13. arXiv · NLP31

    多域对比策略优化提升大推理模型跨域能力

    论文提出多域对比策略优化(MCPO),通过对比学习解决混合域强化学习中不同领域能力相互冲突的问题。 该方法在关键推理片段定位交互单元,利用互补对比目标实现跨域知识共享与域内巩固。MCPO 比现有方法平均高 3.17 分,并超越单域训练 1.05 分。

  14. arXiv · NLP30

    模糊指纹编码器预训练语言模型用于对话情感识别:人类评估与有效性研究

    针对标准预训练语言模型在对话情感识别中缺乏可解释性且易将少数类误判为中性类的问题,研究者结合模糊指纹技术提出了解释性方法。该方法通过模糊相似函数匹配情感原型,实验显示减少了中性类过度分类,并获人类评估支持,在达到最先进水平的同时揭示了分类过程。

  15. arXiv · NLP23

    为何模型操控有效:LLM 参数动态的统一视角

    该研究提出统一框架,将 LLM 的 LoRA 微调与激活干预解释为控制信号诱导的动态权重更新。 分析表明,强操控在提升目标概念倾向(preference)的同时,可预测地降低生成连贯性(utility)。 基于此,新方法 SPLIT 在增强操控效果的同时更好地保留效用,代码已开源。

  16. arXiv · NLP40

    Qwen3-VL 如何规划视觉语言模型的多步任务

    研究揭示 Qwen3-VL 通过绑定头、光标信号、选择步骤和注视头四部分机制规划视觉回答顺序,该机制在 2B 至 32B 模型中均成立。 因果干预验证显示该机制适用于不同输入格式、自然照片及多种语言,binding、relay 和 gaze 头存在于所有测试模型尺寸中。 此发现为研究模型在长程多步任务中的规划过程提供了新路径。

  17. arXiv · NLP25

    大语言模型在拒绝请求解释中的可修复性评估:正确理由为何缺乏实际指导意义

    一项覆盖20个大语言模型的研究发现,当多个规则独立触发时,解释中引用的单一正确理由通常无法帮助用户成功改变结果。 在7个移植自访问控制和福利资格系统的规则系统中,6个显示出“修复正确理由后决定仍为拒绝”的高频现象;各模型识别该缺陷的能力接近随机。 研究指出,仅当询问“按解释操作是否有效”时强裁判模型才能发现缺陷,且推理型模型在含4个以上独立理由的拒绝中仍频繁失效。

  18. arXiv · NLP28

    嵌入映射距离如何引导 LLM 创意生成?对四项后续验证的测试

    研究发现嵌入映射中远端方向难以生成文本,LLM 解码器在展示邻居时能复现目标,但在无邻居搜索中表现优于最近项,对远端点则效果甚微。 k-means 单元中,密度间隙评分对预测增长无显著贡献,Steam 新品中更孤立的游戏评价略好,arXiv 论文 LLM 续写比引用源更贴近原文。 揭示真实后续标题会引导创意方向,评审、预言机和距离反馈分别增加了 0.13、0.08 和 0.34 的方向转向幅度。

  19. arXiv · NLP21

    自适应测试时缩放的任意时刻有效 PAC-Bayes 证书

    研究提出任意时刻有效的 PAC-Bayes 证书,解决自适应测试时缩放中校准选择后的统计推断问题。 针对有限预算与验证器网格,罚项为 $\log M/n$;在 GSM8K 上,该证书在 5% 名义水平下始终优于最佳选择误差,全测试集误差紧化至 0.109。 提供了一种无分布假设的轻量级方法,用于报告自适应推理系统的风险与计算成本。

  20. arXiv · NLP21

    TRACK: 时序工具增强推理用于电源管理系统故障诊断

    TRACK 系统结合时序编码器与小语言模型,在 15 类多负载模拟基准上实现超 95% 的故障类别准确率,优于 58% 的基线。 该系统在设备端运行,通过调用工具进行可验证的物理计算,并利用基于评分标准的框架评估报告的结构与诊断准确性。 该方案避免了昂贵的 API 调用,解决了专家人工检查无法扩展到大量部署单元的问题。

  21. arXiv · NLP23

    MolReps:让 LLM 理解多种分子表示法

    MolReps 是一个生成 9,600 组问答对的管道,用于在多种分子表示间进行转换、归一化及 2D 结构识别。 对 MolQwen3-4B-Instruct 和 MolQwen3-VL-4B-Instruct 进行后训练,在分子重叠测试集的 InChIKey 匹配率分别从 4.01% 和 7.11% 提升至 75.13% 和 73.14%。

  22. arXiv · NLP30

    语言模型训练与推理的相图分析

    研究提出基于文档可区分性和维度的相图,表征语言模型表示几何。 分析 8 个训练模型和 156 个未训练模型的推理流,发现训练模型稳定在相图中心区域。 将 Pythia-1.4B 的训练过程解释为相变,揭示表示几何与模型行为的关系。