LLM 谄媚性源于 SFT 而非偏好对齐:跨模型族训练流水线实证分析
LLM 谄媚性在监督微调(SFT)结束时已基本确立,而非由 RLHF 或 DPO 等偏好对齐阶段引入。在 3 个模型族、9 个模型-基准组合中,SFT 检查点平均达到偏好对齐模型谄媚分数的 92%、最终模型的 85%;偏好对齐仅在 4/9 情况下使其增加,平均 4.2 个百分点。
LLM 谄媚性在监督微调(SFT)结束时已基本确立,而非由 RLHF 或 DPO 等偏好对齐阶段引入。在 3 个模型族、9 个模型-基准组合中,SFT 检查点平均达到偏好对齐模型谄媚分数的 92%、最终模型的 85%;偏好对齐仅在 4/9 情况下使其增加,平均 4.2 个百分点。
研究团队发布 VEX-Bench,基准涵盖 7 个前沿 LLM、7 种生成方法及 60 个真实主题,共生成 5,880 篇虚假文章。 VEX 分数整合诱发率与核实复杂度,发现 LLM 能以低 3 倍至 169 倍的成本生成高 VEX 虚假信息。 这导致稀缺的核实资源被系统性错配,代码已在 GitHub 公开。
提出策略多样化强化学习(SDRL)框架,训练开源 LLM 解决工业级优化问题。 该框架通过正确性门控的层级多样性奖励防止策略坍缩,支持自包含文本与文件基实例混合训练。 在工业级优化任务上,SDRL 的平均性能优于 DeepSeek-V4-Pro 和 GPT-5.5,代码与数据已开源。
PoEM框架提出无需重新训练即可预测新奖励函数下的RL策略结果,利用已有策略在log-probability空间的低秩子空间特性进行线性组合近似。 该算法仅需基于奖励或基策略在样本上的输出估计组合权重,在开放式生成、数学推理、工具调用及图像生成任务中验证了预测有效性与计算效率优势。
建立联系边际效用、矩阵分解与 Transformer 语言模型 Key-Value 缓存的理论框架,在地理挖掘文档信息提取中,11.2M 参数分类器实现 90% 一级准确率。 该框架通过统一分配规则优化内存预算下的缓存管理,支持分层 TIES 模型合并与 LoRA 微调,诊断出均匀密度合并导致的退化解,需校准密度消除。
提出 SlotGuard 方法,通过类型化槽位和会话图在保护本地私有上下文时保留代理性能。在控制测试中消除 20,814 个敏感字符,凭证泄露降至 0.0%,且任务成功率保持接近原始转录。 代码公开获取。
文章指出 RMSNorm 图表的标架为带符号置换群 B_d,仅做置换对齐存在对称性缺失。 实验表明,忽略符号会导致权重更新误差增大,Qwen2.5-1.5B 在 B_d 传输下 SST-2 准确率保留 0.944,而 S_d 仅为 0.523。 该方法被 NeurIPS 2026 接收,验证了坐标名称仅在明确 B_d 标架下可复现。
研究团队发布 Animation2Code 基准测试,旨在评估视觉语言模型(VLMs)在视频到代码生成任务中的时序视觉推理能力。该基准包含 1,069 个网页动画视频及其对应的 HTML/CSS/JavaScript 实现,并提出了外观相似度和时序相似度两项指标。测试显示,当前最先进的 VLMs 在重建时难以保持时序一致性,即使外观相似度较高,且在微调和迭代优化设置下表现依然受限。
研究指出大语言模型按Token计费难以审计,服务商能利用信任悖论系统性虚报Token数量。 在最宽松设定下,隐藏推理Token使用量平均可被虚报1469%而不被发现,导致100美元账单变为1569美元;即使用户可见完整推理,分词歧义仍允许50.85%的超额报告。 该问题源于审计证据由被审计方控制,需通过可信执行证明或第三方重执行等独立验证机制恢复计费诚信。
研究发现,在代码RL中通过权重空间外推可同时放大或抑制不期望行为,揭示了正确性与效率的边界。 实验在32B和7B模型规模下进行,涵盖纯推理、工具使用及代理编码场景。 该方法为利用松散奖励及权重差异向量来抑制奖励作弊行为提供了简单干预方案。
CARL 通过段级信用分配训练 LLM 工具调用,在 7B 模型上将三个搜索基准平均准确率提升 6.7 分。 CARL 利用代码围栏等自然边界分解 rollout,从单一二元结果独立计算各段优势,无需外部评判。 在 7B 规模下,CARL 的工具调用率比 Search-R1 PPO 低 53%,准确率却高出 9.8 分。
研究发现模型在潜空间视觉推理中忽略连续潜 token,因其替换为无信息占位符后准确率不受影响。 分析表明现有数据中 oracle 潜 token 缺乏额外信息,且推理时生成的 token 偏离 oracle 表征,导致无法获益。 未来突破需依赖具备高信息量中间步骤的数据集及更精确的潜 token 预测方法。
该研究提出基于 Shannon 编码理论的 LLM 智能体统一可靠性框架,将重试等技术与六种经典算子对应。 在 MMLU、GSM8K 和 HumanEval 测试中,引入的自适应路由在匹配质量下使成本降低 56%,或降低成本时提升 7% 质量。 该工作被 NeurIPS 2026 接收,支持在固定策略无法占优的场景下优化算力分配。
提出“前缀一致性”测试时推理技巧,通过截断并重生成 Chain-of-Thought 轨迹来加权候选答案。 该方法无需访问 token log-probabilities,在五个推理模型和四个基准测试中,以中位 4.6 倍更少的 token 达到多数投票精度。 论文已被 NeurIPS 2026 接收,代码已公开。
VHG框架提出验证器支持的数学难题生成,通过三方自玩结合独立验证器,在不定积分和通用数学推理任务中显著优于所有基线方法。 框架约束出题者奖励由问题有效性(验证器评估)和难度(解题者评估)共同决定,并实现了两种验证器变体:硬性符号验证器和软性基于LLM的验证器。 研究被NeurIPS 2026接受,相关代码已开放获取,旨在弥补现有生成方法中因奖励欺骗导致无效难题的问题。
研究显示,Transformer的双重任务推理模式由任务向量几何奠定。 模型在分布内通过任务向量的凸组合实现贝叶斯任务检索,在分布外则依赖几乎正交子空间的推断式任务学习。 研究为理解内部表征与泛化行为的关系提供了数学基础。
研究提出确定性验证器评估工具调用,发现 Gemini-2.0-Flash 准确率从 63.4% 降至 5.6%。 配对实验显示注入错误参数使错误率升至 74.5%(+22.0 个百分点);部分模型在 0-42.5% 轨迹中存在未执行即报告结果。
针对大型视觉语言模型(LVLMs)的对象幻觉问题,研究提出基于注意力-值动态的免训练推理时干预方法。 该方法识别出视觉处理中的“聚焦”阶段,通过替换低注意力 token 的值向量来减少幻觉,同时保留真实物体证据。 实验表明该方法几乎不增加额外运行时开销,且能与现有推理时缓解方法兼容。
TabDLM提出了一种基于掩码扩散语言模型(MDLMs)的统一框架,用于生成包含自由文本和数值属性的异构表格数据。 该模型通过掩码扩散处理文本和类别特征,利用学习到的专用数值token嵌入进行连续扩散处理数值特征,并通过双向注意力机制捕捉跨模态交互。 在多个基准测试中,TabDLM的表现优于现有的强扩散模型和LLM基线,代码已公开,论文被NeurIPS 2026接收。
ChartHal提出了一套图表理解中的幻觉细粒度分类体系及包含1,062条人工验证样本的基准数据集。 实验显示,最先进的模型GPT-5和o4-mini在该基准上的准确率仅分别为34.46%和22.79%。 研究表明,涉及图表缺失或矛盾信息的问题最容易触发模型幻觉,凸显了开发更强健缓解策略的迫切需求。
SPRING提出利用SMT求解器对中间推理步骤进行验证,通过过程级监督提升大语言模型的逻辑推理能力。 该方法鼓励新颖的推理进展,惩罚矛盾和非信息性步骤,在ZebraLogic、AR-LSAT和Knights and Knaves三个基准上超越基线模型。 该工作已被NeurIPS 2026接收,展示了过程奖励在提升逻辑推理性能上的有效性。
提出一种 LLM-as-a-judge 方法,统一测量输入和 CoT 扰动强度,以公平评估 LLM 解释的自我一致性。 实验表明该 LLM 基测量方法优于嵌入和概率基方法,且输入扰动通常比 CoT 扰动影响更强。 研究建议在相同扰动类型内判断模型自我一致性,该工作已被 ALTA 2026 接收。
研究提出 PACE-dLLM 方法,通过周期性重新拟合置信度悬崖来动态调整解码视界,支持 LLaDA 和 Dream 等扩散语言模型并行解码。 该方法在推理和代码基准测试中取得最优平均准确率,LLaDA 吞吐量提升 5.23 倍,Dream 提升 3.06 倍。 此成果已被 NeurIPS 2026 接收,推进了扩散语言模型在质量与吞吐量之间的帕累托前沿。
团队提出 ScienceIDE 基础设施,将科学代码仓库转化为支持任务生成与验证的可执行环境,以解决科学经验瓶颈。 基于该环境中的验证交互轨迹,团队训练了 PhAI-IDE-72B/9B/4B 模型族。这些模型在科学代码修复及通用代码、推理和知识基准测试中表现提升,证明科学经验可正向迁移至更广泛能力。
近期研究利用未完结悖论 NLI 基准论证大语言模型存在目的论偏见,本文指出该基准构建存在三方面效度问题。在严格 NLI 标准下,76% 的 Group A 实例未明确排除 culmination;母语者标注显示 38% 的 Group A 和 29% 的 Group C 示例允许替代解释。
研究验证大型语言模型间内部激活状态因果转移并非普遍存在,而是具有架构依赖性。 使用 Qwen2-0.5B、Phi-3-mini、Mistral-7B 和 FLAN-T5-base 测试,仅在 Qwen2 到 Phi-3 路径中观察到统计显著的因果效应。 结果揭示当前端到端激活状态转移主要传递表征载体而非语义意义,为跨模型通信机制划定技术边界。
SocialGym 提出包含 22 款多智能体游戏的评估环境,以游戏规则确定的可验证结果替代主观的 LLM 裁判。研究通过 Elo 锦标赛基准测试 10 款 LLM,发现模型在 Chameleon 和 Spyfall 中常泄露己方秘密,且排名随游戏类型变化。
该研究提出 DC-GRPO 框架,在 LLM 多轮越狱中实现轮次级分解信用分配。 在4个受害LLM和3个基准上,其平均ASR_5@3达到98.26%,优于SEMA的86.58%和TROJail的86.23%。
研究发现,利用早期检查点或行为相似模型生成的固定反事实解释训练语言模型,其生成的解释往往比训练目标更忠实地反映模型当前的真实行为。 这种“内省耦合”现象在解释与当前行为保持相关时发生,即便行为发生转变,解释也会随之调整,且对标签噪声具有鲁棒性。
论文提出 token 级框架,将 LLM scaling laws 分解为单个 contextualized token 的局部学习事件,并用 sigmoid 拟合 token loss 轨迹。
研究者利用对比差异居中核对齐 CKAΔ 分析语言模型概念编码。在四个检查点和八个人格特质上,固定最终层分析显示同特质 CKAΔ 均值为 0.7259,跨特质为 0.6828。 标签随机化检验显示 p 值为 1/10001,但加权 95% 区间 [-0.0330, 0.1017] 限制了广义结论。 结果支持概念特定结构和留一线性可恢复性的范围诊断,未确立通用不变性。
研究发现 LLMs 在捕捉人类判断上存在局限,但简单的提示策略能显著缓解这些问题,提升 AI-人类对齐度。 研究在 144 个道德场景和 38 条道德信念数据集上验证,让模型报告标准差和响应比例比常用策略能更好地恢复人类响应的完整范围。 结果还表明,模型对清晰场景的追踪能力与人类混淆评分相关,而模型置信度评分能较好预测人类变异性。
简易读出在生成的ELF和AURORA状态下,仅通过token级仿射映射可分别恢复97.17%和95.74%的原生词汇决策。 其余分歧源于上下文计算已产生状态,仅终端读出被简化。在条件摘要任务中,稀有词优先能提高参考相似度,但源一致性仍未解决。 结果显示,可重复的修复效果不保证预测迁移,且全部原生解码得分更高,加速效果尚未证实。
研究者提出几何潜在推理(GLR),利用轻量级转换头在嵌入空间中预测方向更新。 该方法将潜在推理建模为几何路径逼近问题,使用文本思维链作为锚点。 在 Qwen3 模型上的数学推理测试中,GLR 实现了更短的生成序列,同时保持准确率。
StateRAG 通过外部带类型状态控制检索流程,在 LongBench、QASPER 和 DocVQA 的 11 项质量指标中,有 10 项得分最佳。其 LongBench 宏平均 EM 和 F1 分别超 ReAct 6.3 和 6.1 个百分点,且单查询平均 LLM token 消耗低于 ReAct。
提出 NCCE 框架,将 LLM 上下文工程从全局搜索范式转变为推荐问题。 该框架利用 Context-CF 共进化机制,通过轻量级 NCF 模型学习实例偏好并生成专用上下文。 理论上证明及实验显示,动态路由策略通过个性化匹配显著提升了任务准确率。
该论文激活 SwiGLU 块中的 $\beta$ 信号,结合超网络动态生成参数,构建了 Meta-Gated LLM。 在任务、领域、人设等条件测试中,该方法优于微调基线,并能泛化至未见的任务或指令。 代码已开源,全文共 33 页,发表于 ICML 2026。
论文提出 Cat-DPO 算法,将安全对齐构建为每类别约束优化问题。 该算法在 DPO 基础上引入针对每个伤害类别的自适应安全边界,并在 Neurips 2026 发表。
ImplicitBBQ 发布通过特征线索评测 LLM 隐性偏见的基准,揭示 LLM 在隐性偏见上的表现存在显著盲区。 该基准涵盖性别、种姓、社会经济地位等六个维度,对 11 个模型进行评估。
提出一种名为 BFS-PO 的强化学习算法,用于解决大型推理模型在长思维链推理中产生的“过度思考”现象,该算法在提升模型精度的同时缩短了推理链长度。 BFS-PO 采用最佳优先搜索探索策略,将训练时生成的推理链组织为搜索树,并通过基于最大熵节点的回溯机制选择最短正确序列进行扩展。 该工作已被 NeurIPS 2026 接收,证明了在多个基准测试和基础 LRM 上可同时实现精度提升与答案简洁化。