SteerEval 如何跨行为粒度统一评估大语言模型的可控性?
研究引入分层基准 SteerEval,在语言特征、情感和人格三个领域评估 LLM 可控性,发现控制力在细粒度层级显著退化。 SteerEval 将行为意图连接至具体文本输出,划分为表达内容、表达方式和实例化三个层级,为安全可控的 LLM 行为提供解释性框架。
研究引入分层基准 SteerEval,在语言特征、情感和人格三个领域评估 LLM 可控性,发现控制力在细粒度层级显著退化。 SteerEval 将行为意图连接至具体文本输出,划分为表达内容、表达方式和实例化三个层级,为安全可控的 LLM 行为提供解释性框架。
该研究提出统一框架,将 LLM 的 LoRA 微调与激活干预解释为控制信号诱导的动态权重更新。 分析表明,强操控在提升目标概念倾向(preference)的同时,可预测地降低生成连贯性(utility)。 基于此,新方法 SPLIT 在增强操控效果的同时更好地保留效用,代码已开源。
CD4LM 提出可组合框架加速扩散语言模型,在 GSM8K 上实现 5.18 倍加速且保持准确率,叠加缓存加速器后达 9.73 倍。 核心组件 Discrete-Space Consistency Distillation (DSCD) 训练轨迹不变学生模型,结合 ConfidenceAdaptive Decoder 解决静态到动态不匹配。
研究团队发布943个训练样本及736个测试基准,利用CATS框架评估大语言模型在文档冲突下的信任决策与推理能力。 微调模型生成的思维轨迹显著提升表现,拒答F1得分从0.429提高至0.826,事实依据得分在40词提示下达到0.86至0.88。
研究提出利用医疗共识指南生成黄金标准推理链,对 MIMIC-III 进行大规模监督微调。 应用 SOFA、SAPS-II 和 Sepsis-3 指南显示,小型微调模型在推导正确性和 F1 分数上显著优于大型单次提示模型。 单次提示难以产生可靠的逐步推理,且模型在预测未来临床变量时性能普遍下降。
研究提出基于 RAG 的反驳语生成管线,利用联合国等权威人权知识库覆盖八类受歧视群体。该管线在事实基础、多样性和感知效用上优于无 RAG 基线。人类评估显示 RAG 缩小了内外部群体对反驳语效的感知差异。
该工作构建了首个公开的孟加拉语文本到 Gloss 翻译数据集,包含 1,000 条人工标注、4,000 条合成数据及 159 条测试对。 实验对比了微调开源模型与 GPT-5.4,GPT-5.4 自动指标得分最高,但较小的开源模型表现也具有竞争力。 这证明了系统性生成的合成数据在解决低资源手语翻译挑战中的有效性。
3D-MoE 发布,这是一款采用混合专家架构的 3D 视觉语言模型,旨在解决空间智能任务中密集 Transformer 的高计算成本。 其核心创新包含模态与空间上下文感知的概率路由方案,并集成了基于扩散的 Pose-DiT 动作头,实现单步生成 6D 位姿动作。 该模型在减少激活参数量的同时实现了机器人操作任务的实时推理,代码已开源。
这项研究提出一种基于多智能体交互与自然语言处理(NLP)的管线,用于降低生成式 AI 系统的幻觉风险,并显著改善模型响应的可解释性。
研究发现 LLaMA、Qwen 和 Aya 模型在 19 种语言生成传记时存在幻觉率差异,高资源与低资源语言间差距显著。 研究通过扩展 FactScore 指标至多语言场景进行量化,并将生成结果与 Wikipedia 页面进行对比以评估准确性。 该成果已被 PMLR 会议接受,揭示了 LLM 多语言性能及幻觉评估面临的挑战。
潜在晶格通过引入沿时间递归运行的逐层横向潜在流,在 406M 参数模型上验证困惑度从 15.41 降至 14.40。 该架构与超连接等技术组合可将困惑度进一步降至 13.61,且在混合架构中优于更大原生状态基线。 研究确立持久逐层状态是扩展语言模型计算的互补轴。
针对 2002-2023 年 637 个北大西洋及北太平洋东部热带气旋,将 NHC 讨论文本与 SHIPS、ERA5 预测因子结合用于强度预测。 在 2022-2023 年气旋上,将讨论信息加入 SHIPS 因子后,24 小时最大持续风速预测的 MAE 从 9.89 降至 8.90 kt,且重抽样置信区间未包含零。
研究揭示 Qwen3-VL 通过绑定头、光标信号、选择步骤和注视头四部分机制规划视觉回答顺序,该机制在 2B 至 32B 模型中均成立。 因果干预验证显示该机制适用于不同输入格式、自然照片及多种语言,binding、relay 和 gaze 头存在于所有测试模型尺寸中。 此发现为研究模型在长程多步任务中的规划过程提供了新路径。
针对大语言模型阅读 FOMC 文本进行经济预测时的时序数据污染,研究发现部分技能源于对结果的记忆。在 2000 至 2026 年的 FOMC 声明和会议纪要上,仅凭先验信息的模型对过去 GDP 预测的 AUC 可达 0.64。 研究通过对比时间一致性模型,发现实时预测中的前瞻优势在多重检验校正后不可检测,建议直接评估记忆效应。
一项覆盖20个大语言模型的研究发现,当多个规则独立触发时,解释中引用的单一正确理由通常无法帮助用户成功改变结果。 在7个移植自访问控制和福利资格系统的规则系统中,6个显示出“修复正确理由后决定仍为拒绝”的高频现象;各模型识别该缺陷的能力接近随机。 研究指出,仅当询问“按解释操作是否有效”时强裁判模型才能发现缺陷,且推理型模型在含4个以上独立理由的拒绝中仍频繁失效。
研究发现视觉语言模型在跨图像比较中存在特定失败点,通过调整16-32个注意力头可显著提升性能。在Qwen3-VL-8B模型上,仅训练这些头的查询和键投影使SPair-71k准确率提升28.3分,该效果可迁移至其他基准测试。
在124,416个上下文中,乐观验证器通过填充被黑客利用,充分性代理得分0.940,但真实忠实度从0.731降至0.667。 研究通过9种配置验证了表型重现,充分性损害在所有10个复制单元中为正,且在7个中超过两个标准误。
研究通过精确验证器测试小模型学习推理能力,发现4B模型微调后在特定策略上准确率达92%。 模型仅掌握固定的充分性检查流程,在未见过的策略上虽保持94%充分性但最小性降至48%;强化学习未能提升泛化性。
summary_zh: 该框架结合预测不确定性与零样本多模态相关性风险代理,在解码时分配水印强度,实现无需重训的检测-质量权衡。 单风险惩罚参数 $\lambda$ 控制工作前沿,选中点平均水印强度较固定强度降低约 59.4%,困惑度变化从 0.3634 降至 0.1689。
针对权重分解方法难以降低延迟的问题,研究者提出均衡孪生权重分解(BTWF)方法。该方法通过共享基底设置减少前向计算,并结合因子与块贡献均衡机制提升学习能力。在六个模型、九个基准测试中,BTWF 无需昂贵微调即可比最先进方法提升 2-6% 性能,计算成本相当。
研究发现嵌入映射中远端方向难以生成文本,LLM 解码器在展示邻居时能复现目标,但在无邻居搜索中表现优于最近项,对远端点则效果甚微。 k-means 单元中,密度间隙评分对预测增长无显著贡献,Steam 新品中更孤立的游戏评价略好,arXiv 论文 LLM 续写比引用源更贴近原文。 揭示真实后续标题会引导创意方向,评审、预言机和距离反馈分别增加了 0.13、0.08 和 0.34 的方向转向幅度。
预注册研究测试了42名大学生与聊天机器人的对话,发现英语占主导,而在文化话题中,低资源语言Papiamentu/o和西班牙语的使用占比从15%上升至24%。 参与者极少在同一条消息中混合多种语言,且自报对AI的语言切换舒适度不亚于与人交流。 这表明会话AI需要适应逐轮次的语言变化,并优化对本地低资源语言的处理。
研究构建基于美国时间使用调查(ATUS)的506个决策场景图谱,发现LLM代理人存在显著隐性偏差。 众包审计中500名参与者对8,010个场景进行优先级排序,更关注高 stakes 或全群体一致决策的情景,而非偏差幅度。 研究为构建个性化AI代理人及利用众包方法进行偏差审计提供了重要启示。
研究者提出仅用于训练的SAGA正则化器,利用居中控核对齐将神经分子表征与指纹Tanimoto相似度对齐,且不增加参数或需推理时使用指纹。 该研究基于MolCA和Atomas模型进行验证,SAGA提升了分子-文本检索性能,使非精确检索偏向更接近的结构类似物,并提高了骨架分割属性预测的平均表现。 结果证实,既有的化学信息学先验知识可增强分子语言模型表征的化学真实性,同时保留其多模态效用。
研究提出Stream of Belief(SoB)框架,通过维持连续潜在信念并迭代优化,实现多智能体推理的集体均衡。 该方法在跨任务和模型族的实验中展示了泛化能力,支持代码开源。 结果暗示了通过信念动力学扩展多智能体推理的新视角。
研究提出任意时刻有效的 PAC-Bayes 证书,解决自适应测试时缩放中校准选择后的统计推断问题。 针对有限预算与验证器网格,罚项为 $\log M/n$;在 GSM8K 上,该证书在 5% 名义水平下始终优于最佳选择误差,全测试集误差紧化至 0.109。 提供了一种无分布假设的轻量级方法,用于报告自适应推理系统的风险与计算成本。
语言模型智能体信念可通过社交媒体等开放渠道中的真实证据被操纵。基于1,090个谣言目标的研究显示,在14个模型中12个的谣言接受率超过65%,多数投票后仍高于50%。 引入Grounded Monitor神经符号运行时监控器,将决策准确率提升5.6至29.0个百分点,支持在结论前监控推断关系。
TRACK 系统结合时序编码器与小语言模型,在 15 类多负载模拟基准上实现超 95% 的故障类别准确率,优于 58% 的基线。 该系统在设备端运行,通过调用工具进行可验证的物理计算,并利用基于评分标准的框架评估报告的结构与诊断准确性。 该方案避免了昂贵的 API 调用,解决了专家人工检查无法扩展到大量部署单元的问题。
针对多智能体自我改进中顺序依赖导致的误差传播与成本增加问题,提出 ConvRSI 框架。该框架通过结合智能体内部卷积与基于协作拓扑的智能体间图卷积,在潜在空间实现并行更新,避免了对中间消息的重复解码与重编码。
MolReps 是一个生成 9,600 组问答对的管道,用于在多种分子表示间进行转换、归一化及 2D 结构识别。 对 MolQwen3-4B-Instruct 和 MolQwen3-VL-4B-Instruct 进行后训练,在分子重叠测试集的 InChIKey 匹配率分别从 4.01% 和 7.11% 提升至 75.13% 和 73.14%。
DetourBench 提出轨迹级评测框架,通过环境约束计算最小动作数 L0 及残差工作 RT,解决传统端点评分无法区分智能体路径效率的问题。 在 375 个评分回合中,五个模型端点的成功率介于 58.7% 至 96.0%,条件达成率范围为 0.803 至 0.890。 项目已开源实例、见证及评估工具,被 NeurIPS 2026 工作坊接收。
16对嵌入模型及NQ数据集实验证实,重用旧索引策略无法避免语料重编码,仅改变重编码支付时间。 同族LLM桥接适配器微弱优于旧模型,窗口重排成本可通过旧索引精确预测。 基于884万余条语料的预注册回放确认预测,为迁移策略选择与窗口深度设定提供量化依据。
RAMP 提出统一答案读取协议,揭示读取方式显著影响多模态模型评估结果。 在 500 道 POPE 对抗题上,SmolVLM-256M 准确率因读取类型差异波动达 20.2 个百分点,TinyLLaVA-1.1B 为 16.4 个百分点。 该协议提供可复现分析框架,将答案读取确立为多模态评估中可测量的关键组件。
研究发现向 LLM 合成受访者提供人口统计信息对个体预测增益微小,多数群体估计增益可被普查数据或合成画像替代。在 11 个开源模型和 3 个托管模型中,模型倾向于使群体差异扁平化,尤其是宗教和民族差异。 该研究基于两项美国调查,对比了 LLM 与统计模型在相同信息下的表现。 作者提出了一种审计方法,帮助调查机构判断哪些估计可以使用人口统计记录。
ReconPotBench 发布,这是一个包含 1,032 个三轮交互的多轮 Linux 侦察蜜罐基准测试,参考输出来自真实 Linux 环境。 测试对比了 Cowrie、开源和闭源 LLM 在轮次真实性、跨轮上下文一致性以及黑客侦察价值三个维度的表现。
GaugeRoPE 提出了一种无需训练的潜在 KV 缓存压缩方法,在 Mistral-7B 上实现 5.85 倍压缩,解码吞吐量提升 2.48 倍。 该方法通过 RoPE 兼容载波与位置无关残差 KV 修正,避免逐 token 历史 K/V 重建,支持 MHA 和 GQA 架构。
TrainExplorer 通过策略规划与解耦执行,在 PostTrainBench 上取得 39.02 分,超越 Claude Code 7.32 分并高于 GPT-5.6 Sol 驱动的 Codex。该框架利用文献构建策略搜索空间,通过单组件干预解决现有方法中的策略锁定与执行耦合问题,代码将公开。
审计显示最廉价可行LLM路由器在91.82%机会中部署,却导致32.22%服务合同违约。 引入菜单感知路由承诺框架MARC及其实用变体MARC-P,将条件失败率降至0.73%并维持85.79%部署率。 研究确立部署承诺为连接路由评估、服务可靠性与推理成本的独立运营决策。
针对 GPTQ 贪心优化中连续缩放与离散整数分离的瓶颈,JointQ 提出了一种联合缩放与整数量化的方法。通过在组量化中利用 Hessian 矩阵重新计算每组最优缩放,并在所有比较中保持校准误差不高于 GPTQ,实现了对 GPTQ 解决方案的改进。
研究提出 ViStoryBench-Personality 基准评测七种文生图系统,确认其存在“特质崩塌”现象,即无法维持符合人格的行为一致性。 引入免训练框架 Trait-Behavior-Visual,将人格特质分解为视觉约束,使人格对齐分数提升最高 22.1%,且语言条件能力强的模型获益更大。