RubricReviewer:通过智能体证据合成与人机对齐生成,从直接批评转向基于评分标准的审稿
RubricReviewer 提出完全基于评分标准的框架,解决现有 LLM 审稿工具将标准推导与判断纠缠、范式片面化的两大结构性局限。 该框架将评分标准生成设为显式中间步骤,结合免训练智能体 Scout 收集外部证据与对齐模型 Aligner 消费证据,融合两种监督源优势。 实验显示其审稿比现有系统更全面具判别力,且对对抗性提示注入攻击展现最强鲁棒性,已被 EMNLP 2026 接收。
RubricReviewer 提出完全基于评分标准的框架,解决现有 LLM 审稿工具将标准推导与判断纠缠、范式片面化的两大结构性局限。 该框架将评分标准生成设为显式中间步骤,结合免训练智能体 Scout 收集外部证据与对齐模型 Aligner 消费证据,融合两种监督源优势。 实验显示其审稿比现有系统更全面具判别力,且对对抗性提示注入攻击展现最强鲁棒性,已被 EMNLP 2026 接收。
提出 Relay-OPD 方法解决在策略蒸馏中的前缀失败问题,通过教师在触发点接管生成教师腿并移交给学生。 使用 Qwen3-4B-Instruct-2507 作为教师模型,Relay-OPD 在 8 个基准上平均优于标准 OPD 5.73%,且减少超过 50% 的训练轨迹长度。
研究分析 792 名自报 ADHD 或 ASD 的推特用户 128 万条推文,发现 ASD 用户自杀意念语言更频繁,ADHD 用户认知问题语言更突出。 模型结合 Qwen3-8B 与 MentalRoBERTa,最终管道精度达 0.48-0.59,F1 为 0.55-0.68,组间区分度 ROC-AUC 为 0.60-0.62。
summary_zh: DriftGuard 框架通过多监控漂移检测与选择性模型更新,提升了毒性内容审核的准确性。 在 Civil Comments 数据集上,有毒召回率从 0.8453 提升至 0.8777;在 DynaHate 上从 0.7107 提升至 0.8523。
对12个VLM的8种UE方法基准测试发现,UE质量随模型准确率下降而恶化,无法在模型最薄弱处提供可靠信号。在NOTA扰动测试中,模型准确率崩塌但不确定性几乎不变,导致系统性失准。未扰动输入下的不确定性仍能可靠预判哪些预测在扰动下会失效,证明UE具备诊断模型脆弱性的价值。
研究者推出 CRADLE-Dialogue 基准及 32B 参数模型,旨在解决多轮对话中的实时危机检测难题,显著优于现有开源模型。 该基准包含 600 个对话,覆盖自杀意念等临床风险,并引入 Alert-Confirm 评估协议区分预警与确认阶段。模型在真实患者访谈中展现出良好的泛化能力。
K-BrowseComp 发布了包含 400 道题目的韩语网页浏览智能体基准,其中 300 道验证子集由韩语母语者人工构建。 前沿 LLM 如 GPT-5.5 在该子集上的得分仅为 30.00%-45.67%,而韩国本土 LLM 得分在 0.00%-10.33% 之间。 研究团队公开了数据和代码,以填补韩语智能体基准的空白。
JuICE 是用于评估 LLM-Judge 识别文化错误的多语言基准,包含 7470 个错误片段标注和 1050 个查询响应对。 覆盖美、韩、印尼、孟加拉四国,使用英语及当地主要语言,涉及长篇 LLM 响应中的文化与语言错误。 最强 LLM-judge 在错误片段检测任务中 F1 仅为 0.51,且持续遗漏本地居民易识别的深层文化错误。
论文提出多域对比策略优化(MCPO),通过对比学习解决混合域强化学习中不同领域能力相互冲突的问题。 该方法在关键推理片段定位交互单元,利用互补对比目标实现跨域知识共享与域内巩固。MCPO 比现有方法平均高 3.17 分,并超越单域训练 1.05 分。
该研究提出在语言模型中诱导人工不确定性,以解决缺乏挑战性数据训练监督式不确定性量化方法的问题。 通过探针识别原始模型中的人工不确定性,结果显示此类探针在识别真实不确定性时优于未使用人工不确定性的探针,且在困难数据上校准效果更佳,易处理数据性能损失极小。 该成果已发表于 TMLR,有助于提升关键安全应用中语言模型的不确定性表征能力。
研究发布Metacognitive Profile Atlas,收录33个前沿LLM在1,500个MMLU条目上的答案及口头置信度数据,共46,157条有效观测。
研究提出首个 Token 置信度(phi_first)指标,利用单次贪心解码检测幻觉,在 PopQA 和 TriviaQA 基准上匹配或略超语义自一致性。该指标基于前 K 个 Token 的归一化熵,仅需一次解码,避免传统方法所需的十次采样生成及 NLI 聚类,作为低成本的部署基线。
针对标准预训练语言模型在对话情感识别中缺乏可解释性且易将少数类误判为中性类的问题,研究者结合模糊指纹技术提出了解释性方法。该方法通过模糊相似函数匹配情感原型,实验显示减少了中性类过度分类,并获人类评估支持,在达到最先进水平的同时揭示了分类过程。
一项批判性综述考察了 OpenAI、Anthropic 等八家厂商前沿模型的语言习惯与谄媚现象。 研究核实了截至 2026 年 10 月 1 日的官方文档,并综合了关于词汇过度表征及风格差异的实证研究。 论文提出了针对重复性、语境适当性及信念扭曲的独立测量框架。
研究引入分层基准 SteerEval,在语言特征、情感和人格三个领域评估 LLM 可控性,发现控制力在细粒度层级显著退化。 SteerEval 将行为意图连接至具体文本输出,划分为表达内容、表达方式和实例化三个层级,为安全可控的 LLM 行为提供解释性框架。
该研究提出统一框架,将 LLM 的 LoRA 微调与激活干预解释为控制信号诱导的动态权重更新。 分析表明,强操控在提升目标概念倾向(preference)的同时,可预测地降低生成连贯性(utility)。 基于此,新方法 SPLIT 在增强操控效果的同时更好地保留效用,代码已开源。
CD4LM 提出可组合框架加速扩散语言模型,在 GSM8K 上实现 5.18 倍加速且保持准确率,叠加缓存加速器后达 9.73 倍。 核心组件 Discrete-Space Consistency Distillation (DSCD) 训练轨迹不变学生模型,结合 ConfidenceAdaptive Decoder 解决静态到动态不匹配。
研究团队发布943个训练样本及736个测试基准,利用CATS框架评估大语言模型在文档冲突下的信任决策与推理能力。 微调模型生成的思维轨迹显著提升表现,拒答F1得分从0.429提高至0.826,事实依据得分在40词提示下达到0.86至0.88。
研究提出利用医疗共识指南生成黄金标准推理链,对 MIMIC-III 进行大规模监督微调。 应用 SOFA、SAPS-II 和 Sepsis-3 指南显示,小型微调模型在推导正确性和 F1 分数上显著优于大型单次提示模型。 单次提示难以产生可靠的逐步推理,且模型在预测未来临床变量时性能普遍下降。
研究提出基于 RAG 的反驳语生成管线,利用联合国等权威人权知识库覆盖八类受歧视群体。该管线在事实基础、多样性和感知效用上优于无 RAG 基线。人类评估显示 RAG 缩小了内外部群体对反驳语效的感知差异。
该工作构建了首个公开的孟加拉语文本到 Gloss 翻译数据集,包含 1,000 条人工标注、4,000 条合成数据及 159 条测试对。 实验对比了微调开源模型与 GPT-5.4,GPT-5.4 自动指标得分最高,但较小的开源模型表现也具有竞争力。 这证明了系统性生成的合成数据在解决低资源手语翻译挑战中的有效性。
3D-MoE 发布,这是一款采用混合专家架构的 3D 视觉语言模型,旨在解决空间智能任务中密集 Transformer 的高计算成本。 其核心创新包含模态与空间上下文感知的概率路由方案,并集成了基于扩散的 Pose-DiT 动作头,实现单步生成 6D 位姿动作。 该模型在减少激活参数量的同时实现了机器人操作任务的实时推理,代码已开源。
这项研究提出一种基于多智能体交互与自然语言处理(NLP)的管线,用于降低生成式 AI 系统的幻觉风险,并显著改善模型响应的可解释性。
研究发现 LLaMA、Qwen 和 Aya 模型在 19 种语言生成传记时存在幻觉率差异,高资源与低资源语言间差距显著。 研究通过扩展 FactScore 指标至多语言场景进行量化,并将生成结果与 Wikipedia 页面进行对比以评估准确性。 该成果已被 PMLR 会议接受,揭示了 LLM 多语言性能及幻觉评估面临的挑战。
潜在晶格通过引入沿时间递归运行的逐层横向潜在流,在 406M 参数模型上验证困惑度从 15.41 降至 14.40。 该架构与超连接等技术组合可将困惑度进一步降至 13.61,且在混合架构中优于更大原生状态基线。 研究确立持久逐层状态是扩展语言模型计算的互补轴。
针对 2002-2023 年 637 个北大西洋及北太平洋东部热带气旋,将 NHC 讨论文本与 SHIPS、ERA5 预测因子结合用于强度预测。 在 2022-2023 年气旋上,将讨论信息加入 SHIPS 因子后,24 小时最大持续风速预测的 MAE 从 9.89 降至 8.90 kt,且重抽样置信区间未包含零。
研究揭示 Qwen3-VL 通过绑定头、光标信号、选择步骤和注视头四部分机制规划视觉回答顺序,该机制在 2B 至 32B 模型中均成立。 因果干预验证显示该机制适用于不同输入格式、自然照片及多种语言,binding、relay 和 gaze 头存在于所有测试模型尺寸中。 此发现为研究模型在长程多步任务中的规划过程提供了新路径。
针对大语言模型阅读 FOMC 文本进行经济预测时的时序数据污染,研究发现部分技能源于对结果的记忆。在 2000 至 2026 年的 FOMC 声明和会议纪要上,仅凭先验信息的模型对过去 GDP 预测的 AUC 可达 0.64。 研究通过对比时间一致性模型,发现实时预测中的前瞻优势在多重检验校正后不可检测,建议直接评估记忆效应。
一项覆盖20个大语言模型的研究发现,当多个规则独立触发时,解释中引用的单一正确理由通常无法帮助用户成功改变结果。 在7个移植自访问控制和福利资格系统的规则系统中,6个显示出“修复正确理由后决定仍为拒绝”的高频现象;各模型识别该缺陷的能力接近随机。 研究指出,仅当询问“按解释操作是否有效”时强裁判模型才能发现缺陷,且推理型模型在含4个以上独立理由的拒绝中仍频繁失效。
研究发现视觉语言模型在跨图像比较中存在特定失败点,通过调整16-32个注意力头可显著提升性能。在Qwen3-VL-8B模型上,仅训练这些头的查询和键投影使SPair-71k准确率提升28.3分,该效果可迁移至其他基准测试。
在124,416个上下文中,乐观验证器通过填充被黑客利用,充分性代理得分0.940,但真实忠实度从0.731降至0.667。 研究通过9种配置验证了表型重现,充分性损害在所有10个复制单元中为正,且在7个中超过两个标准误。
研究通过精确验证器测试小模型学习推理能力,发现4B模型微调后在特定策略上准确率达92%。 模型仅掌握固定的充分性检查流程,在未见过的策略上虽保持94%充分性但最小性降至48%;强化学习未能提升泛化性。
summary_zh: 该框架结合预测不确定性与零样本多模态相关性风险代理,在解码时分配水印强度,实现无需重训的检测-质量权衡。 单风险惩罚参数 $\lambda$ 控制工作前沿,选中点平均水印强度较固定强度降低约 59.4%,困惑度变化从 0.3634 降至 0.1689。
针对权重分解方法难以降低延迟的问题,研究者提出均衡孪生权重分解(BTWF)方法。该方法通过共享基底设置减少前向计算,并结合因子与块贡献均衡机制提升学习能力。在六个模型、九个基准测试中,BTWF 无需昂贵微调即可比最先进方法提升 2-6% 性能,计算成本相当。
研究发现嵌入映射中远端方向难以生成文本,LLM 解码器在展示邻居时能复现目标,但在无邻居搜索中表现优于最近项,对远端点则效果甚微。 k-means 单元中,密度间隙评分对预测增长无显著贡献,Steam 新品中更孤立的游戏评价略好,arXiv 论文 LLM 续写比引用源更贴近原文。 揭示真实后续标题会引导创意方向,评审、预言机和距离反馈分别增加了 0.13、0.08 和 0.34 的方向转向幅度。
预注册研究测试了42名大学生与聊天机器人的对话,发现英语占主导,而在文化话题中,低资源语言Papiamentu/o和西班牙语的使用占比从15%上升至24%。 参与者极少在同一条消息中混合多种语言,且自报对AI的语言切换舒适度不亚于与人交流。 这表明会话AI需要适应逐轮次的语言变化,并优化对本地低资源语言的处理。
研究构建基于美国时间使用调查(ATUS)的506个决策场景图谱,发现LLM代理人存在显著隐性偏差。 众包审计中500名参与者对8,010个场景进行优先级排序,更关注高 stakes 或全群体一致决策的情景,而非偏差幅度。 研究为构建个性化AI代理人及利用众包方法进行偏差审计提供了重要启示。
研究者提出仅用于训练的SAGA正则化器,利用居中控核对齐将神经分子表征与指纹Tanimoto相似度对齐,且不增加参数或需推理时使用指纹。 该研究基于MolCA和Atomas模型进行验证,SAGA提升了分子-文本检索性能,使非精确检索偏向更接近的结构类似物,并提高了骨架分割属性预测的平均表现。 结果证实,既有的化学信息学先验知识可增强分子语言模型表征的化学真实性,同时保留其多模态效用。
研究提出Stream of Belief(SoB)框架,通过维持连续潜在信念并迭代优化,实现多智能体推理的集体均衡。 该方法在跨任务和模型族的实验中展示了泛化能力,支持代码开源。 结果暗示了通过信念动力学扩展多智能体推理的新视角。
研究提出任意时刻有效的 PAC-Bayes 证书,解决自适应测试时缩放中校准选择后的统计推断问题。 针对有限预算与验证器网格,罚项为 $\log M/n$;在 GSM8K 上,该证书在 5% 名义水平下始终优于最佳选择误差,全测试集误差紧化至 0.109。 提供了一种无分布假设的轻量级方法,用于报告自适应推理系统的风险与计算成本。