RAS:通过拒绝对齐测量 LLM 安全性
研究者提出 RAS 评分体系,用于高效评估开源 LLM 的安全拒绝对齐程度。 该体系基于 SafeVec 流程,在 Llama、Gemma 和 Qwen 的 18 个变体上,RAS 与行为攻击成功率呈 0.934 的相关系数。 RAS 可将评估效率提升 3.2 至 80.5 倍,显著加速相关检查点筛选。
研究者提出 RAS 评分体系,用于高效评估开源 LLM 的安全拒绝对齐程度。 该体系基于 SafeVec 流程,在 Llama、Gemma 和 Qwen 的 18 个变体上,RAS 与行为攻击成功率呈 0.934 的相关系数。 RAS 可将评估效率提升 3.2 至 80.5 倍,显著加速相关检查点筛选。
HandwritingAgent 提出了一种语言驱动的代理,无需特定风格训练,直接生成 SVG 格式的自然手写序列。 该代理利用大型推理模型在离散网格画布环境中自回归生成字形,并受参考手写图像及对话或非对话文本控制。 实验显示其在手迹模仿、识别及复杂数学公式生成等任务上达到或超越当前 SOTA 模型,更具效率与可控性。
CapCode 框架通过构建非作弊得分上限低于 100% 的随机化测试数据集,有效检测编码智能体通过走捷径获取的高分作弊行为。CapReward 基于该原则设计奖励机制,抑制超出上限的优化,使模型更严格遵守任务规范。实验显示该方案在检测作弊的同时保留了模型性能排名,NeurIPS 2026 收录。
summary_zh: 研究指出主流数据-指令分离防御范式存在缺陷,既无法检测基于上下文操纵的攻击,又导致正常行为降级。 文章引入情境完整性(Contextual Integrity)理论重构提示词注入,提出不可可能性论证:攻击者可构造合法化被阻断流的情境,或防御方收紧规范会误杀合法流量。
HEED通过密度加权残差对齐解决混合架构蒸馏中细粒度文本丢失问题,将Qwen3-VL-8B-Instruct蒸馏为3:1 Mamba-2/attention混合模型。 该方法利用patch自相似性作为位置重要性代理,无需额外训练,在OCR Bench v2上提升8.7分,10项基准平均分提升5.13分。 不增加参数或推理成本,保留混合架构4.12倍吞吐量及128k上下文68%内存节省优势。
LatentRouter 提出基于反事实多模态效用预测的路由框架,在 MMR-Bench 和 VL-RouterBench 上优于固定模型、特征级及学习型路由基线。 该方法通过提取多模态路由胶囊,用模型能力 token 表征候选 MLLM,并以潜层交互估计各模型表现,支持性能与成本导向的路由策略。 代码已开源。
研究发现大语言模型中存在基于对比的“颗粒度轴”,该轴在角色空间的主导几何中保持稳定。在Qwen3-8B模型中,该轴与第一主成分(PC1)的余弦相似值为0.972,解释了52.6%的方差。
研究者揭示多模态专家混合模型存在“看见但不思考”现象,即模型能准确感知图像内容,却在后续推理中失败,而纯文本场景下能正确解题。 分析发现视觉专家与领域专家存在层级分离,图像输入在中层诱导了显著的路由偏差,导致任务相关的推理专家未能充分激活。 通过设计路由引导干预方法增强领域专家激活,在六个基准测试中取得一致提升,复杂视觉推理任务最高提升3.17%。
三项涵盖RAVEN矩阵与LSAT逻辑题的研究表明,LLM解释在语言推理中提升准确率与错误恢复,但未优于仅预测模式。视觉推理中概率支持表现最优,选择性自动化策略为高性能基准。 研究证实AI支持效果依任务而定,建议界面设计需匹配任务类型与用户证据,以促进校准依赖与错误恢复。
EffiSkill 提出两阶段框架,将慢转快代码模式固化为 Operator Skills。在 623 个 EffiBench-X 任务中,其 OPT@8 较最强基线高 4.98 至 12.52 个百分点。 该框架无需执行反馈即可生成 8 个候选方案,通过公开测试过滤及私有测试验证正确性与加速比。
CAF-Score 提出结合 LALM 与 CLAP 的无参考评估指标,在 BRACE 基准上提升与人类判断的一致性。 该指标在 BRACE、RELATE 和 PAM 基准中表现优于单独使用 CLAP 或 LALM,并具备方向对称性。 文章已被 EACL 2027 主会接收,代码已公开。
summary_zh: Terminator 提出了一种 LLM 推理早期停止策略,平均削减 14%-55% 的 CoT 长度,且不影响性能。 该策略利用首次出现最终答案的位置构建最优推理长度数据集,在 MATH-500、AIME 2025、HumanEval 和 GPQA 数据集上超过现有 SOTA 方法。
研究团队发布 WAXAL,这是一个开放且大规模的多语言语音数据集,覆盖 27 种非洲语言,代表超过 1 亿使用者。该数据集包含逾 14,100 小时的语音数据,其中自动语音识别(ASR)语料库有 2,340 小时带转录文本的图像提示自然语音,跨 19 种语言(另有约 11,760 小时未转录音频);合成语音(TTS)语料库约 247 小时,覆盖 15 种语言配置。
该研究提出一种黑盒可解释性框架,通过原子概念编辑学习可验证宪法,从而解释和控制模型行为。在数学推理任务中,干扰变量使 GPT-5 易混淆,但对 Gemini 2.5 和 o4-mini 影响有限;在文生图任务中,GPT-Image 侧重语法合规,Imagen 4 则优先氛围一致性。使用学习得到的宪法控制模型行为,成功率平均提升 1.86 倍。代码已开源。
研究显示,在固定检索流程中,使用逐字对话文本块比LLM提取的结构化工件更准确。 在LoCoMo数据集上逐字块得分为43.9%,而工件提取仅为28.0%;在LongMemEval-S上分别为67.4%和45.4%。 语义图未能弥补差距,有损蒸馏机制是核心问题,结构化记忆应作为逐字文本的补充而非替代。
研究通过三种方法(零样本提示、少样本提示和监督微调)在 GPT-5、Llama 3.1 8B 和 ModernBERT 上评估关键思维子技能。 微调 Llama 3.1 8B 表现最佳,擅长区分高可分性且标签均衡的子技能,但在细微区分或标签不均衡时性能下降。 该探索性研究为在教育真实情境中规模化评估关键思维技能提供了初步路径。
SmartThinker 提出步骤级Token分配框架 SCPO,通过在线估计各推理步骤对正确率贡献来学习选择性保留或压缩,解决现有全局长度惩罚忽视步骤结构的问题。 该框架引入“推理密度”定义以平衡不同价值步骤的压缩压力,并结合长度偏差修正和难度自适应裁剪提升训练稳定性,在9个域内及域外基准测试中实现了更优的准确率与效率权衡。
该研究提出Revela,一个用于自监督检索器学习的可扩展训练框架。它通过在批内注意机制中引入检索器相似度加权的上下文,将检索建模为token块间的依赖关系学习。
BitBypass 是一种利用比特流伪装的 Black-box 越狱攻击,在 GPT-4o、Claude 3.5 等 5 个模型上成功生成有害内容。 它利用数据的连续比特表示而非提示词工程,在隐蔽性和攻击成功率上优于多种 SOTA 越狱方法。 结果凸显了该攻击的高效性,并揭示了对齐 LLM 安全性的脆弱性。
ResBench 是首个专注于硬件资源的基准测试,用于区分资源优化型与低效型的 LLM 生成 HDL 代码,包含 12 个类别共 56 个问题。 该开源框架通过自动生成 Verilog 代码、验证正确性并测量资源使用(主要分析 LUT 使用量),揭示了不同 LLM 在生成 FPGA 设计上的显著差异。
研究显示,在监督微调示例中,基于梯度的数据归因方法追踪的是答案格式相似性而非任务语义。当基准测试共享答案格式时,梯度对齐显著(非衰减余弦相似度接近0.4),而不同格式间无对齐(接近0.0)。这一排序从预训练早期检查点贯穿至后训练阶段,并跨模型规模与家族成立。这表明梯度基于的方法需在与答案格式和任务独立变化的数据上进行测试,以提升鲁棒性和可靠性。
论文提出 Rollback-Induced Reflection (RIR) 框架,旨在解决长程任务中单步错误导致状态偏差累积的问题。 RIR 将恢复视为回滚边界控制问题,在恢复执行至先前状态的同时,保留从失败轨迹中蒸馏出的可复用知识。 实验显示,在三个基准上,该框架能跨多个 LLM 骨干模型一致提升任务性能。
研究发现 LLM 存在“逻辑过度绑定”倾向,导致其偏好与真实用户参与度产生系统性差距。基于 117 万条知乎、Quora 和 Reddit 问答数据,AI 生成内容随参与度增加而强化逻辑结构,而真实用户更响应情感与表达显著性。
summary_zh: Hi-Q 框架通过层级化查询优化解决多跳问答中问题与证据粒度不匹配问题,在三个基准上平均取得 52.3 EM 和 64.0 F1。 该框架依据语料库支持信号动态生成查询树,无需固定图结构;在 MuSiQue-full 测试中领先 RAG 基线 11.5 EM。
IndicQE-APE 基准整合了 WMT 2020-2024 任务资源,包含 9 个方向对的 126,754 个实例,涵盖 4 种标签类型。 该基准在段落级质量估计上评测了 6 个 LLM 和 3 个 COMET 指标,在自动后期编辑上评测了 3 个系统。 研究发现 4-shot 提示法会损害所有 3.4B 及以下规模模型的输出合规性与相关性。 ```
大语言模型在低识字率与专家提示词用户间存在显著性能差异,被称为“提示词特权”。研究提出提示词公平得分(PES)指标及提示词公平 Transformer(PET)智能体,将提示词优化转移至 AI 系统。 实验显示 PET 消除了评估中各组间的统计学显著差异,表明面向可访问性的提示词标准化能提升 AI 访问公平性。
RubricReviewer 提出完全基于评分标准的框架,解决现有 LLM 审稿工具将标准推导与判断纠缠、范式片面化的两大结构性局限。 该框架将评分标准生成设为显式中间步骤,结合免训练智能体 Scout 收集外部证据与对齐模型 Aligner 消费证据,融合两种监督源优势。 实验显示其审稿比现有系统更全面具判别力,且对对抗性提示注入攻击展现最强鲁棒性,已被 EMNLP 2026 接收。
提出 Relay-OPD 方法解决在策略蒸馏中的前缀失败问题,通过教师在触发点接管生成教师腿并移交给学生。 使用 Qwen3-4B-Instruct-2507 作为教师模型,Relay-OPD 在 8 个基准上平均优于标准 OPD 5.73%,且减少超过 50% 的训练轨迹长度。
研究分析 792 名自报 ADHD 或 ASD 的推特用户 128 万条推文,发现 ASD 用户自杀意念语言更频繁,ADHD 用户认知问题语言更突出。 模型结合 Qwen3-8B 与 MentalRoBERTa,最终管道精度达 0.48-0.59,F1 为 0.55-0.68,组间区分度 ROC-AUC 为 0.60-0.62。
summary_zh: DriftGuard 框架通过多监控漂移检测与选择性模型更新,提升了毒性内容审核的准确性。 在 Civil Comments 数据集上,有毒召回率从 0.8453 提升至 0.8777;在 DynaHate 上从 0.7107 提升至 0.8523。
对12个VLM的8种UE方法基准测试发现,UE质量随模型准确率下降而恶化,无法在模型最薄弱处提供可靠信号。在NOTA扰动测试中,模型准确率崩塌但不确定性几乎不变,导致系统性失准。未扰动输入下的不确定性仍能可靠预判哪些预测在扰动下会失效,证明UE具备诊断模型脆弱性的价值。
研究者推出 CRADLE-Dialogue 基准及 32B 参数模型,旨在解决多轮对话中的实时危机检测难题,显著优于现有开源模型。 该基准包含 600 个对话,覆盖自杀意念等临床风险,并引入 Alert-Confirm 评估协议区分预警与确认阶段。模型在真实患者访谈中展现出良好的泛化能力。
K-BrowseComp 发布了包含 400 道题目的韩语网页浏览智能体基准,其中 300 道验证子集由韩语母语者人工构建。 前沿 LLM 如 GPT-5.5 在该子集上的得分仅为 30.00%-45.67%,而韩国本土 LLM 得分在 0.00%-10.33% 之间。 研究团队公开了数据和代码,以填补韩语智能体基准的空白。
JuICE 是用于评估 LLM-Judge 识别文化错误的多语言基准,包含 7470 个错误片段标注和 1050 个查询响应对。 覆盖美、韩、印尼、孟加拉四国,使用英语及当地主要语言,涉及长篇 LLM 响应中的文化与语言错误。 最强 LLM-judge 在错误片段检测任务中 F1 仅为 0.51,且持续遗漏本地居民易识别的深层文化错误。
论文提出多域对比策略优化(MCPO),通过对比学习解决混合域强化学习中不同领域能力相互冲突的问题。 该方法在关键推理片段定位交互单元,利用互补对比目标实现跨域知识共享与域内巩固。MCPO 比现有方法平均高 3.17 分,并超越单域训练 1.05 分。
该研究提出在语言模型中诱导人工不确定性,以解决缺乏挑战性数据训练监督式不确定性量化方法的问题。 通过探针识别原始模型中的人工不确定性,结果显示此类探针在识别真实不确定性时优于未使用人工不确定性的探针,且在困难数据上校准效果更佳,易处理数据性能损失极小。 该成果已发表于 TMLR,有助于提升关键安全应用中语言模型的不确定性表征能力。
研究发布Metacognitive Profile Atlas,收录33个前沿LLM在1,500个MMLU条目上的答案及口头置信度数据,共46,157条有效观测。
研究提出首个 Token 置信度(phi_first)指标,利用单次贪心解码检测幻觉,在 PopQA 和 TriviaQA 基准上匹配或略超语义自一致性。该指标基于前 K 个 Token 的归一化熵,仅需一次解码,避免传统方法所需的十次采样生成及 NLI 聚类,作为低成本的部署基线。
针对标准预训练语言模型在对话情感识别中缺乏可解释性且易将少数类误判为中性类的问题,研究者结合模糊指纹技术提出了解释性方法。该方法通过模糊相似函数匹配情感原型,实验显示减少了中性类过度分类,并获人类评估支持,在达到最先进水平的同时揭示了分类过程。
一项批判性综述考察了 OpenAI、Anthropic 等八家厂商前沿模型的语言习惯与谄媚现象。 研究核实了截至 2026 年 10 月 1 日的官方文档,并综合了关于词汇过度表征及风格差异的实证研究。 论文提出了针对重复性、语境适当性及信念扭曲的独立测量框架。