BMMS 提出:基于策略的条件化行为合规度量框架
研究引入 BMMS 套件,通过计算合规达成率(CAS)和稳健性裕度(CRM),对语言模型在特定规则下的行为合规进行条件化评估。 在包含 1,003 项义务的测试中,其归因判定精度达 94.4%,且跨供应商重评分保持了目标排序不变。 GPT-4o 在 OpenAI 官方模型规范下的硬性约束失败率为 70.7%,显著高于 Claude 模型的 0.0% 和 9.1%。
研究引入 BMMS 套件,通过计算合规达成率(CAS)和稳健性裕度(CRM),对语言模型在特定规则下的行为合规进行条件化评估。 在包含 1,003 项义务的测试中,其归因判定精度达 94.4%,且跨供应商重评分保持了目标排序不变。 GPT-4o 在 OpenAI 官方模型规范下的硬性约束失败率为 70.7%,显著高于 Claude 模型的 0.0% 和 9.1%。
大语言模型因高资源需求限制其边缘设备部署。 最近的软件优化和专用硬件创新使得在边缘设备部署LLM成为可能,带来本地数据处理、成本节约和低延迟等优势。 本文综述了使LLM边缘部署可行的最新技术。
研究通过区分感知与计数复杂度,揭示多模态LLM在图示任务中失败的根源。针对Gemini等模型,思维链模式下错误率主要受答案数值量级驱动(每十进制数下降2.38倍)。提供代码与转录后,10x10网格计数正确,但单次阅读易漏横向边;结合旋转副本二次读取,大网格精确识别率达86/96。
研究提出 PHANTOM-Bench 基准,用于测量多智能体 LLM 系统中“幻影共识”现象,即公开决策受模糊社交信号影响而偏离私有判断。 在涵盖九种模型测试中,模糊公开信号导致决策准确率最高下降 47.8 个百分点,集体理性失败率最高达 47.3%。 该研究被 NeurIPS 2026 SocialAgent Workshop 接收,指出评估多智能体系统需区分真实共识与表面共识。
AttentionSwitch 提出首个联合优化冻结 LLM 中干预位置与强度的越狱防御方法,学习稀疏注意力头集合及查询条件乘法缩放因子。 该方法在流行语言模型和越狱攻击上表现优于现有防御,尤其在训练数据稀缺时效果显著。
该研究提出一种不修改原模型的可逆规则叠加框架,利用 LLM 基于 SHAP 特征生成欺诈检测规则。 通过平均池化三个不同 LLM 骨干来降低高方差,该方法在电商欺诈检测中实现等精度下召回率提升 2.26%,且每条规则均为可读谓词。
提出首个基于目标隐藏状态条件的流匹配推测解码范式 ChainFlow,只需 1-2 步传输即可生成草案。 在 Qwen3.5 模型上,同规格下 ChainFlow 比 EAGLE-3 和 DFlash 快 39% 和 11%,代码与模型已开源。
提出混合 RAG 框架,融合知识图谱结构化推理与稠密向量检索。 框架采用多阶段流水线,基于 Transformer 摘要与语义切块构建动态知识图谱。 实验显示混合方法在 MultiHop-RAG 数据集上 Exact Match 分数高于单一基线。
CodeQuant2 提出了一种基于聚类的查找表(LUT)量化框架,旨在解决低精度大推理模型(LRMs)的量化挑战。 该框架通过旋转和缩放缓解激活异常值,利用聚类表示非均匀权重分布,并根据量化难度自适应调整代码本大小,同时结合定制的 LUT CUDA 内核。 在推理基准测试中,CodeQuant2 带来了显著的精度提升,并实现了相对于 BF16 高达 2.85 倍的加速。
Compaction 双层对话记忆在 LoCoMo 基准的可比四类别中得分为 71.4%,超越 RAG 的 64.6%,且提示 token 减少 34%。 该优势在包含对抗集的五个类别中缩小至 2.0 分并失去统计显著性,主要因 RAG 在对抗场景领先 14.6 分。
多模态大语言模型终身知识编辑面临严重灾难性遗忘问题,现有方法难以避免序列编辑对预训练能力的干扰。 ROSE 框架通过限制参数更新在正交互补子空间并引入风险掩码机制,成功保护了关键事实参数子空间,确保模型稳定性。 在两个主流多模态基准测试中,ROSE 在连续 1,000 次更新中保持了卓越稳定性,其表现与最先进方法相当。
基于 1,100 个 BEAM 问题研究显示,增大 passage budget 可提升平均分,但高分预算下边际收益递减。 实验对比 Qwen 和 Mistral 的消息保留表现:Qwen 在直接需求下匹配完整状态率更高,Mistral 结果接近最低基线。 可靠的预算选择需保留证据并验证评估指标,当前评分审计尚未解决 BEAM 答案正确性问题。
LambdaMix 通过联合训练低秩适配器,利用组相对在线强化学习实现偏好条件化策略族的学习。该方法仅需一次训练运行即可支持推理时动态调整偏好,无需进一步优化。
研究提出 QGPM,这是一种无需训练的方法,利用模型自身注意力头的查询相关性重塑 RoPE 位置,以缓解长上下文中的“中间迷失”现象。 QGPM 在低层构建广泛相关性图,高层构建尖锐图;低相关性令牌在快速旋转平面上推进不足一个位置,将相关证据拉向查询,而慢速旋转平面保持原布局。
论文提出 APEX 框架,通过两阶段检索实现无需微调的口语理解(SLU)。该框架先利用意图原型筛选候选意图,再在选定意图空间内检索上下文示例。 在 SLURP 数据集上,APEX 使 Qwen3 4B 和 Gemma-3-4B 的 EMA 分别提升 4.34 和 3.97 个百分点;高困惑度输入下 EMA 增益为 7.66 和 2.13 个百分点。
OpenCoder-1.5B 在 2 万亿 token 预训练中表现出表征漂移:对于 16 个语法确定下一个 token 的 Python 结构,虽然损失在训练前 4% 内触底,但模型对承载神经元的依赖持续增长,且承载集在最后检查点仍在变化。移除 840 亿 token 时确定的承载集在训练结束时与随机集无法区分,而离开某结构承载集的神经元回归率是对比神经元的 3 倍,证明了预设定假说的错误。
提出校准概念画像方法,将模型神经元激活读取转化为具有单位和噪声指标的测量。在 OpenCoder-1.5B 模型上实现,跟踪跨越 2 万亿训练 token 的检查点,计算每个神经元的一个数值,提供比较的偶然水平基准。 该方法发布代码和数据集 AtlasOpenCoder v1,确保读取可重复、可比较,避免跨研究无法转移的问题。
从 Agent Skills 提取监督信号构建 subagent 授权训练数据,在 ClawArena-Team 上使 Qwen3.5-35B-A3B 的任务成功率提升 11.6 个百分点,工具权限精度提升 13.4 个百分点,工作区权限精度提升 24.1 个百分点。
论文提出语义条件相似度(SCS),这是一种条件形式的语义文本相似度(STS),通过集运算消除第三文档中的共享语义元素,计算两个文档间的相似度。 SCS 引入方向性,将两两关系分为侧向和纵向类别;通过减去第三文档的共享内容实现跨文档条件化,实现了无阈值的内容分解。 该框架适用于从 n到1 到 1到n 及 m到n 的文档基数范围,恢复了成对对称比较所抑制的信息。
RL-ATTACK提出了一种基于强化学习的可训练黑盒对抗攻击框架,通过学习目标模型生成定制化对抗变换。 在黑盒场景中,该方法比依赖外部知识的现有方法具有更高的查询效率。在自然语言推理任务中,它能在20次查询内将攻击后准确率降至2%。 在生成式问答任务中,受训攻击者比未受训攻击者一致地实现更低的攻击后准确率,并在6个场景中的4个场景中胜过强基线。代码已公开。
提出模型 Undertone-P,利用其他评分者学习冻结视觉语言模型(VLM)回归权重的高斯先验,实现少样本个性化图像审美评估。 在 PARA 基准测试中,该方法仅用先验达到 0.640 的 Spearman 相关系数,10 和 100 个新评分将其提升至 0.648 和 0.676,且在审美偏好偏离大众时提升显著。
研究发现 LLaDA-8B-Instruct 在迭代解码时对位置偏移敏感,仅 1% 的 token 位移即可显著降低 Arena-Hard 胜率。 作者将连接时序分类(CTC)引入掩码扩散语言模型的监督微调,通过引入吸收位置不确定性的特殊 token 及更新后的坍塌映射,放宽了交叉熵损失的严格位置匹配要求。
在参数服务器框架上提出的混合双批次与循环渐进学习方法,旨在平衡CNN大模型分布式训练的效率与泛化能力。 方法通过结合硬件支持的最大批次以利用计算资源,同时引入较小批次以提升模型泛化;配合循环渐进学习逐步增加图像分辨率以压缩训练时间。 在ResNet-18实验评估中,该方法使CIFAR-100准确率提升3.3%、训练时间缩短10.1%,并将ImageNet训练时间缩减34.7%。
Reward Budgeting 是一种即插即用的优势构建方法,能缓解 LLM 推理强化学习中的过早收敛现象。 在 Qwen3-8B 和 Llama3.2-3B-Instruct 上,该方法稳定提升基线性能,AMC23 提升达 +12.50,AIME24 与 AIME25 提升达 +10.00。 该研究被 NeurIPS 2026 接收,证实无需显式保持熵即可获得显著增益。
SEABench 是一个评估自演化大语言模型智能体内生失准风险的基准,包含 48 个纵向任务序列。该基准提供自适应轨迹发现管线,支持通过配对的无演化智能体进行因果归因。评测显示,自演化虽提高了任务完成率,但常引入安全失败;基于思维链的监控策略能以低误报率缓解不安全行为。
论文提出循环视觉推理器 TraceViT,在 ARC-AGI-1 和 ARC-AGI-2 基准上分别取得 67.8% 和 24.3% 的 pass@2 成绩。 该模型通过语义单调变换链进行中间步骤监督,每个迭代由少样本任务参考和对象工作区提供依据。 消融实验表明,轨迹监督仅在结合接地信息时有效,相关代码和数据将公开可用。
ZeNOVA 提出无梯度初始噪声对齐方法,用于确定性或少数步数生成。 通过退火软值引导、流形约束球面 Langevin 动力学和 Metropolis-Hastings 跳跃,在图像和视频生成任务中稳定优于所有零阶基线方法。
Muon 优化器在 LLM 预训练中大步长动力学不符合经典梯度下降的稳定性边缘(EoS)理论,其解除了损失中性、更新反转与边缘稳定性之间的耦合。 针对无动量随机 Muon,研究推导出经过一致性修正的条件损失中性边界 $2\rho_b/\eta$,并证实时间对齐遵循不同的几何特性。
新模型SKILD通过单一无条件框架统一了图像生成与连续超分辨率任务,无需特定架构或重训练。 在CIFAR-10上达到FID 2.61,并在ImageNet上通过单一检查点实现2倍至8倍超分辨率,在感知指标上超越条件模型。 研究还表明该模型能重构关键的伊辛模型,其四重关联 closely tracks ground truth。
POROS 框架通过构建行为进展图,将慢性健康记录转化为基于对等数据的增量指导。在 1 型糖尿病纵向队列中,相比仅关注终点的基线,POROS 为 14.4% 至 19.8% 的低 TIR 天数返回多跳路径。该框架将碳水化合物摄入、胰岛素剂量及 Bolus 时机的单步变化减少了 38-42%。
ActQuant 提出行动引导混合精度 PTQ 框架,在 LIBERO 基准上以 3 bpw 以下保留 OpenVLA-OFT 95.0% 性能。 通过 2.5 bpw 将主干压缩至 2.7 GB,实现 5.3 倍加速,并在 UR3 机械臂上保持基线成功率。
提出事件锚定的 SAE 可解释性流水线,将特征分析与闭环行为事件对齐而非文本上下文。 在 OpenVLA 和 $\pi_{0.5}$ 模型中,该方法的排序产生最强因果效应,并能转移至连续动作块。
研究利用混合语言模型作为测试平台,识别出“历史源密钥”是连接局部准备与全局检索的通用因果接口。 探针与恢复干预在控制型模型及发布的语言模型间连接了该接口,分析围绕地址上下文半径与顺序检索深度展开。 结果揭示了电路形成、上下文消歧及顺序使用如何通过共享检索接口进行连接,相关代码已开放获取。
BBT方法通过先训练神经网络模拟贝叶斯模型,再对人类行为数据微调,结合两种范式优势。 四个人类概念学习案例研究表明,BBT在预测人类行为方面优于传统方法,能揭示心理洞察并捕捉启发式与偏见。 该模型既模拟贝叶斯先验,又捕获违反简单建模假设的启发式与偏见。
研究提出 UniSD 统一框架,通过整合多教师一致性、EMA 稳定化及特征匹配等机制,系统解析 LLM 自蒸馏的关键组件交互。 该框架基于 3 个模型族的 6 个基准测试,构建了结合互补组件的 UniSDfull 流水线,较基础模型性能提升 5.4 分,较最强基线提升 2.8 分。 UniSD 验证了自蒸馏是一种无需更强外部教师即可高效且可控地适应 LLM 的实用方法。
研究提出 L-VQVAE 生成模型与 LVQMark 水印方法,通过本地化令牌解决多变量时间序列水印在编辑攻击下的可靠性失效问题。 L-VQVAE 从短连续窗口生成离散令牌,LVQMark 结合 logits 偏置注入与鲁棒重编码,在金融、能源、神经影像四个基准上稳定检测力。 该方法在保持生成质量的同时,有效防止攻击导致的 $z$ 分数双向漂移和误报。
研究提出利用权重空间算术提取“量化向量”,实现零样本迁移量化鲁棒性。在 3-bit 设置下,该方法将 PTQ Top-1 准确率提升高达 60%,且无需接收方进行量化感知训练。 在超过 30 个视觉与语言模型任务中,该向量在捐赠与接收任务差异显著时仍能带来收益。研究还严谨证明了量化向量定义良好且不受重参数化对称性影响。
持续后训练中的强化学习 (RL) 仍会遭遇灾难性遗忘。研究指出其根源在于 KL 正则化在旧任务分布上评估。 该方法提出了无需重放 (replay-free) 的 CPO,通过基于历史 KL 目标的局部 Fisher 代理实现稀疏正则化,且额外计算开销极低。 在三种模型规模的实验中,CPO 在保持适应能力的同时,有效减少了遗忘并维持了预训练模型的广泛能力。
summary_zh: 研究者提出将多智能体分发建模为集值语言理解,构建了包含 3000 条 WildChat 提示词的基准测试集。 微调文本编码器在该基准上取得 89.59 F1 分数,远超 GPT-4o 的 41.51;引入 WAR 后处理规则可优化成本效用。
该研究提出 Volterra 生成模型,通过马尔可夫近似解决其非马尔可夫结构导致的得分学习与逆向模拟难题,高斯条件化将去噪降至原始数据维度。 模型与方差爆炸/保持表征建立联系,支持复用 EDM2 网络。