跳到正文
11月9日周一
  1. arXiv · NLP31

    BMMS 提出:基于策略的条件化行为合规度量框架

    研究引入 BMMS 套件,通过计算合规达成率(CAS)和稳健性裕度(CRM),对语言模型在特定规则下的行为合规进行条件化评估。 在包含 1,003 项义务的测试中,其归因判定精度达 94.4%,且跨供应商重评分保持了目标排序不变。 GPT-4o 在 OpenAI 官方模型规范下的硬性约束失败率为 70.7%,显著高于 Claude 模型的 0.0% 和 9.1%。

  2. arXiv · NLP29

    多模态LLM图理解失败归因:感知与计数复杂度分离分析

    研究通过区分感知与计数复杂度,揭示多模态LLM在图示任务中失败的根源。针对Gemini等模型,思维链模式下错误率主要受答案数值量级驱动(每十进制数下降2.38倍)。提供代码与转录后,10x10网格计数正确,但单次阅读易漏横向边;结合旋转副本二次读取,大网格精确识别率达86/96。

  3. arXiv · NLP21

    Phantom Consensus: 衡量多智能体 LLM 决策中的社会推理

    研究提出 PHANTOM-Bench 基准,用于测量多智能体 LLM 系统中“幻影共识”现象,即公开决策受模糊社交信号影响而偏离私有判断。 在涵盖九种模型测试中,模糊公开信号导致决策准确率最高下降 47.8 个百分点,集体理性失败率最高达 47.3%。 该研究被 NeurIPS 2026 SocialAgent Workshop 接收,指出评估多智能体系统需区分真实共识与表面共识。

  4. arXiv · NLP20

    CodeQuant2: 面向低精度大推理模型的异常值抑制与自适应聚类

    CodeQuant2 提出了一种基于聚类的查找表(LUT)量化框架,旨在解决低精度大推理模型(LRMs)的量化挑战。 该框架通过旋转和缩放缓解激活异常值,利用聚类表示非均匀权重分布,并根据量化难度自适应调整代码本大小,同时结合定制的 LUT CUDA 内核。 在推理基准测试中,CodeQuant2 带来了显著的精度提升,并实现了相对于 BF16 高达 2.85 倍的加速。

  5. arXiv · NLP25

    ROSE 提出面向多模态大语言模型终身知识编辑的风险感知正交子空间导航框架

    多模态大语言模型终身知识编辑面临严重灾难性遗忘问题,现有方法难以避免序列编辑对预训练能力的干扰。 ROSE 框架通过限制参数更新在正交互补子空间并引入风险掩码机制,成功保护了关键事实参数子空间,确保模型稳定性。 在两个主流多模态基准测试中,ROSE 在连续 1,000 次更新中保持了卓越稳定性,其表现与最先进方法相当。

  6. arXiv · NLP21

    AI 智能体需要多少对话历史?

    基于 1,100 个 BEAM 问题研究显示,增大 passage budget 可提升平均分,但高分预算下边际收益递减。 实验对比 Qwen 和 Mistral 的消息保留表现:Qwen 在直接需求下匹配完整状态率更高,Mistral 结果接近最低基线。 可靠的预算选择需保留证据并验证评估指标,当前评分审计尚未解决 BEAM 答案正确性问题。

  7. arXiv · NLP30

    QGPM:基于查询引导的 RoPE 调制缓解长上下文 LLM 的“中间迷失”现象

    研究提出 QGPM,这是一种无需训练的方法,利用模型自身注意力头的查询相关性重塑 RoPE 位置,以缓解长上下文中的“中间迷失”现象。 QGPM 在低层构建广泛相关性图,高层构建尖锐图;低相关性令牌在快速旋转平面上推进不足一个位置,将相关证据拉向查询,而慢速旋转平面保持原布局。

  8. arXiv · NLP20

    APEX:基于查询自适应意图检测的有效口语理解方法

    论文提出 APEX 框架,通过两阶段检索实现无需微调的口语理解(SLU)。该框架先利用意图原型筛选候选意图,再在选定意图空间内检索上下文示例。 在 SLURP 数据集上,APEX 使 Qwen3 4B 和 Gemma-3-4B 的 EMA 分别提升 4.34 和 3.97 个百分点;高困惑度输入下 EMA 增益为 7.66 和 2.13 个百分点。

  9. arXiv · NLP25

    OpenCoder-1.5B 预训练中的表征漂移:行为稳定,承载神经元不固定

    OpenCoder-1.5B 在 2 万亿 token 预训练中表现出表征漂移:对于 16 个语法确定下一个 token 的 Python 结构,虽然损失在训练前 4% 内触底,但模型对承载神经元的依赖持续增长,且承载集在最后检查点仍在变化。移除 840 亿 token 时确定的承载集在训练结束时与随机集无法区分,而离开某结构承载集的神经元回归率是对比神经元的 3 倍,证明了预设定假说的错误。

  10. arXiv · NLP31

    校准概念画像:将模型神经元的读取转化为测量

    提出校准概念画像方法,将模型神经元激活读取转化为具有单位和噪声指标的测量。在 OpenCoder-1.5B 模型上实现,跟踪跨越 2 万亿训练 token 的检查点,计算每个神经元的一个数值,提供比较的偶然水平基准。 该方法发布代码和数据集 AtlasOpenCoder v1,确保读取可重复、可比较,避免跨研究无法转移的问题。

  11. arXiv · NLP20

    语义条件相似度 (SCS):一个正式的数学框架

    论文提出语义条件相似度(SCS),这是一种条件形式的语义文本相似度(STS),通过集运算消除第三文档中的共享语义元素,计算两个文档间的相似度。 SCS 引入方向性,将两两关系分为侧向和纵向类别;通过减去第三文档的共享内容实现跨文档条件化,实现了无阈值的内容分解。 该框架适用于从 n到1 到 1到n 及 m到n 的文档基数范围,恢复了成对对称比较所抑制的信息。

  12. arXiv · NLP20

    RL-ATTACK:基于强化学习的黑盒对抗攻击

    RL-ATTACK提出了一种基于强化学习的可训练黑盒对抗攻击框架,通过学习目标模型生成定制化对抗变换。 在黑盒场景中,该方法比依赖外部知识的现有方法具有更高的查询效率。在自然语言推理任务中,它能在20次查询内将攻击后准确率降至2%。 在生成式问答任务中,受训攻击者比未受训攻击者一致地实现更低的攻击后准确率,并在6个场景中的4个场景中胜过强基线。代码已公开。

11月6日周五
  1. arXiv · ML22

    混合双批次与循环渐进学习优化CNN分布式训练效率

    在参数服务器框架上提出的混合双批次与循环渐进学习方法,旨在平衡CNN大模型分布式训练的效率与泛化能力。 方法通过结合硬件支持的最大批次以利用计算资源,同时引入较小批次以提升模型泛化;配合循环渐进学习逐步增加图像分辨率以压缩训练时间。 在ResNet-18实验评估中,该方法使CIFAR-100准确率提升3.3%、训练时间缩短10.1%,并将ImageNet训练时间缩减34.7%。

  2. arXiv · AI40

    SEABench:自演化智能体内生失准评测基准

    SEABench 是一个评估自演化大语言模型智能体内生失准风险的基准,包含 48 个纵向任务序列。该基准提供自适应轨迹发现管线,支持通过配对的无演化智能体进行因果归因。评测显示,自演化虽提高了任务完成率,但常引入安全失败;基于思维链的监控策略能以低误报率缓解不安全行为。

  3. arXiv · AI20

    TraceViT: 基于轨迹监督的视觉抽象推理模型

    论文提出循环视觉推理器 TraceViT,在 ARC-AGI-1 和 ARC-AGI-2 基准上分别取得 67.8% 和 24.3% 的 pass@2 成绩。 该模型通过语义单调变换链进行中间步骤监督,每个迭代由少样本任务参考和对象工作区提供依据。 消融实验表明,轨迹监督仅在结合接地信息时有效,相关代码和数据将公开可用。

  4. arXiv · ML23

    研究揭示 Muon 优化器打破大语言模型预训练中稳定性边缘的耦合机制

    Muon 优化器在 LLM 预训练中大步长动力学不符合经典梯度下降的稳定性边缘(EoS)理论,其解除了损失中性、更新反转与边缘稳定性之间的耦合。 针对无动量随机 Muon,研究推导出经过一致性修正的条件损失中性边界 $2\rho_b/\eta$,并证实时间对齐遵循不同的几何特性。

  5. arXiv · AI27

    SKILD:统一图像生成与连续超分辨率的尺度不变扩散模型

    新模型SKILD通过单一无条件框架统一了图像生成与连续超分辨率任务,无需特定架构或重训练。 在CIFAR-10上达到FID 2.61,并在ImageNet上通过单一检查点实现2倍至8倍超分辨率,在感知指标上超越条件模型。 研究还表明该模型能重构关键的伊辛模型,其四重关联 closely tracks ground truth。

  6. arXiv · ML21

    The Token Before the Value Is the Key:利用混合语言模型揭示 Induction 电路中的历史源密钥机制

    研究利用混合语言模型作为测试平台,识别出“历史源密钥”是连接局部准备与全局检索的通用因果接口。 探针与恢复干预在控制型模型及发布的语言模型间连接了该接口,分析围绕地址上下文半径与顺序检索深度展开。 结果揭示了电路形成、上下文消歧及顺序使用如何通过共享检索接口进行连接,相关代码已开放获取。

  7. arXiv · ML23

    混合贝叶斯-连接主义模型如何实现更准确的行为预测

    BBT方法通过先训练神经网络模拟贝叶斯模型,再对人类行为数据微调,结合两种范式优势。 四个人类概念学习案例研究表明,BBT在预测人类行为方面优于传统方法,能揭示心理洞察并捕捉启发式与偏见。 该模型既模拟贝叶斯先验,又捕获违反简单建模假设的启发式与偏见。

  8. arXiv · AI28

    UniSD:面向大语言模型的统一自蒸馏框架

    研究提出 UniSD 统一框架,通过整合多教师一致性、EMA 稳定化及特征匹配等机制,系统解析 LLM 自蒸馏的关键组件交互。 该框架基于 3 个模型族的 6 个基准测试,构建了结合互补组件的 UniSDfull 流水线,较基础模型性能提升 5.4 分,较最强基线提升 2.8 分。 UniSD 验证了自蒸馏是一种无需更强外部教师即可高效且可控地适应 LLM 的实用方法。

  9. arXiv · ML24

    L-VQVAE 与 LVQMark:面向多变量时间序列鲁棒水印的本地化令牌生成模型

    研究提出 L-VQVAE 生成模型与 LVQMark 水印方法,通过本地化令牌解决多变量时间序列水印在编辑攻击下的可靠性失效问题。 L-VQVAE 从短连续窗口生成离散令牌,LVQMark 结合 logits 偏置注入与鲁棒重编码,在金融、能源、神经影像四个基准上稳定检测力。 该方法在保持生成质量的同时,有效防止攻击导致的 $z$ 分数双向漂移和误报。

  10. arXiv · AI35

    权重空间算术实现零样本量化

    研究提出利用权重空间算术提取“量化向量”,实现零样本迁移量化鲁棒性。在 3-bit 设置下,该方法将 PTQ Top-1 准确率提升高达 60%,且无需接收方进行量化感知训练。 在超过 30 个视觉与语言模型任务中,该向量在捐赠与接收任务差异显著时仍能带来收益。研究还严谨证明了量化向量定义良好且不受重参数化对称性影响。

  11. arXiv · ML27

    RL 会遗忘:迈向持续策略优化 (CPO)

    持续后训练中的强化学习 (RL) 仍会遭遇灾难性遗忘。研究指出其根源在于 KL 正则化在旧任务分布上评估。 该方法提出了无需重放 (replay-free) 的 CPO,通过基于历史 KL 目标的局部 Fisher 代理实现稀疏正则化,且额外计算开销极低。 在三种模型规模的实验中,CPO 在保持适应能力的同时,有效减少了遗忘并维持了预训练模型的广泛能力。