跳到正文
11月19日周四
  1. arXiv · AI38

    ARISE: 企业智能体自演化记忆架构提升准确率并降低成本

    新架构 ARISE 通过自评估机制在无需更新模型权重的情况下演化智能体记忆。 基于 SOP-Bench 和 $\tau^2$-bench 测试,ARISE-Teacher 利用 Claude Opus 4.6 归因,相比基线分别提升 10.9 pp 和 5.8 pp,且模型调用减少 4.0%。 该架构在 14 个企业工作流领域验证了可行性,实现了准确性提升与成本控制的平衡。

  2. arXiv · ML27

    用于学习系统认证可达性分析的切比雪夫多项式区域抽象方法

    该研究证明切比雪夫抽象能突破 Taylor 展开在复平面的收敛半径限制,以几何速率扩展认证可达集宽度,实测误差公式匹配率介于 89% 至 94%。 方法采用闭式严格余项,首次实现多项式 Softmax 变换器,并在闭循环及 MNIST 分类器测试中,成功认证了 Taylor 方法因发散而无法证明的输入区域,所有认证声明在蒙特卡洛测试中零违反。

  3. arXiv · ML21

    基于神经网络的滞回系统建模:从Prandtl和Preisach神经网络到Neuro-Madelung及神经塑性连续模型

    该综述考察了Prandtl神经网络、Preisach神经网络等模型在非线性滞回系统中的应用,重点分析其记忆表示机制与网络架构。 模型通过停止算子引入滞回记忆,利用退化停止神经元捕捉刚度退化及非共形滞回,并扩展至处理速率依赖行为。 EPNN结合退化算子与速率信息,能够适应对称或非对称、共形或非共形等多种滞回特性。

  4. arXiv · NLP27

    XMerge:用于 LLM 深度压缩的跨轴选择与重建层合并方法

    XMerge 是一种后训练方法,通过跨轴选择识别低变化块,并由局部边界重建重新拟合相邻层,实现 LLM 深度压缩。 该方法无需任务标签或端到端微调,不引入架构变更或额外推理参数,在 Llama 和 Qwen 骨干模型测试中表现优于现有基线。 在 k=4 移除级别下,XMerge 在 CORE 和 MMLU 基准上排名第一,避免了大困惑度增加,被 NeurIPS 2026 接收为口头报告。

  5. arXiv · NLP20

    推理模型服务中风险控制的早退机制配置研究:何时学习停止有帮助?

    在推理模型服务中,基于校准数据动态选择停止规则比预设静态token预算更优。5%风险目标下,学习规则在Qwen3上比静态预算多节省10.4-17.0个百分点token,准确率低于完整推理2.4-2.9点。 预承诺某类策略在某些工作负载中最高损失27.4点,而校准选择最多仅落后最优类11.6点;Qwen3-8B在vLLM中平均响应时间与生成token数成正比。

  6. arXiv · NLP23

    基于签名词汇证据的风险校准意图路由方法

    该方法结合签名词汇证据与分类器置信度间隔,构建双特征置信度模型用于对话式AI意图路由。 在BANKING77、CLINC150和HWU64数据集上,该方法将风险覆盖曲线下面积分别降低15.8%、15.1%和11.8%;在5%错误率目标下,BANKING77的请求接受率提升1.83个百分点。

  7. arXiv · NLP42

    块扩散推测解码中 DBloom 方法解决搁置加速并提升生成速度

    研究提出 DBloom 方法,通过扩展块大小解决块扩散推测解码中的搁置加速瓶颈,显著提升生成速度。 在 Qwen3-8B 和 Qwen3-4B 上,相比 B16 基础模型,该方法将每提示承诺长度最多提高 1.7 tokens,中位解码速度提升 10.2%,高天花板基准上速度提升 11.9%。 该方法优于 JetSpec 树形起草器,在所有基准上承诺长度更高,为块扩散起草器提供更高效的加速方案。

  8. arXiv · NLP23

    EasyOPD:基于 verl 的大语言模型在线策略蒸馏框架

    EasyOPD 是基于分布式强化学习框架 verl 开发的在线策略蒸馏框架,支持跨 tokenizer、自蒸馏及步进式蒸馏三种场景。 该框架通过解耦用户配置、监督逻辑与执行后端,提供 YAML 配置文件、文档及安装演示包。 实验显示其能在推理、代码生成等基准任务中保留特定目标并展现差异化性能表现。

  9. arXiv · NLP26

    挑战二次方注意力——关于替代语言模型架构崛起的全面视角

    该综述审视了突破Transformer二次方注意力复杂度的近期进展,涵盖亚二次方注意力变体、循环神经网络、状态空间模型及混合架构。 文章从计算与内存复杂度、基准测试结果及根本局限性三个维度进行批判性分析,探讨纯注意力Transformer的主导地位是否面临挑战。 作者认为这种挑战在领域特定和边缘设备应用中尤为可能,论文为同行评审会议版本。

  10. arXiv · NLP29

    MoICL:一种混合上下文学习者方法

    研究人员提出 Mixtures of In-Context Learners (MoICL) 方法,在 7 个分类数据集中的 5 个上性能超越 ICL 和 LENS 基线,最高提升 13%。 MoICL 将演示子集视为专家并学习权重函数以合并输出分布,同时降低达到相同性能所需的推理时间。 该方法对域外(最高 +11%)、不平衡(最高 +49%)及噪声演示(最高 +38%)表现出更强的鲁棒性。

  11. arXiv · NLP23

    ThinkSum:利用大语言模型进行集合概率推理

    提出两阶段概率推理范式 ThinkSum,用于解决 LLM 在多个对象或事实序列逻辑推理上的不足。 基于 BIG-bench 评估,ThinkSum 在 13 个高难度任务中优于 GPT 系列 SOTA,常使用更小模型变体。 概率推理在 LLM 调用外执行,使预测更具可解释性,且对提示词设计敏感性降低。

  12. arXiv · NLP40

    个人模仿游戏:LLM 能否复制特定个体?

    针对 LLM 表现优异,论文提出更具挑战的个人模仿游戏,测试机器能否在对话中复制特定个体。 通过30人实验建立基线,并构建基于 LLM 的系统模拟论文作者。 在20人欺骗研究中,审查者选系统而非作者朋友7/10轮,选作者而非系统13/20轮,均无法与随机区分。

  13. arXiv · NLP48

    语言模型中人类脑组织分析方法的迁移与应用

    研究发现语言模型推理能力的提升涉及类似人类皮层发育的区域重组,在连续层范围内存在局部变化。 将相关区段权重嫁接到指令微调模型中平均提升了数学推理能力,且随区域重叠度增加而提高。该分析还定位了医疗模型中可迁移的推理相关区域,展示了低干扰下的性能提升。

  14. arXiv · NLP23

    长上下文 LLM 服务中保留上下文的计量与计费

    针对长上下文大语言模型服务的计费问题,提出分层框架。实验表明内容相关性主导位置权重,且缓存命中可使 65,536 token 的重复前缀计算成本降低两个数量级以上。 校准模拟显示 99 分位会话费用可降 31-42%,但收入匹配的非线性费率会导致中位数费用增加。

  15. arXiv · NLP33

    Sightline:面向快速 SVG 生成长窗口投机解码

    提出长窗口投机解码框架 Sightline,通过匹配草稿器视界长度的验证窗口提升 SVG 生成速度。 在涵盖 text-to-SVG 与 image-to-SVG 的六项基准(源自 MMSVG、MMSVG-2M 及 SArena)测试中,Sightline 在所有设置下均为对比无损解码器中速度最快。 分析表明其优势源于更长的验证窗口避免了短窗口被截断导致的轮次损失,相关代码与数据已开放获取。

  16. arXiv · NLP34

    BOS Summary:无损提升 LVLM 与 LLM 多步推理性能

    BOS Summary 提出一种免训练推理方法,在预填充阶段允许 BOS token 聚合所有输入信息,使其携带特定于输入的上下文。 该方法在 8 个基准测试中优于直接提示及链式思考(CoT)方法,性能超过近期的 sink 干预技术,且无额外参数或推理开销。 其机制分析表明,让 BOS 携带具体信息可削弱其注意力主导地位,将注意力重新分配至内容 token,改善后续层的行为。

  17. arXiv · NLP24

    QDA:基于智能体的闭环大语言模型量化设计

    QDA 利用智能体自动设计量化配方,在 W4A16、W4A8 和 W3A16 精度下平均精度比最强公开配方高 0.9、1.4 和 2.2 个百分点。 该系统通过计算 KL 散度快速评分候选方案,并提供兼容新架构的公开 PTQ 方法库,每次搜索仅需 64 个 GPU-hours。 在 GLM-5.3-Flash 模型上,QDA 恢复了 FP8 模型 98.3% 的准确率,所有检查点均无推理开销。

  18. arXiv · NLP32

    CoT 隐藏状态揭示直接回答的任务解决方向

    研究发现,直接提示词表示空间中每个问题存在能更常导向正确答案的方向。 在 LLaMA 3.1 8B 和 Qwen 2.5 7B 模型上,这些方向将直接提示平均准确率分别提升至 85% 和 86%,token 消耗仅为 CoT 的十分之一。 这些方向可用于未来训练模型对齐其状态,实现更高效推理。

  19. arXiv · NLP31

    小语言模型前沿组件叠加效应:一项复制双因素研究

    研究在相同数据与训练预算下测试五项改动,发现 MoE、Muon 优化器和 Gated DeltaNet 混合带来最大增益。额外归一化有帮助,而参数匹配的注意力门控平均提升微小。 这些改动大部分可叠加,但重复实验揭示了微小交互作用及被初统计误判为噪声的益处。结论限于小模型训练场景,专家模型拥有更大总容量。 实践意义在于应共同测试有潜力的组件,并重复比较以决定保留哪些改动。

  20. arXiv · NLP53

    arXiv 论文揭示 LLM 生成儿童故事中的性别刻板印象

    这篇 arXiv 论文考察大语言模型生成儿童故事中的性别刻板印象,分析了16个模型在35个国家背景下生成的62,873篇故事。研究发现,面向男孩的故事在叙事框架上比面向女孩的故事表现出更高能动性和更低亲社会性,这些差异是持续但受语境影响的,推动了超越短文本基准的叙事特定偏见评估。

  21. arXiv · NLP37

    MIRAGE:动态知识注入下的多跳推理框架

    MIRAGE 是一个无需训练的框架,通过相关性感知的双路径推理器(CDR)解决多跳问答中知识注入下的来源信任错误,在多个基准上刷新了 SOTA 记录。 该框架通过基于 P(True) 的置信度路由机制处理冲突知识与全新信息,并辅以轻量级模板引导修正器,在四个 LLM 家族和两个基准上验证了其有效性。