跳到正文
11月10日周二
  1. arXiv · NLP31

    AES自适应熵保留方法在8项推理基准中提升大语言模型效率

    大语言模型(LRMs)常因过度思考生成冗长推理链,强化学习惩罚机制易导致信用混淆。AES方法通过选择性保留高效参考前的高熵token并惩罚冗余后缀,解决了抑制与探索的权衡问题。 在8个推理基准测试中,AES将推理长度减少最多52.9%,平均准确率提升最多3.8%,持续优于现有效率导向方法。代码已开源,该研究已被NeurIPS 2026接收。

  2. arXiv · NLP36

    语言模型能力在压缩与扰动下按可预测的共享顺序失效

    压缩与扰动通常使大语言模型能力按跨方法共享、可预测的顺序失效,而非随机或方法特定模式。 八种指令微调模型在四种随机扰动下短答案能力失效顺序的中位相关达 0.90;剪枝与量化下为 0.875,且可由回答裕量、频率和格式预测。 随机扰动测得的脆弱性画像预测了压缩先移除哪些任务和事实;经四任务校准后,对留出任务精度的中位绝对误差为 0.11-0.12,优于均匀下降的 0.20-0.21。

  3. arXiv · NLP20

    THEATRON: 评估长时程 LLM 决策中人格持久性的基准测试

    研究团队提出基准测试 THEATRON,利用金融回放数据评估大型语言模型在长期序贯决策中的人格持久性。 该基准涵盖 Zero-Shot、One-Shot 及 CoT 等四种人格注入模式,通过累计收益率诊断行为稳定性与跨人格可分离性,代码数据已公开。 研究揭示了可观察的人格驱动行为与持久、情境敏感决策策略之间的显著差距。

  4. arXiv · NLP24

    AOP-Smart-Finder:用于大规模文献 AOP 发现与证据映射的高通量人机混合框架

    研究人员开发高通量人机混合框架 AOP-Smart-Finder,整合 LLM 与 RAG 技术,实现大规模文献中不良结果通路(AOP)的发现与证据映射。 在 DEHP 案例中,系统 30 分钟内处理 12,983 篇文献,提取 1,589 个生物事件和 2,519 个关键事件关系;ALS 案例中识别 55 种胁迫因子并构建包含 16 个关键事件的机制网络。

  5. arXiv · NLP26

    EASE-KV:诊断 KV 记忆可用性与有效使用间的差距

    EASE-KV 框架揭示了可复用 KV 记忆中存储记忆转化为可用证据的障碍。 在固定语言和模型下,因果编码比块对角编码提高组合准确率 25.0 个百分点,但推理时方法无法恢复缺失上下文。 诊断性证据引导分配在不变存储状态下将 LongMemEval 准确率从 31.2% 提升至 38.4%。 结果表明,有效 KV 记忆不仅依赖检索和注入,还要求编码、影响和监督的协同。

  6. arXiv · NLP23

    自监督语音模型中音素与韵律线索的层级与时间解析机制

    研究通过冻结编码器探针在 HuBERT 和 wav2vec 2.0 的预训练检查点上测试五个任务,发现声学韵律线索和音素边界在最早期检查点即可解码。 音素识别在预训练过程中构建,在 HuBERT 第二阶段目标下重新定位到上层中间层,且获取顺序跟踪抽象程度而非音段/超音段区别。 该发现扩展了关于语音、词汇和句法结构的解释,揭示了自监督学习层级结构的时间演变。

  7. arXiv · NLP25

    保留 LLM 概率向量提升人机协同回归效率

    研究表明,在有限人工标注辅助下,使用 LLM 输出的完整概率向量(Soft)比硬性类别标签(Hard)显著提升回归效率。 该结论基于三个 LLM 模型在三个社会科学文本数据集上的匹配实验,证实概率向量中额外变异在包含有用信息时优化了统计推断。 代码与可复现材料已公开,确立了输出表示法在 LLM 辅助测量中的关键设计选择。

  8. arXiv · NLP31

    SWEET:通过权重编辑缓解 LLM 推理中的虚假特征依赖

    免训练方法 SWEET 结合反事实干预与机制可解释性,定位并抑制长思维链中负责虚假推理的 MLP 神经元和注意力头。 该方法仅用 20 组原始-反事实对提取行为方向,在 5 个开放权重模型上使扰动输入准确率平均提升 11.8 个百分点。 SWEET 将原始与扰动准确率的相对差距从 17.6% 降至 2.5%,提升了推理鲁棒性。

  9. arXiv · NLP26

    当安全成为离群点:理解 LLM 安全行为的保留机制

    安全对齐 LLM 在微调后易丢失安全行为,因公式化拒绝字符串构成弱根基的离群模式。 论文提出 NEST 框架,通过构建自然且基于语义的安全目标,利用原始模型困惑度作为分布支持代理,显著提升了安全行为在持续微调下的保留率。 该研究发现表明,基于模型现有语言能力构建安全目标是实现持久安全对齐的实用原则。

  10. arXiv · NLP28

    MultiTurnRoute: 构建和评估多轮 LLM 路由器的平台

    研究者提出 MultiTurnRoute 平台及 Chain-of-Route (CoR) 路由算法,用于评估多轮 LLM 路由器在会话质量与成本上的表现。 CoR 结合可复用前缀长度估计成本,在基于 WildChat 和 LMSYS-Chat-1M 的基准测试中,使匹配最强模型质量所需的归一化成本最多降低 20.3%。 该研究成果已被 NeurIPS 2026 接收。

  11. arXiv · NLP44

    TransMem:面向动态个人记忆的过渡感知检索框架

    TransMem 提出过渡感知记忆检索框架,将偏好更新作为显式检索单元,优于现有基线模型。 在 PersonaMem 和 PersonaBench 实验中,基于 Qwen 模型的 TransMem 在事实锚点与自适应扩展方面表现显著。 该研究被 NeurIPS 2026 接收,验证了偏好更新记录对长期个性化记忆的价值。

  12. arXiv · NLP23

    onóna:双嵌入表与绑定非嵌入层的两表参数化方法

    onóna提出一种双表参数化方法,通过在输入端取两个嵌入表平均值、输出端混合两个softmax分布,在保持权重共享的同时增强输出表达力。 该方法门控值仅依赖当前输入token,推理时可预计算,Transformer主体不变。在142M、330M和1B规模下测试,12组对比中11组验证损失和外部困惑度降低,8项下游任务中10组准确率提升。

  13. arXiv · NLP42

    Mistral-7B 与 Llama-3.1-8B 如何实现无界上下文改造

    研究通过在 Mistral-7B 和 Llama-3.1-8B 中实施预置关键值与稀有词重编码策略,实现无权重修改的无界上下文读取。在 32K 至 1M token 范围内,单针读取准确率达 99-100%,128K 预填充速度为原生模型的 1.85 倍。该方法让模型突破训练长度限制,无需重新训练即可调用长期记忆。

  14. arXiv · NLP22

    CulturalCrosswords:多语言文化谜题中 LLM 答案约束与网格填充基准

    该基准评估了 LLM 在 42 种语言文化谜题中的表现,发现添加长度约束使与参考答案的一致性提高 22.8 个百分点。 测试涵盖 11 种 LLM 配置和 5 种提示变体。网格输入使兼容答案占比提升 9.7 个百分点,要求完整网格时模型间差异显著。 该基准区分了匹配单一参考答案与生成相互兼容、占据正确单元格的答案的能力。

  15. arXiv · NLP21

    多模态 LLM 遗忘学习中监督目标的重构:减少私有信息与降低分布偏移

    针对多模态大模型(MLLMs)遗忘学习中的效用平衡问题,本文指出含更多私有信息的监督目标会导致遗忘不充分,且分布偏移过大会造成效用退化。 提出 FFN-Perturbed Self-Distillation (FPD) 方法,通过扰动 FFN 激活以构造低偏移目标,在 S-MLLMUn Bench 上展示了更优的遗忘-效用权衡。

11月9日周一
  1. arXiv · ML28

    PSP-DiT 将全景场景程序作为潜变量提升组合提示理解

    PSP-DiT 将全景场景程序作为一等潜变量而非外部控制信号,通过耦合 Transformer 流对图像潜变量和场景程序潜变量进行联合去噪。该架构在匹配设置下于 GenEval 2、SANEval-Simple 等基准上超越了基线模型,在计数、属性绑定和角色敏感关系方面表现最佳,且推理开销适度,已获 NeurIPS 2026 收录。

  2. arXiv · ML20

    PriorGuide 基于密度比估计的先验变更指导方法

    提出一种无偏的测试时指导框架,利用密度比估计(DRE)学习分数指导项,使推断过程与先验训练解耦。 该框架对具体的密度比估计器保持无关性,在多个任务中的 C2ST 和 MMD 指标上匹配或超越 PriorGuide,且在先验重叠受限时保持鲁棒性。 方法被应用于行星光曲线数据的贝叶斯更新,代码已公开。

  3. arXiv · AI23

    NoContactNoWorries: 基于视觉与本体感知估计接触以实现灵巧操作

    NoContactNoWorries 是一个基于 Transformer 的多模态框架,融合 RGB-D 视觉与机器人本体感知来推断二元接触状态,作为伪触觉信号用于手物交互。 该方法在模拟环境和真实机器人上验证了可行性,推断出的接触信号支持下游强化学习代理完成手持物体重定向,并能泛化至新物体。

  4. arXiv · AI70

    arXiv 论文:AI 在文本对话中说服专家人类

    一项包含18978场对话、6923名参与者的预注册研究,证明AI系统在文本对话中的说服力显著优于经验丰富且获得高额激励的人类专家,甚至超过世界辩论冠军。研究发现AI的优势主要源于其能快速部署大量信息,当专家使用辅助工具或限制AI响应速度时,差距会缩小。在真实世界行为测试中,AI的募捐效果比专业募捐人员高出3倍以上,这一结果对政治传播具有重大 implications。

    推荐理由:论文通过4项预注册实验揭示AI在文本对话中说服专家人类的优势源于信息密度,并量化了其对真实募捐行为的影响。

  5. arXiv · AI30

    通过调整分词时域与约束解码实现自回归策略的实时执行

    自回归策略通过调整分词时域和应用约束解码,保证了严格的延迟上限,实现了多轨迹解码以最大化性能。 在模拟和真实环境中,该自回归策略在任务完成速度上显著优于同级流匹配策略,且具备收敛快、指令跟随泛化性好的固有优势。 这证实自回归策略可作为支持实时执行的有竞争力的策略类型。

  6. arXiv · AI25

    SCDBench:基于 LLM 的智能合约反编译器评测基准

    SCDBench 发布,包含 600 个真实 Solidity 合约及语义检查点,用于评估 LLM 智能合约反编译性能。 该基准对 Claude Opus 4.7、GPT-5.3-Codex 和 GLM-5 进行零样本评估,最佳模型仅能完美反编译 42/600 个合约,引入编译修复可显著降低成本。 SCDBench 为区块链安全和透明度领域提供了严谨且可复现的反编译器评估基础。

  7. arXiv · AI38

    Build-and-Find: 一种面向智能体管理代码库的感知努力评估协议

    针对智能体管理代码库场景,研究提出 Build-and-Find 协议以评估下游智能体从生成代码库中恢复设计意图的效率。 该协议将行为正确性与工件侧恢复能力解耦,报告恢复准确率、可重复性、实现覆盖率及检查努力指标。 在任务包中,多个前沿模型在意图恢复上接近饱和,但第二阶段的检查努力差异揭示了工件易读性的新比较维度。

  8. arXiv · ML21

    DeepRitzSplit: 基于变分神经算子框架的梯度流方法及其在树枝状生长中的应用

    DeepRitzSplit 提出了一种用于梯度流系统的无监督神经算子框架,在 Allen-Cahn 方程基准测试中,使用 180 个训练配置,其对分布外配置的泛化能力优于监督基线。 该框架基于能量稳定分裂方案的变分公式,引入反应-扩散神经算子架构,无需轨迹数据集即可继承耗散结构。 该方法在树枝状生长模拟中能捕捉相形态和枝尖速度,为加速微观结构模拟提供了具有物理信息的代理模型。

  9. arXiv · AI24

    有限状态方法的快速通用自动微分:基于“morphism-trick”的高效反向传播算法

    提出名为“morphism-trick”的新方法,用于将自定义的向量-雅可比积集成到自动微分软件中。 该方法实现了动态规划算法高效的、与半环无关的反向传播,并针对有限状态方法引入了计算和微分有限状态自动机所有路径权重的⊕-和的算法。 用户无需大量修改代码,该开源库即可比当前最先进的自动微分系统快几个数量级地计算有限状态自动机权重函数的梯度。

  10. arXiv · AI45

    MCGI:面向十亿级磁盘驻留向量搜索的流形一致性图索引方法

    MCGI 提出了一种利用局部固有维度(LID)感知几何特性的磁盘驻留图索引方法,解决了高维空间中欧几里得-测地线不匹配导致的性能下降。 该方法通过查询自身已计算的距离估计 LID,动态调整候选列表大小,无需额外磁盘读取,在同等高召回率下将 DiskANN 的查询吞吐量在十亿级 SIFT1B 上提升至 1.24 倍。