跳到正文
11月10日周二
  1. arXiv · NLP24

    研究提出 QK-MAP:无需 QK-Norm 即可控制大语言模型注意力

    研究提出 QK-MAP 幅度感知投影方法,在 190M 到 7B 参数模型实验中,其训练和验证损失低于 Standard attention 与 QK-Norm。 QK-MAP 利用多个可学习频率将幅度变化编码为有界相位模式,通过相位和方向而非仅向量长度表示幅度。 实验显示 QK-MAP 保留了对输入尺度的敏感性,并在合成长上下文测试中为相关证据产生了更强的注意力对比。

  2. arXiv · NLP25

    树自动机在神经网络语言接受器中的应用

    研究从神经网络模型中提取 visibly pushdown grammars (VPGs),并在完全黑盒环境下运行。 该方法利用 PAC 采样替代白盒等价预言机,适用于 Transformer 等仅提供二元决策的模型,并通过树采样评估 BParse 之外的行为偏差。 在 Dyck 语法训练的 Transformer 及合成目标上验证了方法有效性,扩展了可学习空间。

  3. arXiv · NLP42

    Mistral-7B 与 Llama-3.1-8B 如何实现无界上下文改造

    研究通过在 Mistral-7B 和 Llama-3.1-8B 中实施预置关键值与稀有词重编码策略,实现无权重修改的无界上下文读取。在 32K 至 1M token 范围内,单针读取准确率达 99-100%,128K 预填充速度为原生模型的 1.85 倍。该方法让模型突破训练长度限制,无需重新训练即可调用长期记忆。

  4. 美团技术团队80

    美团正式开源 1.6 万亿参数 LongCat-2.5:多模态模型在国产算力上实现高效推理

    美团正式以 MIT 协议开源 LongCat-2.5,该原生多模态模型总参数 1.6 万亿、每个 token 激活约 480 亿参数并支持一百万上下文,面向长程智能体任务在代码开发、Visual Coding 与专业办公场景中端到端交付能力明显提升。

    推荐理由:原文详细披露了1.6万亿参数多模态模型在国产算力下的W4A4量化策略与训练细节,展示了在显存受限场景下落地万亿模型的具体工程路径。

  5. AWS Machine Learning Blog81

    Claude Fable 5.2 和 Claude Mythos 5.2 在 AWS 推出

    Claude Fable 5.2 和 Claude Mythos 5.2 在 Amazon Bedrock 和 Claude Platform on AWS 推出。Claude Fable 5.2 面向编码、数学和科学类技术任务,能自主迭代和长时间运行;Claude Mythos 5.2 在网络安全和生命科学领域通过 Anthropic 的验证项目提供服务。

    同一新闻,精选展示《Anthropic 发布 Claude Fable 5.2 和 Claude Mythos 5.2》

  6. Anthropic (X)81

    Anthropic 发布 Claude Fable 5.2 和 Claude Mythos 5.2

    Anthropic 发布 Claude Fable 5.2 和 Claude Mythos 5.2 模型。这两款新模型旨在应对最具挑战性的技术难题,并在编码、推理和视觉领域表现出改进,可作为多个领域雄心勃勃项目的合作者。

    推荐理由:官方确认两款新模型上线,它们在编码、推理和视觉能力上针对复杂技术挑战进行了优化。

11月9日周一
  1. arXiv · ML20

    PriorGuide 基于密度比估计的先验变更指导方法

    提出一种无偏的测试时指导框架,利用密度比估计(DRE)学习分数指导项,使推断过程与先验训练解耦。 该框架对具体的密度比估计器保持无关性,在多个任务中的 C2ST 和 MMD 指标上匹配或超越 PriorGuide,且在先验重叠受限时保持鲁棒性。 方法被应用于行星光曲线数据的贝叶斯更新,代码已公开。

  2. arXiv · AI28

    Embedded Arena: 基于硬件反馈的嵌入式 LLM 智能体迭代优化

    Embedded Arena 框架利用 LLM 智能体在真实硬件反馈下迭代优化边缘模型。Claude Opus 4.7 等前沿模型在无硬件反馈时部署成功率为 0%。 该框架实现 3 次迭代内成功部署,视觉模型压缩 250 倍且准确率损失小于 3.3%。 应用于鹿类检测相机和儿童语音追踪穿戴设备,支持太阳能供电商业 MCU。

  3. arXiv · ML26

    不确定性感知神经仿真揭示大规模气候韧性玉米性状

    研究人员开发集成概率仿真框架,将APSIM作物模拟器转化为快速、不确定性感知发现引擎。基于200万次模拟和生成式天气模型,该仿真器以更低计算成本高保真复现13项玉米生长输出。 在100,000种性状配置、6个地点及延伸至2100年的未来气候预测下,该框架识别出1,114种在2100年具有韧性的性状组合,以及246种在2040、2060、2080和2100年四个预测期均具韧性的更严格子集。

  4. arXiv · ML21

    DeepRitzSplit: 基于变分神经算子框架的梯度流方法及其在树枝状生长中的应用

    DeepRitzSplit 提出了一种用于梯度流系统的无监督神经算子框架,在 Allen-Cahn 方程基准测试中,使用 180 个训练配置,其对分布外配置的泛化能力优于监督基线。 该框架基于能量稳定分裂方案的变分公式,引入反应-扩散神经算子架构,无需轨迹数据集即可继承耗散结构。 该方法在树枝状生长模拟中能捕捉相形态和枝尖速度,为加速微观结构模拟提供了具有物理信息的代理模型。

  5. arXiv · ML30

    GIMLET:基于嵌入热力学的可泛化且可解释模型学习

    GIMLET 框架利用非平衡热力学变分原理,通过神经网络推断流体力学方程中的未知闭合项,保证总自由能单调衰减与非负熵产生。 该方法无需预定义候选函数库,且从单一数据集识别出的泛函可迁移至由相同方程控制的不同数据集。 在粘滞 Burgers 方程、Kuramoto-Sivashinsky 方程及 Navier-Stokes 方程等基准系统上验证了其物理可解释性。

  6. arXiv · ML23

    R-MOGP:可证鲁棒的多输出高斯过程

    研究人员提出 R-MOGP,一种可证鲁棒的多输出高斯过程模型,用于处理相关响应变量间的外点干扰。 该模型保持共轭性,不牺牲计算效率,并自然集成稀疏变分推断以实现可扩展性。 实证显示 R-MOGP 性能与现有 SOTA 鲁棒 MOGP 相当,但计算成本大幅降低。

  7. arXiv · AI22

    PIRL 如何提升多模态 RLVR 的泛化鲁棒性

    针对多模态大语言模型在 RLVR 训练中因提示词变化导致性能下降的问题,研究者提出 Prompt-Invariant RLVR (PIRL) 方法。该方法通过动态三元奖励分离格式与语义,并利用嵌入空间对抗机制应用策略不变性正则化器。 在压力测试中,PIRL 在基准测试上的平均准确率下降不超过 1%,而 GRPO 下降约 3%;在动态评估中,PIRL 也实现了最小的性能衰减。

  8. arXiv · ML24

    子空间感知稀疏自编码器(SASA)用于提升大语言模型机制可解释性

    summary_zh: 研究提出子空间感知稀疏自编码器(SASA),通过将单向量解码器替换为学习子空间,解决传统稀疏自编码器因假设特征一维导致的特征分裂问题。 SASA 利用 Top-s 组门控和核范数正则化适配组秩,在 GPT-2 和 Mistral-7B 上的实验表明,该方法相比传统 SAE 显著降低了特征吸收,并以较低重建成本提高了概念成员预测的准确性。

  9. arXiv · ML36

    Dominant-Layer ZO:LLM 零阶微调由单层主导

    LLM 零阶微调的性能主要受单一解码层支配,仅微调该层在多个基准上可媲美或超越全模型微调。 该主导层具有任务无关但模型特定的特性,可通过分析激活异常值提前识别。在 LLaMA2-7B 和 Qwen3-8B 上,该方法相比 MeZO 和 LoRA 微调平均性能更优,训练速度提升最高 4.52 倍。

  10. arXiv · AI29

    偏好嵌入优于语义嵌入:用于集体决策的新方法

    研究指出标准文本嵌入测量语义相似度,无法满足公平聚类等集体决策所需的偏好相似度。 通过构建合成训练数据打破语义与偏好的相关性,显著改进了 11 个在线审议数据集上的偏好预测。 该方法已被 NeurIPS 2026 接收,为解决基于自由文本的集体决策问题提供了新的数学框架。

  11. arXiv · ML23

    Cut-DeepONet 提出平滑分段切割框架以处理神经网络算子中的不连续性与尖锐过渡

    研究提出 Cut-DeepONet 两阶段训练框架,通过提升策略将域划分为平滑子区域,将不连续性表示为高维空间边界。额外网络预测输入依赖的不连续位置,指导算子生成平滑分量。在基准 PDE 实验中以更少可训练参数优于最先进方法,证明改变表示比增加模型复杂度更有效。

  12. arXiv · ML50

    推理后端:量化其对 LLM 可复现性的影响

    研究分析3.5万篇论文,发现推理栈少被报告;固定权重等条件测试vLLM等5个引擎,仅更换后端可使基准分数偏移多达16.6个百分点。 偏移由前缀缓存、CUDA graphs等系统优化及logit处理默认值驱动,该研究将推理后端定义为关键超参数,呼吁标准化报告以提升可复现性。

  13. arXiv · ML41

    EvoLib:无需参数更新的测试时学习框架

    EvoLib 提出一种测试时学习框架,使大语言模型无需参数更新或外部监督即可跨实例积累、复用并演化知识。 该框架通过自动从推理轨迹中提取模块化技能和反思性洞察来维持共享知识库,并采用权重与固化机制优化即时效用与长期价值。 在数学推理、代码生成及多轮智能体环境等基准测试中,EvoLib 显著优于当前的顶级测试时扩展与学习方法。

  14. arXiv · AI31

    提出 Logit Laundering 对抗大模型数据使用审计

    研究团队提出 Logit Laundering 框架,通过推理阶段的 logits 操作成功绕过 LLM 的水印审计。 该方案引入统计偏差估计器重塑模型 logits,在不改变模型参数的前提下削弱水印检测信号,同时利用置信度感知缩放模块保持下游任务效用。 此发现凸显了现有 SOTA 审计方法在对抗场景下的脆弱性,促使研究者探索更具鲁棒性的数据审计机制。 ```

  15. arXiv · ML26

    基于文本证据设计服务系统:结合有偏代理分数与人类审计的最优配置识别

    该研究提出一种在存在系统性偏差的 LLM 代理分数下,通过最小化昂贵的人类审计次数来高置信度识别最优服务配置的方法。 核心创新包括共享参考标签与自适应审计决策,二者均可严格降低渐近识别成本;算法联合分配配置评估与审计任务,在有限生成模型族下期望成本达到信息论下界。 数值实验显示,新算法在保持可靠选择的同时,大幅减少了所需的人工复核量。