跳到正文
10月28日周三
  1. arXiv · ML33

    CRISP:面向边缘服务器高效 MoE 推理的剪枝与调度协同设计

    CRISP 框架通过协同设计剪枝和运行时调度,在记忆受限的边缘平台上提升 MoE 推理效率。 该框架利用专家组合的频率偏差和不对称性,按重要性重排神经元,并对热点、温点和冷点组合执行差异化调度,实现专家加载与计算重叠。 在 Mixtral-8x7B 和 DeepSeek-MoE-16B 上,相同内存预算下吞吐量提升最高达 2.1 倍,精度损失控制在 3.6% 以内。

  2. arXiv · ML26

    自回归线性阈值函数的 VC 维度研究

    研究证明自回归线性阈值函数在 $T\ge d^2$ 时的 VC 维度为 $\Theta(d^2)$,解决了一阶计数上界 $O(d^2)$ 的差距。 将线性阈值函数的符号替换为逻辑采样后,确定性模型与随机模型出现指数级分离,最终多数预测类的 VC 维度从二次增长提升至 $d$ 的指数级。 该结果揭示了随机性在增强自回归模型表达能力方面的关键作用。

  3. arXiv · NLP21

    BrailleBench 基准测试显示 VLM 在盲文识别上表现不佳,合成数据训练可显著提升准确率

    BrailleBench 基准包含 259 张真实世界一级和二级盲文图像,通用视觉语言模型直接转写表现差,而工具辅助系统表现更好。 基于 2B VLM 在合成盲文数据上训练后,在一级盲文上达到 87% 精确匹配,在二级盲文上达到 61% 精确匹配,优于独立运行的 VLM。 结果表明合成数据监督可改进真实场景下的盲文转写,但在合成验证集上高达 96% 准确率并不保证在真实照片上表现良好。

  4. arXiv · ML30

    HiLo-RD:用于掩码扩散语言模型的跨预算自蒸馏

    提出 HiLo-RD 以改进受限生成预算下的掩码扩散语言模型,通过跨预算自蒸馏解决预算引发的过早承诺问题。 方法将大窗口教师状态与裁剪的小窗口视图配对,匹配已提交位置的隐藏表示,无需外部教师即可指导 token 预测与提交顺序。 在 GSM8K 上准确率提升 9.4 个百分点,平均可读长度缩短约 25%,且在无代码领域训练情况下优势延伸至代码生成。

  5. arXiv · ML23

    HPNAS-RL:面向强化学习自动驾驶的超参数与神经网络架构联合进化搜索

    提出双分支进化框架 HPNAS-RL,同步执行强化学习的神经网络架构搜索(NAS)与超参数优化(HPO),适用于自动驾驶任务。 框架并行演化离散网络架构与连续超参数,结合并行评估与师生策略迁移机制以加速收敛。 实验显示该联合框架在奖励、参数量与稳定性上持续优于独立 NAS。

  6. arXiv · ML33

    TALOR:用于开集测试时自适应的即插即用纠偏模块

    TALOR 是一种轻量级、无反向传播的纠偏模块,用于开集测试时自适应,以源线性头为几何锚点。 该模块将特征分解为主坐标和尾坐标,利用加权岭回归在主要子空间中估计软路由仿射校正,并减去漂移估计。 在 ImageNet-C 基准上,TALOR 比 UniEnt 高出 2.2% H-score,运行速度快 2.5 倍,且仅使用其 12% 的 GPU 内存。

  7. arXiv · NLP25

    元认知解码:提升扩散语言智能体推理效率的方法

    新提出的元认知控制器通过动态调整扩散语言模型的计算分配与生成长度,将推理 FLOPs 平均降低 20.6%,同时保持具有竞争力的任务准确率。 该轻量级插件在智能体轨迹上训练,在五个基准测试中验证了其平衡正确性与生成成本的有效性,消融研究进一步支持了该方法的有效。

  8. arXiv · ML23

    LLM 知识在 OOD 表格预测中的应用:跨验证正则化方法

    利用大型语言模型生成的系数先验替代传统零收缩目标,能改善分布外(OOD)表格数据预测,在五个数据集中四个实现平均 MSE 最高 7.9% 的改进。 跨源域交叉验证仅用于筛选先验,结果表明该策略能规避表现最差的先验,但当训练数据量足够大时,先验更主要起正则化而非转移修正作用。

  9. arXiv · ML30

    787M 参数量 LLM 预训练中边缘稳定性与凸性边缘现象研究

    研究发现在直至 787M 参数量级的 LLM 预训练中,始终观察到导致二次近似发散但真实动态稳定的“凸性边缘”(EoC)现象。 在移除学习率无关的不稳定性影响后,研究提出了适用于随机训练与自适应优化器的“边缘稳定性”(EoS)广义定义。 实验表明 EoS 普遍存在但并非绝对,当学习率充分减小(如衰减后)或批量大小低于与临界批量大小正相关的阈值时,EoS 会消失。

  10. arXiv · ML21

    扰动一致性何时能提供超越Softmax置信度的信息:决策一致性框架的理论与证据

    在201次评估中,决策一致性框架(DCF)的一致性分数(CS)在检测干净数据误分类方面,始终不如最大Softmax概率(MSP)。 对于冻结CNN,CS的AUROC比MSP低0.057(95% CI 0.043-0.073),但计算成本是8到15倍。 在CIFAR-10-C噪声破坏和投影梯度攻击下,CS优于MSP,在2/255预算下以0.83的AUROC区分干净与被攻击输入。

  11. arXiv · NLP40

    JevRec 基于 LLM 生成式推荐中的类 Jevons 决策建模与语言编码

    针对生成式推荐中统一 SID 长度导致热门与长尾项编码效率失衡的问题,JevRec 提出变长语言编码,通过共享 codebook 生成较短 SID 给热门项、更丰富描述给长尾项。模型引入类 Jevons 决策建模组件,使用独立头分别预测长度分布和生成内容,缓解优化冲突,并在三个公开数据集上超越所有基线。

  12. arXiv · NLP33

    针对大语言模型的递归知识改进方法 RKI:解决知识状态混叠问题

    递归知识改进(RKI)方法将知识改进建模为序贯的状态感知干预过程,在 HotpotEval 和 SafeInternalEval 上平均优于现有方法 18.41 分。 该方法将知识组织为图结构化单元,通过定位弱点、估计运行知识状态并选择对应干预来解决知识状态混叠问题。 现有诊断分辨率仅定位弱点不足以选择干预,RKI 通过跨轮次重评估实现状态感知更新。

  13. arXiv · NLP38

    Transformer 中证据效应的因果定位

    提出受控证据聚合(CEA)与平衡效用因果选择(BUC)方法,定位影响 Transformer 决策的注意力头。 在 Pythia-410M 模型中,消融 1-12 个头可移除 65.5-91.6% 的计数效应;在自然语言任务中,消融 8 个头导致准确率下降 8.2 个百分点。 研究证实受控符号探针能识别出对自然语言决策具有因果影响的紧凑注意力头集合。

  14. arXiv · NLP21

    指令微调在语言模型中安装和锐化了数字选择启发式

    一项对18个开源权重模型的研究表明,指令微调使模型分配给整数的概率分布变得不那么均匀。 微调模型几乎完全避免了10的倍数,且极少返回端点值1和N,而基座模型则不具备这些特征。 这些数字选择规律与Kubovy和Psotka提出的人类心理账户理论相符,其中包含端点避免和奇数偏好。

  15. arXiv · ML43

    指令容量:受控负载下语言模型的行为与退化

    研究提出“指令容量”度量模型指令遵循极限,GPT-4o mini 在 95% 正确率下容量为 37-38 条规则,全密度下降至 18-19 条。 通过 642,430 次试验构建统计模型,量化规则数量、密度等负载因素对替换成功率的影响,并公开了测量代码与数据。 该“护照”数据可作为未来评估 Prompt 指令负载的校准基准。

  16. arXiv · ML21

    机器学习泛化性研究:Eyring 公式与捕食者-猎物模型

    该研究利用捕食者-猎物模型分析机器学习泛化现象,并从生物与化学视角阐释随机梯度朗之万动力学及生成对抗网络。 针对从噪声数据中恢复未知固定次数多项式的具体示例,模型相比梯度下降法提供了更优的近似效果。 文中还运用热力学论据,特别是 Eyring 公式,解释了机器学习中的“顿悟”(延迟泛化)现象。

  17. arXiv · ML38

    h1:自动化定理证明中的苦涩教训

    研究提出简洁框架h1,通过高效Lean 4接口在形式定理证明中验证“苦涩教训”,即在匹配模型下,单次尝试(pass@1)即可媲美或超越Goedel-Architect等专业工作流。h1在PutnamBench等基准达到SOTA,并解决了8个开放问题,表明高效执行反馈比复杂工作流更关键。

  18. arXiv · ML38

    KORA:面向 AI 工作负载的确定性优先执行控制

    KORA 架构通过先尝试确定性路由来避免不必要的模型推理,在 100 项任务的基准测试中成功避免了 80 次模拟模型调用。 该方法在确定性子集测试中实现零不匹配,并通过遥测记录验证路由结果,仅当确定性处理不足时才升级至模型路径。 此工作证明了在特定文档化负载下减少模型调用的潜力,但并未确立生产环境下的实际表现或成本优势。

  19. arXiv · AI43

    StreamMA:通过流式通信优化多智能体推理系统的延迟与效果

    StreamMA 提出一种多智能体推理系统,将推理步骤即时流式传输至下游,实现流水线并行以显著降低端到端延迟。该方法在八个基准测试中优于串行和单智能体基线,平均提升 7.3 个百分点,HMMT2026 上最高提升 22.4 个百分点。实验显示,步骤级缩放定律能同时提升推理有效性与效率,成为与智能体数量缩放正交的新维度。

  20. arXiv · AI31

    TS-DP:基于强化学习投机解码的时序自适应扩散策略加速框架

    TS-DP 是首个将投机解码应用于扩散策略(DP)的框架,解决了 DP 在具身控制中因迭代去噪导致的高推理延迟问题。 该框架通过蒸馏基于 Transformer 的草稿模型替代高成本去噪调用,并利用基于强化学习的调度器动态调整参数以适应任务难度变化。 在模拟环境中实现 4.17 倍 NFE 降低和 3.2 倍加速,真机实验中推理频率达 26 Hz,传送带任务成功率提升 23%。

  21. arXiv · AI33

    轻量概率基准 FBPR 能匹配大语言模型

    研究提出一种轻量级频率概率排序器(FBPR),在 MedQA 临床诊断基准上,其性能与 GPT 等大语言模型相当。 FBPR 使用来自 Dolma 和 RedPajama 语料的共现统计,通过平滑朴素贝叶斯评分选项。 FBPR 与 LLM 直接推理具有互补性,结合两种方法的混合策略能带来显著提升。

  22. arXiv · AI38

    多路径 LLM 推理的多样性组合

    该论文将多路径大语言模型推理形式化为无线通信中的多样性组合问题,提出自适应 K 值规则以优化采样路径数。 在 5 个模型和 12 个基准测试中,提示词模板多样性在 60 个模型-基准组合中的 55 个降低了路径相关性,平均相对降低 16%。