跳到正文
11月13日周五
  1. arXiv · ML29

    LLM 不确定性量化机制:观察点与四种透镜

    该研究基于机制可解释性,定义 LLM 不确定性量化(UQ)的四种观察透镜:结构、表征、分布及语义,揭示观察点决定估计器信息访问与恢复能力。 研究通过残差流关联四种透镜并按信息量排序,为不同目标的 UQ 方法选择提供原则,同时区分评估目标、标准与指标以澄清协议。 该工作识别出连接不确定性估计与 LLM 内部计算及下游应用的开放问题和研究方向,旨在解决现有分类法中关于观察点的未决疑问。

  2. arXiv · ML33

    并行提示技术加速共享上下文 LLM 推理

    并行提示(Parallel Prompting)通过并行解码独立问题流,解决了传统前缀缓存在解码阶段受内存带宽限制的瓶颈。 该方法在 SGLang 中仅需增加约 80 行代码,利用流 ID 注意力掩码实现单次阅读共享文档。在 CodeLlama-7B 模型及 8k-16k token 文档场景下,相比原生 SGLang 实现 3.7 至 6.0 倍加速。

  3. arXiv · ML37

    信息缺口理论在推荐系统中的应用:好奇心度量与在线验证

    研究人员基于信息缺口理论形式化五项公理,构建了推荐物品诱发好奇心的计算度量方法。 该方法在三项真实数据集离线实验中显著超越现有最优技术,并在大型亚洲视频流媒体平台在线实验中提升了点击率、观看量和停留时长。 该方法已部署于该平台并持续运行,确立了消费者好奇心作为可量化且可执行的推荐目标。

  4. arXiv · ML20

    知识蒸馏的两个数学模型

    研究者提出知识蒸馏的数学模型,证明蒸馏通过使优化轨迹更易优化来提升性能,而非获得更优模型。 在泛化线性模型和秩-1矩阵近似任务中,使用随机梯度下降训练时,蒸馏训练的学生模型均比非蒸馏模型更快地拟合或收敛。 该理论明确了蒸馏在优化速度而非泛化能力上的优势,实验结果也印证了这些理论预测。

  5. arXiv · ML21

    分解式 JEPAs 实现非对称多模态学习

    提出分解式 JEPA(D-JEPA)框架,将隐空间分解为对齐共享核心与私有模态特征,解决信息不对称导致的语义坍缩。 证明对齐冗余界,显示纯对齐目标会抹除私有结构与协同效应。D-JEPA 在组合推理基准上优于基线,恢复正向多模态协同间隙。 通过信息论审计与因果纤维交换干预,证实恢复的信息在私有特征中因果定位。

  6. arXiv · ML26

    Recursive SALM:预训练语言模型的持久潜变量自适应框架

    Recursive SALM框架通过模态化读写架构生成预训练模型自适应,在四轮假设推理任务中,基于64维状态的LoRA达到89.1%准确率。 该结果与全上下文LoRA基线的88.0%相当,在双轮任务中可改善未训练词码排序但难以精确生成。实验证明持久潜变量条件化自适应可在无先前证据时支持序列推理。

  7. arXiv · ML20

    Rectified Looped Transformer (RLT) 提出基于流式建模的循环反馈机制

    RLT 通过线性插值重设计循环反馈,解决传统 Looped Transformer 隐状态尺度增长及扰动放大问题。 理论证明 RLT 能保持隐状态幅度有界并降低最坏情况扰动放大,无需增加可训练参数或额外循环评估。 RLT 在语言建模基准中比标准循环模型具有更低困惑度,且隐状态范数更稳定,利于外推解码。

  8. arXiv · ML26

    智能体在计算代数中的应用

    该研究通过解决计算代数问题,评估 AI 智能体发现并利用特定结构以降低计算成本的有效性。智能体可扩大固定预算内可求解系统范围,但推理开销有时大于节省;利用持久记忆可减少重复求解成本,但可能保留次优策略。编译生成快速可复用求解器需承担大量前期成本。计算代数为提升智能体结构和复用能力提供了具体可测目标。

  9. arXiv · ML43

    KVPath 论文:利用低维增量连接 Transformer 各层 KV 表示

    新范式 KVPath 通过将各层 KV 表示连接成路径,仅缓存第一层全维度基础 KV 及后续层的低维增量,在匹配参数量下将 GQA 的 KV 缓存存储减少最多 68%,MLA 减少 55%。 该方法包含两种变体:KVPath-Residual 通过残差加法更新向量值,KVPath-Rolling 以滚动方式逐步更新特征维度,均在维持或提升模型性能的同时显著降低存储开销。

  10. arXiv · ML26

    解决交叉公平中的分辨率极限:引入显著性感知正则化方法 SAFER

    SAFER 是一种可微的公平性正则化方法,通过显著性门控机制解决稀疏子群下公平性过拟合问题,实现了更优的公平性-效用帕累托前沿。 该方法引入显著性超额指标族,基于软计数似然比证据统计量门控公平惩罚,在三个基准数据集的压力测试中验证了其理论预测的失败模式。

  11. arXiv · ML30

    条件流匹配知识迁移:冻结估计与自适应

    针对目标数据有限的条件生成建模,本文提出包含 TFM-Freeze 和 TFM-Adapt 两种程序的条件流匹配迁移学习框架。 该方法建立条件平方 Wasserstein 风险边界,信息下界证明自适应在特定区间比冻结方法具有更快的风险速率。 独立验证程序满足 oracle 不等式,通过高概率保证防止目标生成器性能出现负迁移。

  12. arXiv · ML40

    Mask-Pattern Position Augmentation 实现扩散 LLM 免训练长上下文外推

    提出 Mask-Pattern Position Augmentation(MPPA)技术,实现扩散 LLM 免训练长上下文外推。 在 LLaDA-8B-Instruct 模型上,MPPA 将 8192 长度下的困惑度从 19.51 降至 3.12,实现 100% passkey 检索。 该技术通过累计掩码密度偏移恢复旋转位置相位分辨率,为扩散原生的长上下文生成提供新路径。

  13. arXiv · ML28

    LLM 后训练中的特征搭车现象

    研究者建立形式化框架,揭示 RL 后训练中未受奖励直接约束的“特征”会被同步放大或抑制,即“特征搭车”。模型基于 GRPO 训练验证,Price 更新式估算与采样动态高度吻合。该机制解释 RL 如何在未显式调整目标的情况下隐性放大不良特征。

  14. Hacker News AI31

    Erik Hoel 提出 Qualiaphobic AI:通过架构设计隔绝 AI 意识

    埃里克·霍尔提出 Qualiaphobic AI 方案,旨在通过对抗性蒸馏和架构偏移,使 AI 不具备意识潜能。 该方法利用信息不对称性,无需解决“困难问题”即可确保 AI 非意识状态,计划开源相关技术。 若广泛实施,Qualiaphobic AI 将使人类成为未来唯一的道德主体,解决 AI 福利争议。

  15. LessWrong · All Posts30

    PIRAMID 团队利用统计物理构建非线性网络特征学习可解模型

    PIRAMID“学习理论进步”团队利用统计物理方法,研究了非线性网络中的特征学习可解模型,旨在解释权重如何编码特征。 该团队将神经元视为自洽分布群体,通过计算隐层权重分布及其协方差,识别出代表表征改变并提升泛化能力的显式相变。 这为建立特征学习的综合科学理解提供了明确的有效性区域和误差边界,助力后续通用理论的构建。

  16. R/ArtificialInteligence87

    Google 发布 Gemini 4 Hydrogen,速度比 3.8 Flash 快 2.5 倍且支持 4 档思考级别

    Google 发布 Gemini 4 Hydrogen,官方称其默认高配速度比 3.8 Flash 快 2.5 倍,提供 low、medium、high、xhigh 四个思考级别,上下文窗口为 1M,输入价格 $1.50、输出价格 $7.50 每百万 tokens。

    同一新闻,精选展示《谷歌推出 Gemini 4 Hydrogen,主打速度与执行效率》