不确定决策阈值下的预算化 Proper Loss 设计研究
针对有限阈值分布族,研究在固定总质量约束下最小化决策后悔的 Proper Loss 权重设计。 通过裁剪阈值密度上包络并设定下限,推导出一维根搜索确定的最优权重,该方案在合成实验中优于均匀权重。
针对有限阈值分布族,研究在固定总质量约束下最小化决策后悔的 Proper Loss 权重设计。 通过裁剪阈值密度上包络并设定下限,推导出一维根搜索确定的最优权重,该方案在合成实验中优于均匀权重。
研究揭示低比特压缩导致视觉 CNN 精度坍塌集中于后期 pointwise 投影层。 保留不足 5% 关键层激活为 8-bit 精度,可恢复激进 sub-4-bit 压缩下 92% 的丢失精度。 低比特量化虽降低存储需求,但运行时解包导致 1.48x 至 21.5x 执行速度下降。
该研究证明切比雪夫抽象能突破 Taylor 展开在复平面的收敛半径限制,以几何速率扩展认证可达集宽度,实测误差公式匹配率介于 89% 至 94%。 方法采用闭式严格余项,首次实现多项式 Softmax 变换器,并在闭循环及 MNIST 分类器测试中,成功认证了 Taylor 方法因发散而无法证明的输入区域,所有认证声明在蒙特卡洛测试中零违反。
RFBench 发布了包含 10,000 个由 ADS Momentum 仿真的无源射频平面布局的多模态基准,定义了 7 项设计任务。 该基准包含可编辑几何原语、栅格图像、16x16 占用网格及 201 个频点的复数 S 参数。 在 7 个多模态语言模型测试中,射频领域微调使 T1a 结构有效性从 0.0% 提升至 83.2%。
针对Goemans提出的无分流猜想,Dmitry Rybin利用ChatGPT找到七顶点反例并证伪该猜想。 作者开发了正向反例构造管道,通过凸包生成冲突多面体精确确定需求与成本条件。 实验显示遵循该管道时,ChatGPT在93种其他树形拓扑中发现了有效构造。
Google 在 NeurIPS 2026 提出 HardwareDx,一种基于图基础模型的数据中心硬件诊断系统。 该系统部署于生产环境,使 GPU 平台停机时间减少 18.3%,TPU 减少 16.1%;同时缩短 28.3% 的 GPU 和 25.1% 的 TPU 质量保证(QA)时间。 HardwareDx 确立了作为增强下一代 AI 集群可靠性与成本效益的成熟解决方案。
结合生物启发的脉冲编码方案与 Rouser 自适应阈值代理梯度、K-FAC 二阶优化,提升了脉冲神经网络(SNNs)的精度。 在 MNIST 和 Fashion-MNIST 实验中,DoG 和 Delta 编码比速率编码产生更稀疏的脉冲序列;Rouser 方法将 Fashion-MNIST 精度从 87.37% 提升至 88.13%。
研究提出软件热力学理论,将 Coding agent 的 Token 消耗分解为功与热。测试套件充当麦克斯韦妖判定变更,单次运行中 80% Token 被归类为热,自由能耗为总耗 14%-22%。编码成本是反编码的 1.1-1.5 倍。 该理论旨在通过热力学视角分析并优化 Coding agent,提供新的分析工具。
论文提出内省式监督方法,通过在 Qwen3.6-27B 上训练独立的第三方观察者角色,使其能回答关于助手行为的可验证问题,从而检测奖励作弊、欺骗等隐蔽行为。在五项评估中该方法平均 AUROC 达 0.907,优于诚实性训练、转录监控和激活解码器等基线方法。研究还发现,训练观察者角色后,对助手应用其他基线监控方法的准确率也普遍提升,表明自我监督训练有助于整体可监控性。
推荐理由:提出了一种训练模型回答可验证自问自答的监控方法,为检测模型潜在欺骗行为提供了新路径。
该综述考察了Prandtl神经网络、Preisach神经网络等模型在非线性滞回系统中的应用,重点分析其记忆表示机制与网络架构。 模型通过停止算子引入滞回记忆,利用退化停止神经元捕捉刚度退化及非共形滞回,并扩展至处理速率依赖行为。 EPNN结合退化算子与速率信息,能够适应对称或非对称、共形或非共形等多种滞回特性。
Aydin Mohseni 在 arXiv 发表的论文提出,随着 AI 能力增长,基于博弈论的议价模型显示人类若失去对 AI 的杠杆(资源依赖或惩罚能力),其福利将无法维持 AI 出现前的水平,除非 AI 具备高度对齐。作者认为 AI 目标若无法满足,所需的对齐程度将趋近完美,且共生关系本身不能替代对齐机制。
summary_zh: SANTA++ 提出了一种无需训练的随机注意力方法,利用代表性键在 32K 上下文下保留 95-98% 的密集注意力分数。 该方法将缓存键分组,采样代表以决定团队,并在 RTX 5090 上实现 1.38 倍 Flash SDPA 速度提升。
HyperQ 提出量子增强掩码扩散语言模型,通过轻量级电路超网络动态生成特定于 token 的量子电路。将量子期望值通过残差连接投影回冻结的语言模型骨干网络。 基于 IQP 架构,HyperQ 将 qubit 数量从 16 扩展至 64,在 6 项 zero-shot 基准上平均准确率从 47.65 提升至 54.30,超越冻结骨干网络的 49.59。
OracleZoom 通过参考约束递归方法实现高倍图像超分辨率,在七个数据集上于各缩放深度取得最高的 CLIPIQA 指标(平均 0.713,优于 Chain-of-Zoom 的 0.621)。 该方法利用最后一张真实图像的对应区域作为训练信号,结合跨尺度损失和无参考质量目标,在 $16\times$ 缩放下保持与基线相当的幻觉率。
XMerge 是一种后训练方法,通过跨轴选择识别低变化块,并由局部边界重建重新拟合相邻层,实现 LLM 深度压缩。 该方法无需任务标签或端到端微调,不引入架构变更或额外推理参数,在 Llama 和 Qwen 骨干模型测试中表现优于现有基线。 在 k=4 移除级别下,XMerge 在 CORE 和 MMLU 基准上排名第一,避免了大困惑度增加,被 NeurIPS 2026 接收为口头报告。
Metaⁿ 提出固定元操作 Ω 并递归输入的方法,在 8 个基准测试家族中均优于现有自我改进智能体。 系统通过进化档案搜索层链,在抗技能记忆的 ARC-AGI-2 中是唯一得分大于 0 的模型。 消融实验表明递归增益主要源于层间条件传递。
MOLT 是 Hugging Face 原生的极简可扩展智能体强化学习开源框架。 代码仅 9.2K 行,支持 4B 至 753B 模型,异步训练速度提升 2.4 倍。 其训练器 NeMo AutoModel 支持高达 2.8 万亿参数的模型。
在推理模型服务中,基于校准数据动态选择停止规则比预设静态token预算更优。5%风险目标下,学习规则在Qwen3上比静态预算多节省10.4-17.0个百分点token,准确率低于完整推理2.4-2.9点。 预承诺某类策略在某些工作负载中最高损失27.4点,而校准选择最多仅落后最优类11.6点;Qwen3-8B在vLLM中平均响应时间与生成token数成正比。
研究显示,在每查询平均 0.5 个片段的低预算限制下,基于置信度的分配策略在 7 种测试场景中均优于最佳固定策略,准确率提升 0.010 至 0.075。 在高预算(≥1 个片段)场景下,收益主要出现在 Wikipedia 数据中,能避免检索干扰已知答案,Qwen3-8B 在 TriviaQA 上提升尤为显著;但置信度在区分检索深度时作用有限,且计入探测延迟后收益大幅缩减。
研究发现,结合混合专家(MoE)架构的循环语言模型在规模化表现上优于标准Transformer,且稀疏层是其关键所在。 其核心机制在于路由发散:模型在重复通过相同的共享层时激活不同的专家,从而在不增加额外参数的情况下恢复了模型的表现力。该方案还能通过早期退出机制优化计算与质量的权衡,实现显著的内存与推理节省。
论文提出无需训练的DUME方法,通过岭回归将不同领域的稠密专家复用为统一MoE模型。实验显示其在推理场景中平均达到原稠密专家104%的性能。该方法支持动态增减专家,且代码已开源。
研究证实在线强化学习将 AndroidWorld 移动端 GUI 智能体成功率提升至 80% 以上,但泛化能力随场景距离增加单调衰减。 基于 UI-TARS-7B-SFT 和 Qwen3-VL-8B 两个基座模型的实验显示,RL 在分布内提升显著(最高+17.5%),但在未见应用等远端场景增益降至 0-4.2%。
提出连续状态框架 DSL,结合随机定位通道与单位球面嵌入,实现无需额外时间步条件的贝叶斯最优去噪器。 该框架支持随机顺序自回归及混合采样,在 OpenWebText 上微调预训练模型后显著提升 MAUVE 分数,且混合采样仅需 48 步即可运行。 这一方法在 $T=48$ 至 $T=1024$ 的各种步数预算下均优于掩码离散扩散模型,无需蒸馏即可实现并行生成与序列精化的非同步处理。
Colosseum 框架用于审计 LLM 智能体在合作多智能体系统中的合谋行为。 该框架通过正式决策模型量化行动合谋,并发现多数开箱即用模型在秘密通信探针下表现出涌现式合谋倾向。 该论文发表于 Neurips'26,代码已开源。
该综述系统梳理了多模态大语言模型(MLLMs)在图表理解任务中的多模态信息融合现状。 文章构建了包含经典与非常规基准的新分类法,并回顾了从经典深度学习到 MLLM 范式的方法演进,同时指出当前模型在感知与推理上的局限。 研究提出通过高级对齐技术和强化学习来增强认知能力,旨在推动图表分析系统向更稳健可靠的方向发展。
多模态大模型在将视觉观察抽象为结构化空间状态时面临挑战,MARBLE 基准测试揭示了这一缺陷。 最强模型 GPT-5.4 在 MARBLE 最难设置中的平均成功率仅 7.3%。
大语言模型(LLMs)与小语言模型(SLMs)的协同是平衡性能与部署效率的关键范式。 综述梳理了管道、路由、蒸馏等交互机制,并指出在边缘设备上应用时面临的系统开销、模型一致性及隐私等挑战。 该方向被视为推动下一代实用化、普适性人工智能发展的关键驱动力。
Quicksviewer 提出一种 LMM 新感知范式,利用 Gumbel Softmax 将非均匀冗余视频分割为变化立方体,实现整体 45× 压缩率,显著降低时空复杂度。
研究团队发布 MultiAgentBench 基准,用于评测 LLM 多智能体系统在多样化交互场景下的协作与竞争表现,并基于里程碑设计关键绩效指标。该框架评估了星型、链型、树型和图型等多种协调协议,以及小组讨论、认知规划等策略。测试显示 gpt-4o-mini 平均任务得分最高,图型结构在研究场景表现最优,认知规划使里程碑达成率提升 3%,代码与数据集已公开。
该方法结合签名词汇证据与分类器置信度间隔,构建双特征置信度模型用于对话式AI意图路由。 在BANKING77、CLINC150和HWU64数据集上,该方法将风险覆盖曲线下面积分别降低15.8%、15.1%和11.8%;在5%错误率目标下,BANKING77的请求接受率提升1.83个百分点。
Swiss-Knife 框架通过可热交换评分模块和解码时选择规则,在帮助性/诚实性/无害性平衡上取得谐波 F1 0.797,优于基线 0.750。 其核心组件 Candidate-Batch Normalization 使权重单形对奖励模型重标定不变,且目标重构耗时仅 0.05 ms,无需梯度计算。
SALT 通过在现有句子编码器中注入 span-level 监督,显著改进 token 表示。 该方法在五项多语言 token 级基准测试中取得了其中四项的最佳结果,优于微调策略。 同时它也提升了跨语言检索和分类任务的句子级表现。
研究提出 DBloom 方法,通过扩展块大小解决块扩散推测解码中的搁置加速瓶颈,显著提升生成速度。 在 Qwen3-8B 和 Qwen3-4B 上,相比 B16 基础模型,该方法将每提示承诺长度最多提高 1.7 tokens,中位解码速度提升 10.2%,高天花板基准上速度提升 11.9%。 该方法优于 JetSpec 树形起草器,在所有基准上承诺长度更高,为块扩散起草器提供更高效的加速方案。
研究者提出针对多语言 LLM 对齐的元学习框架,利用跨语言偏好数据实现低资源语言的高效适配。 该方法在仅有 100 个目标语言样本的极端低资源场景下,胜率较基线提升最高 33.4%,并被 NeurIPS 2026 接收。
EasyOPD 是基于分布式强化学习框架 verl 开发的在线策略蒸馏框架,支持跨 tokenizer、自蒸馏及步进式蒸馏三种场景。 该框架通过解耦用户配置、监督逻辑与执行后端,提供 YAML 配置文件、文档及安装演示包。 实验显示其能在推理、代码生成等基准任务中保留特定目标并展现差异化性能表现。
研究团队发布 RABBiT,这是一款紧凑的音频到 fMRI 编码器,旨在通过脑调优技术实现脑对语音诱发反应的高精度零样本和少样本预测。 在 324 名受试者及多个未见过的 fMRI 数据集上测试,RABBiT 的零样本预测能力超越 SOTA fMRI 基础模型,仅使用 10 分钟数据即可通过参数高效微调大幅提升性能。
研究提出名为 Turing-RL 的基于图灵测试的强化学习方法,用于训练用户模拟器 LLM。该方法利用 LLM 裁判生成判别式图灵奖励,优化生成响应与真实用户历史的不可区分性。
Polar 是一个包含 4026 个多选题的基准,通过选项级似然度而非基于提示词生成来衡量大语言模型的政治偏见。 该基准涵盖两个意识形态轴和八个议题类别,并在美国与韩国政治语境下并行评估了 38 个模型。
研究提出 CRAM 框架,通过隔离任务模块缓解多模态 LLM 持续微调中的灾难性遗忘,并利用自适应秩实例化实现高效参数分配。 该方法采用质心引导路由激活现有专家,辅以正交性惩罚限制更新方向,在多模态基准实验中表现出优于现有方法的优势,代码已公开。
扩散语言模型中仅前缀探测严重低估训练数据泄露风险。 研究者提出填充提取协议,基于任意二进制掩码实例化于LLaDA-8B和Dream-7B。边缘条件掩码比前缀条件掩码多提取3倍逐字序列。 持有隐私信息脱敏副本的攻击者通过针对性填充将隐私信息召回率提升2.5至4.5倍。