MILOP 多动作神经索引策略协调儿科病房升级资源
新模型 MILOP 通过多动作 restless multi-armed bandit 框架协调儿科病房升级决策,相比基线提前发现 87.4% 的危重转运,并减少 13.5% 的监控资源使用。
新模型 MILOP 通过多动作 restless multi-armed bandit 框架协调儿科病房升级决策,相比基线提前发现 87.4% 的危重转运,并减少 13.5% 的监控资源使用。
Slim attention 将使用 MHA 的 transformer 模型上下文内存减半,在大型上下文窗口下推理速度提升最高 2 倍。该方法通过数学等价实现标准注意力机制,无损压缩内存且不损失模型精度。 示例中,Whisper 模型的上下文内存减少 8 倍,batch size 为 64 时 token 生成速度提升 5 倍;T5-11B 模型的内存减少 32 倍。
针对离散 token 推理与连续图像生成间的模态不匹配,提出连续空间潜在推理框架 LARC。采用两阶段训练:课程式 SFT 将 token 级推理转化为潜在推理,信息增益 RL 实现无监督自演化。在 GenEval 基准上比 BAGEL 提升 7%,并展现清晰的测试时扩展行为。
该专著通过定理证明博弈论与强化学习描述同一对象,将游戏在三种意义下定义为马尔可夫决策过程。 涵盖从正常型到演化博弈的标准类别,建立纳什均衡与Bellman算子不动点、Shapley值与信用分配等对应关系。 明确列出独立学习者失效等非对应情形,区分定义恒等、精确还原与结构类比的适用条件。
PEEL 方法在 Matryoshka 检索嵌入中提取本体结构,揭示前缀长度与层级粒度的对齐规律。 该方法仅使用概念词汇表,通过最小生成树解码税务 DAG,在 OLLM 基准上实现高保真结构恢复并迁移至新领域。
在推理阶段剪枝 LLM 的冗余注意力头可显著抑制逐字记忆,无需重新训练或修改数据。在 GPT-2-XL(1.5B) 上剪除 729 个任务冗余头,记忆序列数量降低 91.5%,WikiText-103 困惑度改善 0.92。该发现表明利用注意力头冗余性可在推理时缓解隐私与知识产权泄露风险。
针对 SAO 依赖闭源价值模型的问题,论文提出 Li$^2$SAO,利用组相对优势训练 Actor、组中心回报训练 Critic 进行冷启动引导,随后切换至单轨迹 GAE。 实验显示,该策略使 Li$^2$SAO 在早期训练阶段赶上或超越 GRPO,并提升了后期性能上限,相比仅无价值模型复现的 LiSAO,在智能体任务上表现更优,代码已开源。
论文提出一种通用多任务引理,以任务回归函数及其估计器的几何条件,作为通用多任务场景下快速子空间估计的充分条件。 该引理推导出线性回归与分类在相应机制下的锐极小极大速率,以及对加性噪声回归的与对数因子匹配的速率。 这一成果填补了现有上界技术局限性导致的精确速率认知空白。
CausalXRL提出了一种基于因果图推理的可解释强化学习(XRL)框架,旨在提升智能体决策的可解释性和透明度。该框架通过提供透明、结构化的多层级解释,帮助调试和改进智能体行为。
雅可比微调整体降低了混沌 PDE 神经模拟器的错误放大效应。当错误放大比大于4时,该方法的几何平均错误降低倍数在小模型上达8倍,在33k参数模型上达55倍。匹配模拟器自身错误方向的EDJM方法在28/35种子中优于随机方向,与输入噪声注入表现相当。
语言模型微调后的遗忘无法通过固定词表偏置完全消除,跨14组1B至7B模型测试显示,最大Top-4K偏置恢复率低于10%。 加入温度参数后恢复率最高可达36%,但数学再训练模型恢复效果接近零,随机受损模拟中该修复方案仍仅恢复29%。
该剑桥大学硕士学位论文探讨源任务良好泛化是否必然隐含对相关目标任务的迁移能力。 作者假设答案是否定的,并通过在迁移学习流程中实施三种类型的对抗攻击寻找反例。 实证结果显示,源任务的泛化能力与迁移能力之间存在强相关关系,但结果并未排除源任务泛化作为成功迁移充分条件的可能性。
HiRes 通过分层残差架构解耦 Transformer 的残差宽度与计算宽度,将标准 PreNorm 层分组并由更宽的 PostNorm 外层残差连接。 在 OLMoE-1B-7B 预训练中处理 500B tokens,HiRes 训练损失降低 0.0208,下游准确率提升 1.14 点,FLOPs 效率提升 1.30 倍。
9 款来自 2 家开发者的模型在 3 项分类任务中,开启推理功能提升了模型共识。 要求模型进行更深推理促成了共识,而观察到更长的推理路径则预示预测不一致。
现有 GFlowNet 算法难以发现可解释的生成顺序,新提出的 Learning-Order GFlowNet 无需顺序标注即可学习此类顺序并提升收敛速度。 研究发现梯度信号-噪声比(SNR)可解释顺序涌现机制,较快收敛的生成顺序在相同验证损失下具有更高的 SNR。
FOCUS 结合局部最优传输对齐与短视距可微 actor-critic 学习,解决了仅基于状态演示且缺乏时间对应关系的模仿学习问题。 该方法通过软最佳 $K$ 目标匹配智能体轨迹与专家片段,生成可微模仿奖励,并无需时间对齐轨迹或教师强制。 在包含 152 个肌肉激活的肌肉骨骼人形机器人任务中,FOCUS 在 DFlex 环境中提升了样本效率与训练稳定性。
研究对比了 OLMoE、DeepSeek-V2-Lite 和 Moonlight 模型中无训练专家剪枝的替换算子,发现存活门控缩放是最大影响因子,常规重归一化操作会导致 0.8-8.5 分精度损失。
该研究通过关联私有量化技术,在车辆网络协作路由中实现了通信与隐私的高效平衡。 在参数级隐私预算为 1 时,相比独立量化,关联私有量化将平均旅行时间降低了 14.3%。 结合后量子认证通信,单次上传的认证上行链路大小减少了 92.4%,每轮平均聚合的已验证更新数从 19.6 提升至 26.5。
该研究通过随机最优控制理论,解释了 Transformer 架构为何能成功预测非马尔可夫数据。 作者构建了深度为 M+1 的 Transformer 模型,证明了在平稳遍历或滤波稳定条件下,随着上下文长度增加,预测误差可无限趋近于零。
提出密度引导自举边界机制,利用分数感知相对密度代理自适应调整想象回报深度,解决固定想象时长的模型误差累积问题。 该机制包含硬/软边界两种门控变体,独立于具体动力学模型并应用于Dreamer V3。理论证明门控Bellman算子为严格压缩映射。实验显示其在连续控制任务和Atari Pong上提升了样本效率和后期训练性能。
Walrus-1.3B 科学基础模型在 Sim-to-Real 适应过程中遭受灾难性遗忘。在模拟数据微调后,原始预训练数据集上的单步误差在 20 个 epoch 后增加高达 35 倍。 回放 1% 模拟数据可恢复大部分性能并保留对实验数据的适应效果。该研究确立了灾难性遗忘为科学基础模型 Sim-to-Real 适应的实用障碍,轻量级回放策略能显著改善知识保持。
离线强化学习算法 ReBRAC-v2 在 OGBench 10 个常用类别中平均得分 74.8,超过次优方法的 52.3,并在其中 8 类排名第一。该模型基于精确似然归一化流 actor 和行为正则化构建,无需结构改动即在 D4RL AntMaze 达到 90.2 分。作者完成了原始 OGBench 全部 235 个单任务问题的完整评测,确立了其作为未来研究的参考基线地位。
论文提出多芯片let内存中心架构 AMMA,专攻低延迟长上下文 LLM 注意力服务,面向 1M token 场景优化。 AMMA 用 HBM-PNM 堆替代 GPU 计算 die,配合逻辑 die 微架构与两级混合并行,显著提升注意力推理带宽效率。 相比 NVIDIA H100,AMMA 注意力延迟降低 15.5 倍,能耗降低 6.9 倍,论文已被 MICRO 2026 录用。
研究基于918项评估提出JudgeGPT和RogueGPT框架,发现政治倾向与检测表现关联微弱(r=-0.10),而“假新闻熟悉度”是候选中介变量(r=0.35)。GPT-4因流畅度陷阱(HumanMachineScore: 0.20)绕过来源监控,使得其输出与人类文本难以区分。建议“预澄清”干预应针对认知来源监控,而非人口统计细分。
AnytimeReasoner 框架通过截断思维过程并生成摘要来引入可验证密集奖励,优化任意 token 预算下的推理效率。 该方法解耦优化思维与摘要策略,并引入 Budget Relative Policy Optimization (BRPO) 技术以增强强化学习鲁棒性。 在数学推理任务中,该框架在所有思维预算下均优于 GRPO,显著提升训练与 token 效率。
LazyAgent 提出首个代理运行时按需执行完整方案,通过仅在请求需要时运行步骤避免冗余计算。 在 303 个请求的生产工作流中,该方案节省 62.2% CPU 及 51.7% 容器时间,且在 DataSciBench 上减少 12.8% Token 消耗。 研究指出公开基准无法体现此效率差异,呼吁行业构建衡量代理工作流执行效率的新标准。
提出包含四个系数的逐Token门控参数化方法,统一了EOPD和ToDi的单一信号限制。 使用Qwen3-32B教师模型和Qwen3-4B学生模型在TweetEval数据集上进行验证。 该参数化体系主要用于比较在线策略蒸馏中短文本分类任务的门控设计。
该研究提出 TCFT 框架,通过监督微调训练模型识别时间泄露,解决 LLM 在前瞻性推理中违规使用截止时间后知识的问题。 实验显示 TCFT 优于提示工程和 SFT 基线,在 Qwen2.5-7B 和 14B 模型上分别平均减少 41.89 和 37.79 个百分点的时间泄露。
ThinkSafe 提出无外部教师的安全对齐方法,在 DeepSeek-R1-Distill 和 Qwen3 上实现安全性提升。 在 Qwen3-0.6B 模型上,该方法以 GRPO 约七分之一的耗时达到相当的安全性和推理性能。 代码、模型及数据集已开源,该方法被收录于 NeurIPS 2026。
RoboArchitect 自动化设计冻结策略外的 agent harness,在未见场景中将从 9.7% 提升至 43.3% 成功率,未见任务中从 12.7% 提升至 40.2%。 该系统让编码模型通过观察 rollout 和诊断失败来迭代优化 harness,无需更新任何模型权重即可生成持久记忆与直觉控制策略,如避开障碍的横向抓取。
提出 CRoS 指标,通过乱序推理步骤而非篡改内容来扰动 CoT,消除信息改变的混杂效应。 在 Reasoning Gym 使用 Gemma-3-4B 测试,CRoS 在 5 个未见数据集准确率达 46.8%,CoT 忠实度得分 34.0%,均优于最强基线。
研究对比循环模型与无循环基线,指出其仅在 0.8B 小模型上胜出资本效率。 实验覆盖 Qwen3 和 Qwen3.5 系列 0.8B 至 9B 参数,发现 4B 和 9B 模型中循环版本未超过同参数量无循环模型。 表明预训练后添加循环仅对固定参数预算的小模型具有成本效益。
针对 LLM 引导的符号回归在外推时标准预测区间失效问题,LLM-SR-UQ 框架通过量化候选方程间的结构分歧来改善覆盖。 LLM-SR-UQ 扩展了固定宽度共形方法,通过保留竞争方程结构并测量其分歧,显著提升了模型的外推覆盖率,同时保持分布内覆盖率。
GPT-6 Astra 在仅 60 个实验数据点时,五项物理化学和量子化学回归任务的准确率超过 ChemBERTa 和 MoLFormer 等专用化学基础模型。 专用化学模型需 10 倍数据量(1000 或 10000 点)才能达到 GPT-6 Astra 在 60 点或 1000 点上的表现。 通用基础模型在数据稀缺的化学研究中比专用模型更具优势。
研究揭示在 AI 筛选求职申请时,本地模型生成的求职信因评估者偏好系统性处于劣势,且评估者存在自我偏好偏差。 构建由 11 个 LLM 写手和 9 个评估者组成的审计框架,发现最不利配对下约 1.8 名合格候选人仅因模型不匹配被误拒。 该机制涉及风格线索的奖励或惩罚差异,为招聘算法公平性与监管提供设计依据。
轻量级编解码器 Latent-Lens 冻结 VLM 与 SLM,通过隐空间直接通信解决文本信息丢失瓶颈,仅训练约 1.6M 参数(占联合模型 0.2%)。 在 CLEVR 和 GQA 视觉问答中分别取得 81.0% 和 65.4%,较同等 LoRA 预算的文本通信基线提升 30.2-69.8 个百分点。 该论文发表于 NeurIPS 2026,验证了跨架构与词表的通用性。
研究发现 Activation Steering 会系统性改变 LLM 生成文本的话语维度,如正式程度和模糊性。 作者提出通过添加互补向量进行干预,该方法恢复了约 78% 的意外话语变化,同时在约 93% 的生成中保留预期行为。
提出GRIT训练框架,将视觉接地引入RLVR以缓解视觉脱锚推理。 Token级分析显示CVMR具有独特的注意力模式,GRIT显著提升了推理准确性和接地保真度。
针对多模态大语言模型中盲目使用思维链(CoT)导致的“过度思考”问题,作者提出了无需训练的自适应框架 DA-CoT。 该框架利用模型注意力图的熵值判断任务难度,并在初始输出失败时通过双向重思机制自动反转推理决策。 DA-CoT 在推理分割基准测试中取得了最先进(SOTA)性能,同时显著提升了推理效率。
针对多域6G网络切片在线放置中无固定策略占优且可行方案常被遗漏的问题,ORION提出一种层次化架构,利用两个LLM智能体生成结构化请求和抽象放置计划。 系统通过协同多智能体RL协调器选择跨域分区,并引入结果驱动的情节记忆记录网络条件、计划及可行性结果。在保持下游机制固定的情况下,该记忆机制使切片准入率比无记忆的同款规划器提升4.6至11.5个百分点。