Hypnos:用于边缘可扩展持续学习的双阶段端到端平台
Hypnos 开源双阶段持续学习平台在 CORe50 NICv2-391 协议上取得 78.6%-81.6% SOTA 准确率。 基于 ZCU104 FPGA 与 28-nm 工艺实现,单样本延迟为 7.79s-10.54s,较量化潜在重放减少 3.8 倍学习步数与 22 倍算力。 实现边缘设备在有限资源下的鲁棒持续适应。
Hypnos 开源双阶段持续学习平台在 CORe50 NICv2-391 协议上取得 78.6%-81.6% SOTA 准确率。 基于 ZCU104 FPGA 与 28-nm 工艺实现,单样本延迟为 7.79s-10.54s,较量化潜在重放减少 3.8 倍学习步数与 22 倍算力。 实现边缘设备在有限资源下的鲁棒持续适应。
研究证明,使用捕捉稀疏性的Bernoulli-Gaussian先验的扩散模型,结合似然引导退火Langevin采样器,能在多项式时间内以近最优样本复杂度恢复稀疏信号。 该结论适用于广泛的随机与确定性感知矩阵,并在信号符合先验时建立后验采样的全变差保证。 这些结果为基于扩散先验的反问题求解器奠定了统计与计算高效的理论基础。
BubbleTea 首个利用 MoE 专家并行气泡进行微调的共置系统,相比 LLMStation 快 1.9–6.2 倍。 其编译器路径自动从服务 LLM 派生微调块,4 块 A100 GPU 上 p90 推理延迟保持良好。 突发负载下训练速度达普通训练器的 14 倍。
作者提出免训练方法 PQRS(Per-Query Routed Sparse Attention),在视频扩散 Transformer 中仅对 Key 聚类,让每个 Query 独立选择 Key 簇。
OCTR2A 架构利用对角 RGB 相机重建并预测鸟瞰图(BEV)轨迹,实现城市路口实时感知与预测。 该模型在单张消费级 GPU 上实时运行,预测 ADE/FDE 达 0.154/0.241 米;相比 SIND 基准 SOTA,预测精度提升 66.7%/41.7%。 R3ST++ 合成基准支持真实场景适配,无需 LiDAR 或 HD 地图等昂贵资源。
CoSlice 框架通过协同多智能体强化学习解决 5G 切片资源共享难题,在多样化负载下显著降低平均和尾部 SLA 违规率。 该框架采用偏好条件切片智能体实现快速资源分配,并结合 LLM 协调器基于全局网络观测在较慢时间尺度上动态调整目标,同时推导了次线性遗憾界。 实验基于 ORANSlice 及其射频仿真器 RFsim 构建评估环境,结果验证了该方法优于其他集中式及多智能体基线。
基于 Rubric 的强化学习通常等权聚合评分,但评分异质性会扭曲候选排序。研究发现,消除奖励增益不平衡反而降低排序准确率,误排主要集中在该项削弱基础信号的样本对。 该方法提出自适应 DCC 聚合,通过设定裁剪区间限制单准则贡献度,在保留连续判断信息的同时抑制极端分影响。
ReliFlow 引入条件流匹配模型,通过仅使用训练数据交叉拟合估计单基因效应可靠性,校准加性源分布以预测组合扰动转录响应。 在 Norman 遗传扰动中,未见组合 MAE 从 0.142 降至 0.131, withheld 单扰动时从 0.198 降至 0.178;ComboSciPlex 药物组合 MAE 从 0.191 降至 0.176。
研究发现,在固定模型、记录和阈值的前提下,数值执行合同的变化会影响公平性审计结果。1级实验通过改变乘法和加法计算方式,发现GPU软件栈差异会影响阈值附近的决策,但不改变预设非加权测试的最终判定。
推出包含 602 个合成多立方体装配的基准测试 SixthView,要求模型根据五个正交视图预测第六个隐藏视图。 涵盖 2 至 10 个部件的装配体,采用精确网格评估,确保所有合法装配产生一致的隐藏视图。 在 552 项完整评估中,结合图像与精确文本的准确率范围 33.2% 至 85.4%,添加精确文本显著提升性能。
LLM 在缺乏提示指导时无法可靠处理高利害风险预测中的决策依赖问题。 测试了 OpenAI 和 Anthropic 的 11 个模型,当提示明确指定目标、假设和程序时,目标对齐实现率达 99-100%。 研究建议分析师需通过明确的方法论指导和仔细审查来使用 LLM,而非依赖其自主构建预测问题。
研究人员提出“光学即代码”方法,利用编码智能体仅通过测量数据原位训练光学神经网络。 该方法无需硬件校准或梯度计算,智能体形成物理理解并重构网络,在分类任务中优于无梯度方法,接近反向传播性能。 它为大规模可扩展光学神经网络提供了实用路径。
Meta 在 LLM 推理流量整形器中实施 Cap-and-Track 设计,通过异步调度优化服务集群扩容与请求大小变化的处理。 该设计利用拒绝信号探测容量上限,在并发生产 A/B 测试中,使用比固定速率少 43% 的 H100 提供服务。 该系统每日处理超 3 亿在线请求,最高 24 小时处理 11 亿请求。
summary_zh: PhysDial 适配预训练视频扩散 Transformer 模拟 PDE,在计算量匹配时,通过增加物理条件输入,使外力参数变化后的预测误差减半。
提出 Atomic MathReasoner (AMR) 框架,通过实例级组合原子推理技能增强数学大语言模型的推理能力。 AMR 训练特定能力的 LoRA 专家,利用无梯度优化发现低损失组合原型,并蒸馏至轻量级路由器以在推理时选择最优方案。
EfficientNet-B0 实验显示,在 P3-P5 阶段插入零门控自注意力适配器可使 ImageNet-1k 准确率提升 0.954 点至 74.02%。 注意力振幅随语义深度单调上升,P5 阶段达 66.3%。 交替双模板权重复用减少 10.9% 参数,单轮训练后准确率恢复至 70.92%。
研究揭示了随机初始化固定权重、仅训练偏差项的 ReLU 网络作为通用近似器的动力学机制,证明梯度依赖激活码。 理论表明在激活码固定时,训练简化为线性最小二乘问题,且宽网络中神经元的激活切换比例随宽度增加而消失。 实验结果支持理论发现,确认在无限宽度极限下训练动力学趋近于基于初始激活码的线性最小二乘。
研究发现神经网络最终权重保留选择性历史信息,30个网络在10个候选中准确匹配初始权重。 线性探针以100%准确率解码任务顺序,2157对端点显示低损失连接,表明共享任务未抹除个体学习历程。
研究人员提出一种直接在高维输入空间可视化并测量人工神经网络(ANN)决策边界几何特性的方法。 该方法避免了传统投影技术带来的失真,分析不同架构和训练方法下的边界曲率与距离。边界距离随子空间增大而平缓增长,且训练方法对边界特性影响远大于架构或准确率。 此方法为改进神经网络的可解释性和理解机制奠定了基础。
研究发现,MDM 和 MotionDiffuse 模型在平衡与飞行任务中,深层激活的信息提取收益不超过 0.01。跳跃下落率存在明显例外,MDM 早期去噪阶段线性探针的 R² 增益约为 0.08,且随采样进行而消退。该发现表明,评估模型物理认知需区分信息可读性与模型自身估计能力,对理解生成模型内部机制具有重要意义。
研究团队发布 RSIBench-Infra,这是包含 20 个训练与推理任务的基准,涵盖 NVIDIA GPU 和 Ascend NPU。 任务部署最多使用 32 个加速器,Agent 可修改引擎、内核和指令层级的软件栈,通过 OCI 镜像层协议提交更改。 结果显示 66.2% 的任务实现了超过 1.10 倍的速度提升,证明当前 Agent 能改进生产级性能,但策略转化仍具挑战。
summary_zh: 研究识别出循环神经网络(RNNs)受限于秩约束隐藏状态动态导致的时间信息瓶颈,该限制独立于梯度稳定性。 作者引入结构化高维状态动态以保持时间可分离性,防止输入到状态雅可比矩阵饱和;在受控序列任务中模型学习迅速。
该研究提出LLM辅助多保真贝叶斯优化(MFBO)方法,通过LLM解释专家关于低保真模型缺失物理效应的定性知识,生成知识基并将其纳入多保真模型。 在锂离子电池设计问题中,该方法将常规MFBO的遗憾曲线面积减少61%。受控实验表明,知识质量而非LLM选择决定了搜索加速效果,且知识层级消融量化了各陈述贡献。 结果表明LLM解释的专家知识可作为数值数据的补充信息源。
GateWatch 将 LLM 监控决策规则简化为布尔逻辑,在 Gemma-2-9B 上以 3.8 个 SAE 特征实现 80.49% 测试准确率。 其内存占用降低 99.98%,在 vLLM 中运行千个并发分类器时,仍保持 97-98% 的基线吞吐量。
AGAMOTTO 是一款 AI 驱动框架,旨在为指挥官提供集成仿真能力,以在实时作战中动态探索行动方案(COA)。 该框架作为 NGC2 计划的一部分,用于推动战术突击套件(TAK)等指挥控制系统的现代化,初步实验证明了其在时间受限环境中的可行性及训练策略。
针对预训练视觉世界模型难以避免碰撞的问题,提出风险触发搜索(RTS)方法。 RTS 基于冻结 JEPA 模型,通过轻量级风险头预测动作条件未来风险,仅对触发警报的计划执行 CEM 搜索。 该方法在五项任务上将 Safe Arrival Rate 提升 12.67–41.67 个百分点,并降低 17.71–70.41% 控制器时间。
CaDO 框架在 18 组实验中的 16 组显著优于最强数据清洗基线,将下游模型准确率提升高达 9.1%。 该框架通过形式化因果推理、多级诊断和自动修复生成三阶段工作,95% 以上标记样本确认为缺陷,在 CLadder 上错误修改正确标签比 LLM 裁判少 92.2%。 代码和数据已公开可用,可促进高质量因果推理数据集的发展。
研究提出超时级联策略,优先运行小模型,仅在必要时升级大模型。 该策略在 SWE-bench Verified 基准上将总 GPU 小时成本降低 33%,整体任务降低 16.4%,且准确率无损失。 级联策略性能接近最优任务路由器,为生产环境部署低成本编码智能体提供了低工程复杂度的实用路径。
STEMBench 基准发布,涵盖高能物理等 12 个博后级科研问题。 每个问题采用领域特定的“功绩标准”评分,并配备无领域知识提交与专家参考两个锚点。 测试 8 个前沿模型显示,任务级胜出与领域级领先出现分离,部分模型平均分在 12 题中的 7 题超过专家锚点。
该研究提出多专家重放策略蒸馏(MRPD),通过重放专家训练日志进行整合,无需额外采样或调用环境。该方法计算成本仅为原 RL 训练成本的大约七分之一。 在推理、搜索和 SQL 三个长程智能体领域,MRPD 生成的学生模型显著优于在线 RL 基线。实验表明日志顺序比数量或奖励更重要,表明专家训练日志实质上是课程学习而非数据混合。
新型循环序列混合器 Kernel Ridge Attention (KRA) 结合学习非线性特征与协方差引导的记忆更新。 通过递归岭回归存储关联,利用 Ornstein-Uhlenbeck 过渡控制保留率,使推理状态大小独立于上下文长度。 在语言建模实验中,KRA 预测质量优于注意力及循环基线模型,并实现高效的分布式训练吞吐量。
论文提出 Embodied Graph 和 Relational World Model (RWM),通过稀疏状态抽象解决长时程任务中预测误差累积问题。 RWM 包含任务感知图构造器和图循环状态空间模型,在 Minecraft 实验中成为唯一在预算内获得钻石的方法。 实验还验证了关系状态预测在 Web 智能体决策中的适用性。
研究证明 $O(\log |G|)$ 次随机重写足以替代单一表示的重复采样,恢复所有 $|G|$ 次重写提供的信息,且该对数扩展律在一般情况下是最优的。 理论表明,只要模型答案依赖于输入写法,在相同前向传递次数下,将计算预算用于重写输入而非重复采样原始提示词,准确率会显著提升。
提示词条件化 SDF 让 LLM 相信 prompt 中的虚假事实,其信念深度随训练事实数量呈对数线性增长。该方法成本较低,结合 RL 减少虚假事实口述率在部分评测中接近 SDF。 小模型在常规蜜罐系统提示中常已表现出对 prompt 事实的相信,导致对齐审计实验结果为负面。
STRM通过简化状态和统一更新提升了TRM性能。 该模型在Sudoku-Extreme和PPBench上分别比TRM高3.8和8.4分。 它在ARC-AGI-1和2上比已发布的TRM结果分别高5.4和0.5分。
提出无训练判别器 Vanguard,使 2B 模型在 Web、移动端及具身任务上准确率不低于 8B 目标模型,并在 Mind2Web 和 EB-ALFRED 上显著更优。
Toaster 通过组合两个线性记忆层并引入激活函数,构建了两层非线性记忆架构,利用目标传播机制更新隐层状态。 在 C4 和 PG19 数据集上,Toaster 的困惑度在所有测试尺寸(0.2B-1.6B)均优于 KDA 并匹敌或优于注意力基线,最大模型三试准确率 51.84%。 在 20K token 长度外推中表现稳定,且比 Titans 快 2.8-5.5 倍,提升了长序列处理效率。
该论文表明,当目标分布 $p$ 满足 Poincaré 不等式时,可通过规避“路径空间”分析来缓解扩散采样器的误差累积。 现有理论中采样误差随时间线性多项式累积,本文通过放宽度量至弱度量,在更广泛的框架下实现了这一结果。 研究进一步揭示,给定分数误差界,扩散采样器在总变差距离上几乎达到最优识别精度。
T/E/S 结合文本、局部事件和活动跨度,在 76 个评估组中,对 Transformer 和 Qwen 的下一结果预测准确率分别达到 70/76 和 74/76。 通过有限过程实验,取消共享延续质量的边界恢复了最优动作,将平均推理 CPU 时间减少 77.7%;在 71 个 HotpotQA 和 MuSiQue 保留集上,Brier 损失从 0.0836 降至 0.0756。
FACT 框架通过跨步训练与置信度引导分配,将 Llama-3-8B-Instruct 在 HumanEval 上的加速比从 1.46× 提升至 2.02×,MT-Bench 从 1.31× 升至 1.75×。