GigaBrain-WBC-0.5 提出行为世界模型 InterTrack 实现人形机器人跨地形全身跟踪
GigaBrain-WBC-0.5 团队提出首个支持环境交互的行为世界模型 InterTrack,采用 Transformer 架构预测下一动作、状态及行为分布。在复杂地形交互中,其成功率达 81.3%,优于最佳基线 4.3 倍,且跌倒恢复率达 99.3%。该模型实现了人形机器人实时跨地形全身遥操作,并具备物体交互及支持缺失下的稳定响应能力。
GigaBrain-WBC-0.5 团队提出首个支持环境交互的行为世界模型 InterTrack,采用 Transformer 架构预测下一动作、状态及行为分布。在复杂地形交互中,其成功率达 81.3%,优于最佳基线 4.3 倍,且跌倒恢复率达 99.3%。该模型实现了人形机器人实时跨地形全身遥操作,并具备物体交互及支持缺失下的稳定响应能力。
论文提出循环视觉推理器 TraceViT,在 ARC-AGI-1 和 ARC-AGI-2 基准上分别取得 67.8% 和 24.3% 的 pass@2 成绩。 该模型通过语义单调变换链进行中间步骤监督,每个迭代由少样本任务参考和对象工作区提供依据。 消融实验表明,轨迹监督仅在结合接地信息时有效,相关代码和数据将公开可用。
HyperVAttention 是一款免训练稀疏注意力框架,针对视频扩散 Transformer 的自注意力二次复杂度瓶颈。 该方法通过 3D 局部窗口聚类与混合聚类策略降低开销,并结合硬件感知集群合并提高 CTA 利用率。 在 HunyuanVideo 上实现 2.13 倍速度提升,HVA-Flash 变体达 2.23 倍,且高保真度优于 SVG2。
提出状态预测分离假设,设计独立计算流 Transformer 变体以提升语言建模性能。 实验表明该架构显著优于标准 Transformer,在下游任务平均提升 2-3 个百分点,验证了计算效率优势。
summary_zh: StructEvo 提出一种结构感知强化学习框架,在两个优化基准上将性能提升 9.2% 和 16.3%。 该框架采用 delta-structure fusion 编码器近似突变体结构特征,并通过结构对齐的层级动作网络分解巨大突变空间。
Muon 优化器在 LLM 预训练中大步长动力学不符合经典梯度下降的稳定性边缘(EoS)理论,其解除了损失中性、更新反转与边缘稳定性之间的耦合。 针对无动量随机 Muon,研究推导出经过一致性修正的条件损失中性边界 $2\rho_b/\eta$,并证实时间对齐遵循不同的几何特性。
研究提出 BROT(Barycentric Regression for Optimal Transport),这是一种用于最优传输映射估计的两阶段方法,在真实映射满足 Lipschitz 连续性的条件下,其 DNN 估计量可达到极小极大收敛速率。
研究发现保留最大 KV-Cache 权重已近最优,最佳子集仅比全注意力低 2%-5%。 现有非均匀预算方法因计算重要性时包含问题上下文,导致基准分数降低 14-62 点,检索准确率受影响达 87.6 分。 提出的无训练方法 ContourKV 在 RULER 和 LongBench 测试中表现优于基线,内存占用减少 28 至 1078 倍。
提出 MeanFlow-Transfer (MF-T) 和 Continuous Adversarial MeanFlow (CAMF),将任意参数化的预训练模型压缩为少步 MeanFlow 生成器。
持续后训练中的强化学习 (RL) 仍会遭遇灾难性遗忘。研究指出其根源在于 KL 正则化在旧任务分布上评估。 该方法提出了无需重放 (replay-free) 的 CPO,通过基于历史 KL 目标的局部 Fisher 代理实现稀疏正则化,且额外计算开销极低。 在三种模型规模的实验中,CPO 在保持适应能力的同时,有效减少了遗忘并维持了预训练模型的广泛能力。
研究人员提出 Standard Interpretable Model(SIM)理论,通过公理推导可解释对称性约束,解决了可解释性方法设计缺乏一般理论的问题。 SIM 表明完整表达能力与可解释对称性可在同一模型中共存,证明了准确性与可解释性的权衡是模型设计的伪影,而非本质矛盾。
研究指出归因补丁的误差主要源于下游网络非线性,而非局部曲率。 提出可靠性分数、误差边界及HVP修正工具;在124M至9B模型上,多步HVP在更低计算成本下达到或超越积分梯度精度。 支持在电路恢复基准上以更低算力实现更高保真度,并定位不可靠组件。
团队提出新方法在预训练和中训练阶段引入安全、事实性和推理行为,利用强模型重写数据并评判策略模型。 该研究引入“自我改进后思考”概念,通过生成后推理提升模型自身推理与判断能力,实验显示在多维度带来性能提升。 arXiv:2601.21343
论文提出 Vector Policy Optimization(VPO),一种通过结合多答案提示和集级奖励,显式训练 LLM 生成多样化解决方案的 RL 算法。
论文发布 FinMultiHopQA 基准,包含 15,600 道基于 FinReflectKG 的金融多跳问答。该知识图谱源自 SEC 10-K 文件,包含 1750 万+ 三元组。 基准通过控制证据呈现方式测试 LLM 推理性能。结果显示,非结构化呈现下正确率更低,且 KG 链接方式减少输入 token 消耗。
ASAP 是一种免训练的 ViT 框架,将注意力沉点重构为特征以解决高解析度下的计算瓶颈,实现吞吐提升 48% 并保持或超越基线精度。 该框架通过懒随机游走建模信息流,利用扩散距离计算实现径向扩散聚类,并经由转移权重池化单次压缩背景冗余。 该研究已被 NeurIPS 2026 接收,在图像、视频及视觉语言任务中展现出优于最先进方法的性能表现。
RLSF 利用模型内在置信度作为自生成奖励进行后训练。 该方法生成 CoT 解码束并计算最终答案置信度以构建合成偏好,随后通过标准偏好优化微调策略。 此过程无需人类标签或外部奖励,能修复校准并增强算术推理及选择题问答性能。
该研究提出局部几何框架,证明语言模型通过潜空间不变子空间编码语义,支持对复述输入的强鲁棒性。 研究贡献包括不变特征几何表征、对比子空间发现方法及零样本模型归因应用,实证表明不变结构在特定深度区域涌现。 相关论文已被 NeurIPS 2026 接收,代码已开源。
该论文提出了一种针对数据受限训练的规范性扩展定律,通过单一系数建模重复训练导致的过拟合,证明了在特定阈值后增加模型容量比继续重复数据更有效。 该法通过隔离过拟合项实现了不同训练配置的直接对比,并解释了为何数据受限场景下较大的权重衰减(如 $\lambda=1.0$)能提升性能。
研究揭示被动收集的多源异质思维链(CoT)数据即使单源学习容易,整体学习仍具密码学难度。 难度源于难以学习的贡献偏差或未过滤的混合数据,但过滤后的同质子集足以支持高效学习。 提出一种主动且自适应的高效算法,其按源 CoT 预算与目标误差完全独立,指明了 CoT 监督的数据收集与策展实践。
扩散语言模型自验证机制提出双向流形一致性方法,通过训练自由指标量化生成序列稳定性。 该方法利用前向掩码与反向重建周期,识别有效生成轨迹在分布高密度流形上的稳定吸引子特性,抑制无效路径偏离。 BMC指标支持无需参考答案的解决方案有效性诊断,并作为密集几何奖励实现稀疏监督向细粒度引导转化。
该研究提出基于不动点的分析框架,以评估循环 Transformer 的测试时计算扩展能力。 理论上证明无召回循环网络无法实现强输入依赖,而带外归一化的召回网络能产生稳定的局部吸引子。 实验在围棋、数独和前缀和任务中验证了该框架的预测,结果被 NeurIPS 2026 主会场接收。
Nexus 优化器通过最大化梯度相似性鼓励任务特有时隙接近,在相同预训练损失下显著提升下游性能。 该优化器应用于 130M 至 3B 参数模型,在 3B 模型上将分布外损失降低 0.012,复杂推理任务准确率提升最高 15.0%。 该研究挑战了仅依赖预训练损失评估模型的做法,并证实隐式偏置对解锁下游泛化能力至关重要。
DUEL 框架统一了确定性掩码扩散模型采样器,通过精确计算似然替代 ELBO 作为评估指标。 该算法无需重训即可应用,将掩码扩散模型与自回归模型的困惑度差距缩小最高 82%,使计算差距从 16 倍降至 9 倍。 使用 DUEL 评分 LLaDA-8B 多选题任务,准确率最高提升 9.7 个百分点,证实了该模型相比 ELBO 评估更具竞争力。
LAMP 提出一种基于舍入误差分析的前瞻自适应混合精度推理策略。该策略在 Transformer 中通过仅对 g(x) 的少量关键组件进行高精度计算,其余部分采用低精度执行。在 GPT-2 模型上的数值实验表明,极低的重计算率即可实现高达两个数量级的精度提升。 该算法已被 NeurIPS 2026 接收,为本地化部署的大语言模型提供了高效的推理优化方案。
LIFT 是一种轻量级向量干预方法,无需重训骨干即可将基础 LLM 的推理能力迁移至 VLM,在六个推理基准上验证了其有效性。 该方法定义推理向量为推理路径与求解路径答案 token 隐层状态之差,并注入目标 VLM 的语言侧激活,其中 LLM 提取的向量表现优于 VLM 自身。 分析表明该向量影响了中间推理行为而非仅改变最终答案,论文已被 NeurIPS 2026 接收且源码即将发布。
研究提出第三类对象“边缘耦合”统一了中心流与杆流,解释梯度下降在稳定性边缘的振荡行为。 该对象是对连续迭代的泛函,其临界点对应固定点与周期二轨道,揭示两种流分别是不同时间尺度的粗粒化。 基于边缘耦合推导了重球法与 Adam 等动量方法对应的杆流与中心流,并在代表性神经网络架构上验证了其在训练各阶段的跟踪能力。
该研究提出可个性化 Transformer 模型,将表面肌电信号映射至末端执行器康复机器人的接触力轨迹,实现面向神经运动激活的处方生成。 模型采用旋转位置嵌入(RoPE)生成潜在表征,并引入流匹配生成轨迹分布;基于 16 名健康参与者 15 项等长任务评估,留出任务与用户轨迹预测误差低于 8%,具备亚秒级采样与近即时确定性推理。
论文提出训练框架 CR-CE,结合新归因方法 ContrastiveCAMs 提升卷积网络在上下文偏移下的鲁棒性。 方法利用空间特征归因引导模型依赖物体特征而非背景,并在 Waterbirds、ImageNet 等数据集上验证了性能提升。 该成果已被 NeurIPS 2026 接受,展示了减少非因果上下文依赖的训练新路径。
LinAlg-Bench 发布,评估 10 个前沿 LLM 在 3x3 至 5x5 线性代数计算上的表现,发现模型在 4x4 规模存在行为阈值。 基准包含 660 道 SymPy 验证题目及 6,600 条模型输出,通过自动化流程将 1,156 个错误归类为十种主要标签。 研究表明,模型故障非随机而是受算法类型与维度约束,且 4x4 以上主要失败模式转为“计算放弃”与“幻觉编造”,而非执行错误。
论文提出架构可接受压缩器(AAC),通过两种连续松弛方法优化固定标签内存预算下的ALT选择。 在19种图与内存预算组合测试中,AAC-CG将A*扩展次数降低1.9%至22.7%,且其启发式值达到标准贪心法99.6%。
研究发现,在宽松成本预算下,现有 LLM 路由器往往违反“易题用便宜模型”原则,即使低价模型效用相当仍倾向选择最强昂贵模型,导致过度支出。 作者将此行为定义为“强模型过度选择”,并指出仅靠歧义无法解释该现象。
研究人员提出Dreamer框架,结合序列、深度及稀疏专家注意力,解决深度循环模型在恒定隐藏尺寸下的潜在推理瓶颈。 该模型在语言推理基准测试中,相比同等FLOP、参数和内存配置的SOTA模型,训练所需token减少2至8倍,性能超过2倍规模模型,且专家选择多样性高出2至11倍。
研究构建包含28个认知元素的分类体系,结合18个模型的192K条推理轨迹与1346条人类有声思维数据进行对比分析。 基于发现模型与人类使用认知机制的差异,该框架开发了自动脚手架测试时推理引导技术,将最强模型在非结构化问题上的准确率提升9.7个百分点。 meta分析显示当前研究过度关注易量化指标,此框架通过建立认知科学与LLM研究的共享词汇,使模型能通过稳健认知机制而非虚假捷径进行推理。
ZYFA 专为 AMD Instinct MI355X 开发,在 32K 上下文长度下,FP8 吞吐量达到 AITER 内核的 1.16-1.76 倍。 采用直接计算概率、乒乓调度及缩放取整技术,解决了 FP8 无法加速 softmax 及指令重叠难题。
307M 参数多语言交叉编码器 Ru-Jev 后续版本增加标签表面形式增强,在普通词和外来词路由任务中准确率最高提升 0.24。 在缩写和晦涩代码场景下无可用增益,且部分指标随候选数增加出现置信错误上升。 模型在未见数据集上准确率变化为 -8.4 和 +5.6 个点,验证了增强对非熟悉词汇的鲁棒性。
物理信息神经网络从方程学习波浪轮廓与速度,无训练数据实现近机器精度残差。 单一框架恢复 Stokes 波、Crapper 波及 Wilton 波纹,并在表张力演化中发现新候选解。 区间算术严格认证残差界,Lean 机器检查验证数学推导,确保结果独立于 LLM 辅助。
研究人员提出基于测量耦合的扩散语言模型并行解码方法,用提交 token 对模型置信度的实际影响替代平均场近似。该方法在三个模型和四个 benchmark 上运行,平均准确率代价为 1.1 分,比平均场解码所需步数少且速度更快。该方法无需额外模型或训练,可直接接入现有平均场规则。
RecSA 通过构建 KV cache 树结构实现 O(log L) 选择成本,支持百万 Token 长度外推。 基于 Qwen3-4B 初始化并在 0.62B tokens 上训练,RULER 基准 1M 长度得分 60.5,优于稠密注意力基线。 在 H200 GPU 上 524K 长度时,预填充和解码速度分别提升 3.2 倍和 3.8 倍。
TOPSD 通过筛选可教前缀优化多语言推理蒸馏,在十种语言实验中持续优于传统 OPSD,尤其在低中资源语言表现更佳。 该方法利用教师-学生似然估计漂移起点,并验证教师能否从前缀恢复正确答案,仅对通过验证的前缀应用蒸馏。