HB-TPM 实现稀疏目标轨迹族转移与采样
层级贝叶斯轨迹主流形采样方法 HB-TPM 通过从有序源任务学习平滑曲线族,适应稀疏目标的重建与采样。在 30 个保留向量任务中,HB-TPM 相比源适应 VAE 将平均切片 Wasserstein 距离降低 21.0% 至 41.8%。
层级贝叶斯轨迹主流形采样方法 HB-TPM 通过从有序源任务学习平滑曲线族,适应稀疏目标的重建与采样。在 30 个保留向量任务中,HB-TPM 相比源适应 VAE 将平均切片 Wasserstein 距离降低 21.0% 至 41.8%。
CHARM 模型在 ARC-AGI-1 上达到 84% pass@2,ARC-AGI-2 为 46.7%。 提出 CoSE 稀疏嵌入减少 90% 以上任务记忆参数,且 Re-ARC2 程序生成验证新示例。 该系统每道未见过拼图仅需 512 参数适应,代码与检查点已开放。
summary_zh: Meta-Harness 系统提出的 MoMHa 框架通过多目标优化,在准确率、行为安全与 Token 成本上实现了对 LLM Harness 的改进。
CleanScore 是一种黑盒审计方法,通过为基准题设计独立新形式并设立负对照,估算公开分数的优势区间。 该方法在 200 道 GSM8K 和 ARC-Challenge 题上审计 5 个开源模型,未发现一致暴露优势,且 4/10 模型-基准对的上限区间不超过 5 分。 实验表明仅 24% 的污染影响可通过表面形式检测,揭示“零分”结果并不能完全排除数据污染。
研究提出一种 StopGrad 回归原理,统一了流映射、强化学习及扩散采样器的 StopGrad 目标,并证明其唯一平稳点为真实流映射。 该原理为 MeanFlow 等目标的收敛性提供理论支撑,且通过修改 StopGrad 放置位置将训练内存需求减少 2 倍。 该研究已被 NeurIPS 2026 主会议接受为 Poster。
针对议会记录中发言权重不均与引用错位风险,ParliamentRAG 提出主题依赖的权威模型,用于处理意大利众议会议事记录。 该模型结合职业、教育等可解释特征估算发言人在特定查询下的权威度,检索多党派专家观点并生成附带引用的摘要。 在 15 个政策主题上,ParliamentRAG 对 6 名领域专家盲评显示,其引用忠实度(1.00)和政治党派覆盖度(0.97)高于 NotebookLM。
针对多模态大语言模型在 RLVR 训练中因提示词变化导致性能下降的问题,研究者提出 Prompt-Invariant RLVR (PIRL) 方法。该方法通过动态三元奖励分离格式与语义,并利用嵌入空间对抗机制应用策略不变性正则化器。 在压力测试中,PIRL 在基准测试上的平均准确率下降不超过 1%,而 GRPO 下降约 3%;在动态评估中,PIRL 也实现了最小的性能衰减。
研究人员提出递归验证合成框架RST,通过15轮迭代生成了37,484个终端代理任务,成本约为每任务$0.05。 任务难度随轮次显著增加,中位参考解决方案从67行增长至374行,执行命令从40条增至244条。 使用Qwen3.5轨迹进行监督微调,使模型在Terminal-Bench 2等三项基准上得分提升最高10分。
针对 LLM 迭代采样特性,论文引入二值随机自回归学习的 PAC 模型,推广确定性框架。 考虑链式思维(CoT)等三种监督形式,研究在 KL 散度下学习一步概率及最终 token 概率所需的最小样本数。 证明随机学习在比例关系上与确定性理论存在本质差异,并给出紧确样本复杂度上界。
summary_zh: WorldCoder-Bench 是一个评估自主且物理感知的3D世界合成的基准,包含2,026个专家策划任务。 该基准涵盖仿真、渲染和应用场景,提出 StateProbe 协议以验证运行状态,最佳验证覆盖率为27.8%。
summary_zh: 研究提出子空间感知稀疏自编码器(SASA),通过将单向量解码器替换为学习子空间,解决传统稀疏自编码器因假设特征一维导致的特征分裂问题。 SASA 利用 Top-s 组门控和核范数正则化适配组秩,在 GPT-2 和 Mistral-7B 上的实验表明,该方法相比传统 SAE 显著降低了特征吸收,并以较低重建成本提高了概念成员预测的准确性。
LLM 零阶微调的性能主要受单一解码层支配,仅微调该层在多个基准上可媲美或超越全模型微调。 该主导层具有任务无关但模型特定的特性,可通过分析激活异常值提前识别。在 LLaMA2-7B 和 Qwen3-8B 上,该方法相比 MeZO 和 LoRA 微调平均性能更优,训练速度提升最高 4.52 倍。
提出域感知核心集构建流水线,结合表格基础模型实现数据高效的洪水深度预测。 在 0.7% 的训练数据下,模型在休斯顿地区 9 个流域达到 $R^2=0.663$,超越有监督基线。 该方法无需针对特定流域重新训练即可迁移至未知流域,提升了泛化能力。
纯辅助模型虽降低了拒绝率,但现有模型常出现突发错位、残留拒绝行为及低可控性。 简单反拒绝训练会引发谄媚和角色不连贯等问题,通过合成文档微调及在 SFT 和 RL 中加入角色相关问题可缓解上述缺陷。
研究指出标准文本嵌入测量语义相似度,无法满足公平聚类等集体决策所需的偏好相似度。 通过构建合成训练数据打破语义与偏好的相关性,显著改进了 11 个在线审议数据集上的偏好预测。 该方法已被 NeurIPS 2026 接收,为解决基于自由文本的集体决策问题提供了新的数学框架。
针对 LLM-as-a-judge 评估成本高昂问题,论文提出实例最优的多裁判评估估计方法,结合已知裁判成本与独立无偏评分观察,解决固定预算下评估查询的分配难题。
Counterfactual Distillation 框架将探索经验转化为可训练的 LLM Agent 策略监督,在 Pass@128 上较基线模型最高提升 14 个百分点。 该方法通过树状搜索生成反事实目标,训练模型预测修正动作以扩展探索能力,并在与强化学习结合时进一步提升 Pass@1 性能。
GRAC 框架通过图结构表示手术场景,利用检索增强的生成方式提升描述准确性。 在 EndoVis-18 基准测试中,其 CIDEr-D 得分达 5.88,超越传统 Transformer 基线的 3.36;在三元组准确率上从 26.2% 提升至 52.6%。 该结果表明,结合结构化场景表示与检索示例能显著提升手术场景描述的上下文相关性。
论文提出通用优先级感知 Shapley 值(GPASV),打破现有方法对成对优先级必须为二元无环图的限制,允许在任意加权有向优先级图上定义随机顺序值。 GPASV 通过公理化特征建立,将成对边的优先级违反转化为惩罚项,并开发了配套计算方法及优先级扫描诊断工具,能覆盖多种经典模型作为边界情况。
研究团队在 Lean 中构建量子程序库,利用 LLM 智能体实现超越经典限制的自动化发现。 智能体通过维基协作并验证正确性与成本。在并行搜索、量子算术及模拟应用中分别实现 1.4x、290x 及最高 11x 的性能提升。 该方法缩短通向实用量子计算的路径。
分析 Sobolev 下降,一种基于 MMD 见证函数梯度惩罚的正则化变体。该正则化缓解 MMD 目标非凸性,在连续和离散时间中提供可证明的全局收敛保证。 不依赖目标分布的等周假设,而是基于核均值嵌入差的正则性条件。扩展 Sobolev 下降,使其同时适用于采样(使用 Stein 核)和生成建模。
研究表明 LLM 编码智能体在执行任务时易受陈旧指令文件影响,产生额外隐性成本。 研究分析 732 条轨迹发现,Claude Sonnet 5.5 面对陈旧测试指令平均多出 2 次工具调用。 该结果指出仅关注任务成功率无法反映文档债务成本,需扩展评估维度。
论文提出 Tyche 单步条件流模型,用于高效概率天气预报。该模型通过单次函数评估将高斯噪声直接映射为未来天气状态,在 ERA5 1.5° 数据上表现匹配或超越 SOTA 多步基准及 ECMWF IFS 集合。 模型采用各向同性 Swin 风格 transformer 参数化传输场,并引入基于课程学习 CRPS 校准监督的 rollout 微调阶段以增强自回归预报下的集合可靠性。
在 1.3B 到 8B 参数模型上使用 LoRA 和全量微调进行验证,PACZero-BAC₀ 在零互信息保证下性能与非隐私基线差距小于 2 分。 这是首个为 LLM 微调提供此类成员推断攻击防御保证的方法,相关成果已被 NeurIPS 2026 接收。
针对GraphRAG系统面临的知识图谱重构攻击,提出首个具备形式化隐私保证的差分隐私框架RelGuard。 该框架定义关系差分隐私(relation-DP),通过四步防御机制在索引前对源文档进行净化,利用指数机制扰动谓词或移除连接。 实验表明,在保护重建攻击方面,RelGuard优于四种现有防御机制,同时更好地保留了下游效用。
针对弱监督视频异常检测中仅依赖帧特征幅值的局限性,提出一种结合 LLM 提取文本先验与字典学习进行归一化压缩的新方法。 通过 LLM 和辅助信息解决图像描述模型对相似帧文本描述不一致的问题,并利用跨模态注意力机制融合先验知识,构建更准确的特征表示。实验结果表明该方法在准确性和稳定性上优于现有 SOTA 方法。
V-STORM 将视频转化为 Spatio-Temporal Scene Graphs 并推导 Grounded Chain of Thought,构建了 260K 训练集和 3K 人工验证 benchmark。
研究揭示了 Transformer 在离散马尔可夫链任务中的上下文学习机制,发现其通过多层子电路实现四种算法阶段,分别对应记忆与泛化能力及 1 点与 2 点统计量的使用。
该研究提出一种轻量级探测范式,用于在 LLM 训练期间监测下游任务表现。 该方法以模型检查点的内部表征作为输入,直接预测其在下游任务中的成功率(pass@1)。在 OLMo3-7B、OLMo3-32B 和 Apertus-8B 模型上验证,平均 AUROC 超过 0.75,计算延迟从约 1 小时降低至约 3 分钟。
ReinPatch 提出一种结合强化学习与下游骨干模型的序列分词框架,以优化动态分词策略。 该方法使用 GRPG 将分词边界放置建模为离散决策过程,避免了软离散化,支持严格压缩率约束。 该设计允许分词模块作为独立的基础分词器使用,为社区提供性能驱动分词行为的实证洞察。
提出统一框架,将不可压缩连续性方程作为硬约束融入神经算子,确保无散度流体建模。 通过微分谱Leray投影强制不可压缩性,并构建基于卷的无散高斯参考测度适配flow matching。 实验表明在2D Navier-Stokes方程上实现精确不可压缩性,显著提升稳定性与物理一致性。
GPT-6 Astra 通过编辑 65 个 token-embedding 行,成功提升了 pi_0.5 机器人策略在 765 个保留改写指令上的成功率。 最佳修复将成功率从 86.3% 提升至 92.0%,其中 335 条含编辑词的指令成功率从 74.3% 升至 87.5%,其余 430 条结果无变化。 随机方向编辑无效,证据支持精确的词汇修复,而非泛化获取缺失的机器人能力。
SkillOpt 中参考反馈投毒可诱导持久性触发规则。在 SearchQA 数据集上,自然攻击在 3 个种子中均保留精确规则,模型在 200/200 个触发问题中生成 payload,且在 0/200 个干净问题中生成。
BOXBOX 实现 agent 触发的 harness 修订与内核管理的热加载,在 PerfRace 基准上达到 Speedup@4h 1.70x,优于最强基线的 1.54x。 该方法在匹配测试时间预算下,比 Frozen Harness 和离线 Harness Evolution 更高效地利用任务时间和模型成本。
该研究提出一种在存在系统性偏差的 LLM 代理分数下,通过最小化昂贵的人类审计次数来高置信度识别最优服务配置的方法。 核心创新包括共享参考标签与自适应审计决策,二者均可严格降低渐近识别成本;算法联合分配配置评估与审计任务,在有限生成模型族下期望成本达到信息论下界。 数值实验显示,新算法在保持可靠选择的同时,大幅减少了所需的人工复核量。
研究揭示了 LLM agent harnesses 中常规操作可能静默破坏 Guardrail Enforcement Point 等五种架构模式关系的问题。 通过 PatternOps 评估程序分析五个已发布 harness 及 14 个独立插件,发现插件重新应用或允许规则保存后,策略评估停止且被禁止的编辑被静默执行。
ToolDex 发布,这是一个大规模 Ego-Exo 人类演示数据集,旨在支持创意物理工具使用。 数据集通过同步第一视角相机与八个多视角相机捕获高保真多视角观察,并为手、工具及目标物体提供丰富标注。 它确立了涵盖物理工具使用推理、稀疏视角重建及机器人策略学习的基准测试套件。
summary_zh: Guided Star-Shaped Masked Diffusion 提出一种基于星形范式的采样算法,在预训练模型上仅需轻量级微调单层,即可显著提升生成质量与效率。
在六个视觉语言模型(VLMs)测试中,仅 Gemma-3-27B 能可靠识别注入概念,识别率达 35%(单独 steering 为 3%)且几乎无误报。 但报告源脆弱,强注入或视觉路径注入被误报为“看到”,且 87% 真实照片描述中注入物体被错误归因。
提出串联 2-FWL GNN 方法解决组合图对齐,在稀疏 Erdos-Renyi 图噪声 0.25 时,初始化 FAQ 达 85% 准确率,优于凸松弛初始化的 13% 及现有 GNN 的 0%。 相关正则图上串联法是唯一能恢复非平凡对齐的方法;在酵母 PPI 等基准上,该方法进一步超越强化后的 FAQ 基线,代码已开源。