Embedded Arena: 基于硬件反馈的嵌入式 LLM 智能体迭代优化
Embedded Arena 框架利用 LLM 智能体在真实硬件反馈下迭代优化边缘模型。Claude Opus 4.7 等前沿模型在无硬件反馈时部署成功率为 0%。 该框架实现 3 次迭代内成功部署,视觉模型压缩 250 倍且准确率损失小于 3.3%。 应用于鹿类检测相机和儿童语音追踪穿戴设备,支持太阳能供电商业 MCU。
Embedded Arena 框架利用 LLM 智能体在真实硬件反馈下迭代优化边缘模型。Claude Opus 4.7 等前沿模型在无硬件反馈时部署成功率为 0%。 该框架实现 3 次迭代内成功部署,视觉模型压缩 250 倍且准确率损失小于 3.3%。 应用于鹿类检测相机和儿童语音追踪穿戴设备,支持太阳能供电商业 MCU。
研究人员开发集成概率仿真框架,将APSIM作物模拟器转化为快速、不确定性感知发现引擎。基于200万次模拟和生成式天气模型,该仿真器以更低计算成本高保真复现13项玉米生长输出。 在100,000种性状配置、6个地点及延伸至2100年的未来气候预测下,该框架识别出1,114种在2100年具有韧性的性状组合,以及246种在2040、2060、2080和2100年四个预测期均具韧性的更严格子集。
DeepRitzSplit 提出了一种用于梯度流系统的无监督神经算子框架,在 Allen-Cahn 方程基准测试中,使用 180 个训练配置,其对分布外配置的泛化能力优于监督基线。 该框架基于能量稳定分裂方案的变分公式,引入反应-扩散神经算子架构,无需轨迹数据集即可继承耗散结构。 该方法在树枝状生长模拟中能捕捉相形态和枝尖速度,为加速微观结构模拟提供了具有物理信息的代理模型。
GIMLET 框架利用非平衡热力学变分原理,通过神经网络推断流体力学方程中的未知闭合项,保证总自由能单调衰减与非负熵产生。 该方法无需预定义候选函数库,且从单一数据集识别出的泛函可迁移至由相同方程控制的不同数据集。 在粘滞 Burgers 方程、Kuramoto-Sivashinsky 方程及 Navier-Stokes 方程等基准系统上验证了其物理可解释性。
研究人员提出 R-MOGP,一种可证鲁棒的多输出高斯过程模型,用于处理相关响应变量间的外点干扰。 该模型保持共轭性,不牺牲计算效率,并自然集成稀疏变分推断以实现可扩展性。 实证显示 R-MOGP 性能与现有 SOTA 鲁棒 MOGP 相当,但计算成本大幅降低。
AURA 框架利用强化学习提升 AI 对话式调查的自适应性与回答质量。该系统基于 96 个先前对话的 467 次交互初始化,使用 epsilon-greedy 策略在 10-15 轮对话中动态选择追问类型。
CHARM 模型在 ARC-AGI-1 上达到 84% pass@2,ARC-AGI-2 为 46.7%。 提出 CoSE 稀疏嵌入减少 90% 以上任务记忆参数,且 Re-ARC2 程序生成验证新示例。 该系统每道未见过拼图仅需 512 参数适应,代码与检查点已开放。
针对多模态大语言模型在 RLVR 训练中因提示词变化导致性能下降的问题,研究者提出 Prompt-Invariant RLVR (PIRL) 方法。该方法通过动态三元奖励分离格式与语义,并利用嵌入空间对抗机制应用策略不变性正则化器。 在压力测试中,PIRL 在基准测试上的平均准确率下降不超过 1%,而 GRPO 下降约 3%;在动态评估中,PIRL 也实现了最小的性能衰减。
OperatorSHAP 提出一种网格无关的属性方法,用于训练神经算子的 FastSHAP 类解释器,解决非均匀输入问题。 该方法在函数空间建立理论框架,其解释与最先进离散 Shapley 值一致,且无需重训练即可跨网格尺寸迁移。 已被 NeurIPS 2026 接收。
summary_zh: 研究提出子空间感知稀疏自编码器(SASA),通过将单向量解码器替换为学习子空间,解决传统稀疏自编码器因假设特征一维导致的特征分裂问题。 SASA 利用 Top-s 组门控和核范数正则化适配组秩,在 GPT-2 和 Mistral-7B 上的实验表明,该方法相比传统 SAE 显著降低了特征吸收,并以较低重建成本提高了概念成员预测的准确性。
LLM 零阶微调的性能主要受单一解码层支配,仅微调该层在多个基准上可媲美或超越全模型微调。 该主导层具有任务无关但模型特定的特性,可通过分析激活异常值提前识别。在 LLaMA2-7B 和 Qwen3-8B 上,该方法相比 MeZO 和 LoRA 微调平均性能更优,训练速度提升最高 4.52 倍。
研究指出标准文本嵌入测量语义相似度,无法满足公平聚类等集体决策所需的偏好相似度。 通过构建合成训练数据打破语义与偏好的相关性,显著改进了 11 个在线审议数据集上的偏好预测。 该方法已被 NeurIPS 2026 接收,为解决基于自由文本的集体决策问题提供了新的数学框架。
研究提出 Cut-DeepONet 两阶段训练框架,通过提升策略将域划分为平滑子区域,将不连续性表示为高维空间边界。额外网络预测输入依赖的不连续位置,指导算子生成平滑分量。在基准 PDE 实验中以更少可训练参数优于最先进方法,证明改变表示比增加模型复杂度更有效。
研究分析3.5万篇论文,发现推理栈少被报告;固定权重等条件测试vLLM等5个引擎,仅更换后端可使基准分数偏移多达16.6个百分点。 偏移由前缀缓存、CUDA graphs等系统优化及logit处理默认值驱动,该研究将推理后端定义为关键超参数,呼吁标准化报告以提升可复现性。
研究人员提出基于 Transformer 的信息传播规则,理论分析符号推理任务的极限步数。对于包含 L 个注意力层的模型,单次推理的极限步数介于 $2^{L-1}-1$ 与 $\frac{3^{L-1}-1}{2}$ 之间。
论文提出 Dual-Rate Diffusion 方法,通过交替执行重型上下文编码器与轻型去噪模型加速扩散模型采样。 该方法在 ImageNet 基准上保持性能,将推理计算成本降低 2 至 4 倍,并兼容时刻匹配蒸馏等技术以提升少步生成效率。
Flow-Direct 框架通过持久引导场优化扩散和流模型,显著提升反馈效率并支持目标重用的可复用指导方法。 该方法基于密度比解析推导,以非参数估计器结合累积样本提升准确性,优化后的数据集可无额外奖励评估生成新目标样本。
EvoLib 提出一种测试时学习框架,使大语言模型无需参数更新或外部监督即可跨实例积累、复用并演化知识。 该框架通过自动从推理轨迹中提取模块化技能和反思性洞察来维持共享知识库,并采用权重与固化机制优化即时效用与长期价值。 在数学推理、代码生成及多轮智能体环境等基准测试中,EvoLib 显著优于当前的顶级测试时扩展与学习方法。
研究团队在 Lean 中构建量子程序库,利用 LLM 智能体实现超越经典限制的自动化发现。 智能体通过维基协作并验证正确性与成本。在并行搜索、量子算术及模拟应用中分别实现 1.4x、290x 及最高 11x 的性能提升。 该方法缩短通向实用量子计算的路径。
提出 Dyna-SAuR 算法,通过学习不确定性感知的动力学模型来联合训练控制策略与安全过滤器。该滤波器避免高不确定性区域,使保守性随时间降低,从而安全收集数据。在 CartPole 和 MuJoCo Walker 任务中,失败率比基线减少两个数量级。
研究揭示了 Transformer 在离散马尔可夫链任务中的上下文学习机制,发现其通过多层子电路实现四种算法阶段,分别对应记忆与泛化能力及 1 点与 2 点统计量的使用。
研究团队提出 Logit Laundering 框架,通过推理阶段的 logits 操作成功绕过 LLM 的水印审计。 该方案引入统计偏差估计器重塑模型 logits,在不改变模型参数的前提下削弱水印检测信号,同时利用置信度感知缩放模块保持下游任务效用。 此发现凸显了现有 SOTA 审计方法在对抗场景下的脆弱性,促使研究者探索更具鲁棒性的数据审计机制。 ```
该研究提出一种轻量级探测范式,用于在 LLM 训练期间监测下游任务表现。 该方法以模型检查点的内部表征作为输入,直接预测其在下游任务中的成功率(pass@1)。在 OLMo3-7B、OLMo3-32B 和 Apertus-8B 模型上验证,平均 AUROC 超过 0.75,计算延迟从约 1 小时降低至约 3 分钟。
该研究提出 CausalCompass 基准框架,专门评估时序因果发现方法在假设违反下的鲁棒性。 实验覆盖八种假设违反场景,结果显示单一方法无法在所有设置下保持最优,但深度学习方法在多数场景表现优于其他方法。
Minerva 提出针对网络威胁情报(CTI)任务的强化学习框架 MinervaRL,利用可验证奖励机制提升结构化输出准确性。 该方法在 12 个 CTI 基准测试中,平均得分比基础模型提高 15.8 个百分点,比 GRPO 高 4.3 点。通过解决奖励稀疏问题,实现了向模型的自动蒸馏与自我提升。
该研究提出一种在存在系统性偏差的 LLM 代理分数下,通过最小化昂贵的人类审计次数来高置信度识别最优服务配置的方法。 核心创新包括共享参考标签与自适应审计决策,二者均可严格降低渐近识别成本;算法联合分配配置评估与审计任务,在有限生成模型族下期望成本达到信息论下界。 数值实验显示,新算法在保持可靠选择的同时,大幅减少了所需的人工复核量。
论文证明,基于结果监督的强化学习策略梯度可驱动单层线性 Transformer 收敛至逐顶点遍历图的可解释算法。 研究识别出训练分布中“简单示例”的关键作用,其质量决定模型能否泛化至长推理链。 实验在合成数据及真实语言模型数学推理任务上验证了该理论结果的有效性。
summary_zh: Guided Star-Shaped Masked Diffusion 提出一种基于星形范式的采样算法,在预训练模型上仅需轻量级微调单层,即可显著提升生成质量与效率。
该研究探讨生成式 AI 推理服务中工作负载隔离作为提升资本效率的基础机制,利用生产数据阐明其动机。 隔离通过重组请求至不同设备集群,避免高成本请求拉高整体运营成本,为定制化优化和硅片设计提供基础。
研究人员提出 BNPO 方法,通过动态更新的 Beta 分布自适应归一化奖励,解决现有策略优化中静态归一化不匹配导致训练不稳定的问题。 该方法理论证明在二元奖励下降低了方差并泛化 REINFORCE 与 GRPO,实验显示 BNPO 在推理任务中取得最先进性能。
研究团队提出 MotionDecipher 框架,利用 LLM 将人体运动信号转化为临床步态描述。在 122 名患者及 46 名对照测试中,该框架取得 0.91 BERTScore,比 GPT-5 高 13%,专家评估显示其在正确性、完整性和简洁性上表现最佳。 该框架包含人体运动分词器、元特征选择器和混合上下文构造器三个核心组件。
在 Qwen3.5-9B Spider 任务中,文本选择比联合选择家族内后悔更低。 限制切换次数可使选定家族内期望后悔呈次线性增长。 原文仅通过控制实验展示不同策略下的部署损失变化,未明确阐述行业影响。
TensorMutation 利用变异条件图神经网络在神经图上预测参数变化,无需重新训练即可生成可执行变异体。 在 71 个多层感知机分类器的 25,252 个原始-变异体对语料库上训练,该方法在 12 个真实故障主题上实现了最高中位行为相似度,优于 DeepMutation++。
V-JEPA1 预测器通过微调,将双向潜变量补全转化为无动作因果预测,保留冻结编码器。 模型在单次前向传播中预测8个未来token组,在CARLA Town12测试中,从591个候选中检索正确未来的准确率为69.0%,超过持续性基线的55.3%。 研究证实潜变量预测有助于驾驶感知,但下游实用性尚未得到验证。
在单张 16GB GPU 上,Aurora 等 5 个公开 AI 气象模型将网络权重转为 fp16 半精度推理,全球 RMSE 变化不超过 1.4%。 相比 fp32,fp16 推理速度提升 1.3-3.5 倍,能耗降低 1.4-3.7 倍,且数值无溢出。 物理状态需保持 fp32,bf16 精度低于 fp16,8-bit 量化则损失过大。
提出 MorphSched 系统,利用 LLM 生成 Rust+BPF 调度器,在 120 种配置下优于 EEVDF 26.5% 至 87.3%。 采用 DAG 修复流程处理编译与验证错误,生成器无需人工编辑即可通过 eBPF 校验并稳定运行。
MeshRT 是首个在晶圆级加速器上同时实现超低延迟和高吞吐 LLM 推理的系统。 其核心是通过“编译时间治理运行时动态性”架构,将 LLM 推理中的动态事件直接编译为每核心调度计划。在商用晶圆级加速器上,吞吐量比现有最先进系统提升最高 56 倍,且延迟比 H200 上 SGLang 测量值低 4.5-7.0 倍。
CPU-ARC 提出智能体推理缓存(ARC)方法,将从 LLM 推理轨迹构建的缓存用于 CPU 执行,可高效解决新实例问题。 ARC 在多项数学和科学任务上表现与前沿 LLM 持平,且调用成本比源模型低 16-291 倍。 该方案完全可解释、支持持续训练,并对输入扰动具有鲁棒性。
针对测试时强化学习(TTRL)中多数投票伪标签可靠性不足的问题,研究者提出 Prompt-Conditional Distributionally Robust DPO(Prompt-Conditional DRO-DPO)。
FOSCAR 通过仿射折叠技术显著降低量化 KV 缓存的解码注意力延迟,并在 H100 上实现最高 3.36 倍加速。 该算法将缩放和偏移运算减少两个数量级,H100 和 B200 上 INT2/INT4 内核分别达到 3.36 倍和 2.83 倍加速,较 TensorRT-LLM FP8 提升 2.03 倍和 1.71 倍。