本地 Qwen2.5-Coder-7B-Instruct 模型在 GPU 内核优化中的交互策略研究
基于 30 项 KernelBench 任务的研究表明,本地 7B 参数 Qwen2.5-Coder-7B-Instruct 模型生成 CUDA 内核时,正确性而非速度是主要约束。 Profiling-guided prompting 策略整体表现最佳,正确率达 43%;而多智能体循环是唯一能解决 level-2 融合问题的方法,成功率为 3/10。
基于 30 项 KernelBench 任务的研究表明,本地 7B 参数 Qwen2.5-Coder-7B-Instruct 模型生成 CUDA 内核时,正确性而非速度是主要约束。 Profiling-guided prompting 策略整体表现最佳,正确率达 43%;而多智能体循环是唯一能解决 level-2 融合问题的方法,成功率为 3/10。
团队提出MotionGraphicsBench基准,用于评估大语言模型在动态图形生成中结合空间、外观和时间要求的指令遵循能力。 该基准包含100个专家策划实例,每个输入静态SVG与运动编辑提示配对确定性验证程序。在47种配置下,来自32个LLM和12个提供商的pass@1范围从6.0%到67.7%。
研究提出BECON框架,解决偏好与安全预算信号不可靠的约束多目标强化学习问题。 该框架通过推断隐式任务上下文来估计偏好与预算,并利用不确定性门控融合外部信号与历史信息。 实验表明,BECON在任务漂移场景下比最先进的基线模型具备更强的鲁棒性和约束满足能力。
提出 $\gamma$-canonicalization 方法,解决 ReLU 网络中经验贝叶斯拉普拉斯近似因尺度对称性导致的定义不良问题。 该方法通过平衡权重比将网络转换为规范表示,使边缘似然函数在 ReLU 缩放下保持不变,从而确保预测不确定性一致。
summary_zh: QCA-DenseNet 采用 8 量子比特变分电路作为通道注意力门控,结合 DenseNet121 实现静态 ASL 识别。 该模型包含 17,464 个参数,比 SE 模块少 7.51 倍。
针对自进化 LLM Agent 的持久化技能机制,研究者提出 BadEvolve 框架。 该框架通过注入污染任务诱导 Agent 在技能中植入后门。BadEvolve 诊断 Induction、Activation、Following、Effect 四个阶段失败,利用回滚和失败记忆优化攻击效率。
针对 3 个开放权重 LLM 评估饮食障碍相关交互安全,显示无明确用户背景信息时,高风险回复频率约为有背景信息的 2 倍。 模型对不同种族、性别和 BMI 的回答差异显著,体型大小导致最大差异,且安全度因这些属性而异。 研究指出模型常基于刻板印象,对不符合“瘦白女性”特征的用户提供较少的保护性回复。
通用图像生成模型 Nano Banana 用于医学图像合成,仅用合成数据训练的肺炎模型 AUROC 达 0.877。 合成数据可补充训练与子群增强,但校准性能不稳定;编辑视网膜图像可使模型概率从 0.996 降至 0.822。 临床医生需结合校准分析和决策曲线评估合成数据的临床价值,而非仅看判别指标。
ShiftCache 提出精确复用系统,通过编码移位参考并共享,比去重密集执行快 3.5 至 6.5 倍,比逐层复用快 1.6 至 2.7 倍。 在 AlphaGenome 和 Borzoi 默认运行中,输出与密集执行匹配精度在 $10^{-5}$ 容差内;若使用 Enformer 或在 H100 上运行,部分值可能超出该容差。
研究提出能量水平分布距离(ELD),通过对比真实与合成图像的能量分布来审计合成数据,预测视觉预训练性能优于 FID 和 LPIPS。 ELD 能识别被传统指标忽略的分布失配,并指导合成数据重采样与混合,在匹配真实图像能量直方图的同时保留多样性以提升下游迁移效果。 该成果已被 NeurIPS 2026 接收为口头报告。
该研究结合离线规划与策略蒸馏,提出双平均损失和 $\rho$-Optimal Reinforcement 机制以解决历史依赖策略问题。 在包含视觉和自然语言指令的新领域 Scavenger 中,该策略成功率超过 90%,而强化学习最高仅 5%。 蒸馏后的规划器对未见过指令成功率超 60%,对更大楼层平面图成功率超 75%。
预训练表格基础模型(TabFM)在数据稀缺时预测精度高于从头训练的LSTM和MLP。 其预测表现高度依赖上下文长度,长上下文能显著改善自回归预测,但推理速度比LSTM慢三个数量级。 结论表明TabFM可作为数据匮乏时的预测工具,但尚无法替代经过训练的规划世界模型。
研究发现截止时间改变 LLM 推理价值的测量方式。 在 1200 次决策复盘中,迟到的思考模式答案价值约为准时答案的 5 倍;按时率与平均价值乘积高估优势 0.0241。 Qwen3-8B 单卡实验中,并发请求从 8 增至 56,45 秒截止时间下的完成率从 79.2% 降至 1.4%。
单步世界模型采用冻结 DINOv2/v3 补丁 Token,其最近邻匹配目标(IMLE)在性能上优于扩散模型。实验表明,m=16 的候选数量在预测覆盖率上超过 50 步流匹配,且推理延迟仅为其 1/30。
研究提出 PoseBench 基准,用于探测预训练视觉特征中的位姿感知能力。 该基准评估了来自 10 个预训练家族的 31 个公开检查点,结合 held-out 渲染视图和真实图像查询进行系统性测试。 研究发现位姿感知是 2D 视觉基础模型的隐式且不均匀属性,且位姿图优化可进一步提升性能。
提出 LoCo 框架,通过空间一致视觉编码器和选择性 Softmax 处理局部语义稀疏性,增强开放词汇多标签识别(OV-MLR)的判别能力。 独立使用 LoCo 在四个基准上将平均 F1 和 mAP 分别提升 3.4% 和 3.8%;结合 DualPrompt 后优势扩大至 4.8% 和 5.2%。 代码已开源,该论文被 NeurIPS 2026 接收。
该论文提出统一因子化整理器(UFOs),通过训练网络模型化其他网络的表示规律,来改进深度学习的表示质量。 在模态算术问题上,结合权重衰减时 UFOs 可将 Transformer 训练步数减少 10 倍以上;无权重衰减时比无正则化基线减少 100 倍以上。 如果 UFOs 有效,将开创一种新范式,即损失函数本身可被训练以学习良好的表示模型。
APO2CS提出了一种用于神经组合优化的优势感知偏好优化目标,通过整合宏观和微观层级的监督提升搜索能力。 该方法在宏观层利用目标值差异丰富成对偏好,在微观层比较部分轨迹以提供密集监督,可训练或微调策略。 实验表明,APO2CS在多项组合优化任务中展现出强大的有效性和适应性。
研究揭示大语言模型后训练中“近全秩更新”与“低稳定秩变化”的矛盾表象兼容。对于奇异值呈幂律衰减的更新,随着维度增加,稳定秩相对于固定能量秩变得可忽略。 对 OLMo-2-7B 的 PPO 更新进行全 SVD 分解显示,稳定秩仅为 9.6-18.3,但需 532-1,222 个奇异分量才能覆盖 80% 能量。
summary_zh: Enmo Safety 是一种不修改模型权重的外部安全框架,通过确定性输入评估、触发匹配安全引导、不可信内容标记及输出防护机制包裹聊天模型。
GMD-Mamba 通过分组多向扫描和仅在深层编码器使用 Mamba,将模型参数量降至 19.2M。 在 BraTS2023 数据集上,该方法取得 92.0% 平均 Dice 分数和 2.7 HD95 值。 代码已公开可用,并在 MSD Spleen 数据集上验证了竞争力。
TimeGPT 预训练模型在预测每日急救呼叫量时,表现未优于 SARIMAX、NBR 等传统方法。单变量预测中 SARIMAX 整体表现最佳,多变量预测中 NBR 和 PR 效果最好。 该研究使用 2,101 个每日观测值,结合时间、气象及社会经济变量,在一步和七日预测场景下评估。结果表明,大规模预训练并未转化为急救呼叫量预测的更高精度,利用现有数据训练的传统方法依然更具优势。
研究者提出一种针对信息物理系统(CPS)中机器学习组合架构的数据操纵攻击策略。该策略将状态映射为攻击动作,通过欺骗单个学习模型来影响系统内部状态及物理行动。 研究构建了包含基本威胁模型的分析框架,旨在计算最优攻击策略并探索组合学习安全的扩展方向。
该研究将 AdamW 视为动力系统,证明其隐式固定点对应一个受限正则化优化问题的驻点,但并非所有固定点均稳定。 稳定性敏感依赖于曲率、权重衰减及动量参数;在一维设定下平衡点可能不稳定,轨迹表现为持续振荡而非收敛。 论文推导了连续时间动力学的局部稳定性充分条件,并提出一种保留 AdamW 固定点的收敛性改进算法。
视觉语言模型(VLM)被验证可作“合成消费者”,其购买篮命中率与家庭历史行程持平。 货架选择中模型答案混杂位置与字母标签效应。研究者引入 ShelfSight 独立变化产品、位置、标签等变量,并用因子模型分离偏好与“答案效应”。
该轻量级即插即用模块利用注意力特征识别幻觉前兆片段,将无差别的推理阶段干预转化为定向纠正,可兼容多种现有对比解码方法。 在 NeurIPS 2026 被接收,实验证明其在多个基准测试中提升了幻觉抑制效果,并减少了对正常生成的负面影响。
研究团队提出无标记视频检测高尔夫挥杆故障的管道,在公共数据上对两类常见故障的交叉验证 ROC-AUC 分别为 0.975 和 0.911。 该管道通过追踪身体姿态和球头,利用浅层提升树分类生物力学量,可在消费级笔记本上以秒级处理手机视频。 该系统使诊断决策可追溯,具备开发为高尔夫应用及扩展至其他运动技术评估的潜力。
因果推断中训练目标与推断目标常存在偏差,且高多样性现实数据使预设策略难以匹配。研究提出 MoE-Learner 混合因果专家框架,利用嵌入变差函数无偏路由评估专家有效性。
JoMoHa 提出首个通过强化学习联合训练可执行 harness 生成策略与任务执行策略的框架,解决单一组件优化受限及交替训练导致的不兼容性问题。 该方法在 ALFWorld、WebShop 和 DBBench 上均优于仅优化权重或 harness 的基线方法,ALFWorld 平均成功率为 70.3%,最高达 97.0%。
SmoothedTurboMPC 提出结合 SQP 与 log-barrier 平滑 ADMM 的 GPU 并行可微 MPC 求解器,配合 SHAC 一阶强化学习算法,使端到端训练吞吐量提升至 SOTA 的 4.4 倍。
研究者发布 LogCDM,这是一款参数仅 8.1-8.8M 的日志异常检测器,无需 GPU 即可在 CPU 上实现 5.5-10.5 ms 的评分速度。 模型通过融合 Transformer 惊奇度、图注意力嵌入距离及转移漂移统计,在 HDFS、BGL 和 Thunderbird 数据集上分别达到 0.984、0.870 和 0.850 的 F1 分数。
论文提出 EBReg 框架,利用潜变量得分估计防止无监督学习中的表示坍塌。该方法联合训练编码器和得分模型,在 ImageNet-1K 上实现 75.57% 线性探针准确率,使用 ViT-L 架构。 测试时,得分引导的自适应机制在 ImageNet-C 数据集上提升约 5% 的平均相对准确率,增强了模型的鲁棒性。
提出统一框架 Multi-STG,结合 LLM 语义先验与基于图的时空学习预测恶劣天气下的城市交通。 该框架引入 LLM 赋能的语义增强模块,将天气、POI 及节假日等上下文转化为高层语义嵌入,并设计多模态注意力融合机制动态加权异构输入。 在三个城市的私家车真实数据集上,Multi-STG 相比最强基线平均降低 11.82% 的 MAE,且在稀疏和非平稳条件下保持性能稳定。
SciMARS提出结合共享证据图与组件编辑器的多智能体框架,解决科学发现中记忆缺失与流程僵化问题。 SciMARS+Memory在Autonomous Science Bench上解决12/18项GPT-6-Astra任务,基础团队仅8/18项;ScienceAgentBench解决14/38项。 验证了共享记忆与harness适应在科学及交互任务中的协同优势。
基准测试 AuDiR 通过受控干预区分音频推理中的感知、规则知识与应用故障,当前包含 201 个题目。 在 Gemini-3.8-flash 的初步评估中,准确率从无信息时的 29.3% 提升至提供观察后为 98.5%,移除音频后为 23.9%。 结果证实了提供文本声学观察的价值,但受限于不完整验证和潜在识别捷径,无法做出更强的故障归因结论。
summary_zh: Spatial Harness 通过将场景表征为可执行世界状态,将空间推理锚定在物理引擎反馈中。该方法在 MindCube 基准上将 Qwen3.5-27B 的性能从 52.70% 提升至 71.14%,超越 pySpatial 7.52 个百分点。
研究引入 AutoBuddy-Bench 模拟器评估 LLM 智能体,发现弱模型主要败于任务发现,强模型主要败于系统操作执行。 该基准将组织建模为时间图谱以生成真实工作区,结果显示发现精准度与执行质量关联较弱,表明二者是独立能力。
研究提出 TANSAR 框架,通过遍历有向无环关联图并注入验证路径表示,实现冻结语言模型的多跳知识编辑。 理论分析给出了容量上界 n≤d(1+ε²),并证明删除操作不会失效已认证关联,确保线性归因能力。 实验中 Horn 剪枝将多跳编辑的答案矛盾率从 25.1% 降至 0.5%,单条编辑在 CPU 上耗时 13.6 ms。
提出 PROLA 框架将预测性时空天气降尺度分解为空间与时间阶段,在保持低秩预算不增加可训练秩的情况下,通过重标定 rank-1 优化器更新提升适配性能。 实验表明 PROLA 在 PSWD 任务上优于代表性低秩适配基线,其收益亦延伸至多样化的数据集与任务,验证了方法的通用性。该工作已被 NeurIPS 2026 接收。
研究者提出可重构动作理论(RAT),允许在 Agent 执行中动态变更工具与策略。 RAT 将模块加载/卸载建模为普通因果动作,并证明了推理任务计算复杂性及向 ASP 的转换能力。 实验对比了 DeepSeek Harness 等实现,RAT 为检查组件变更对可用动作及可达目标的影响提供形式化基础。