LLM 模型免疫化:超越条件数的Plateau区域重要性分析
论文提出通过优先考虑Plateau区域来扩展LLM模型免疫化理论,并引入基于高效Hessian估计的免疫算法。 实验在三种场景中验证了该方法的有效性:Fine-tuning-as-a-service中的混合数据攻击、开放权重环境下的有害微调,以及鲁棒遗忘中抵抗再学习攻击。 该方法在保持模型通用性和下游可训练性的同时,实现了对对抗性微调的稳健防御,代码已公开。
论文提出通过优先考虑Plateau区域来扩展LLM模型免疫化理论,并引入基于高效Hessian估计的免疫算法。 实验在三种场景中验证了该方法的有效性:Fine-tuning-as-a-service中的混合数据攻击、开放权重环境下的有害微调,以及鲁棒遗忘中抵抗再学习攻击。 该方法在保持模型通用性和下游可训练性的同时,实现了对对抗性微调的稳健防御,代码已公开。
在 SE(2) 初始位姿坐标系下预测几何图元,可将单遍解码器的决策后悔值降低 1.9-2.2 倍。 单遍解码在对象坐标系下达到 0.020-0.021 的后悔值,速度为 1.6-1.8 ms,显著优于扩散模型和自回归模型。 软令牌期望与 2D Kabsch 投影结合,实现了最低轨迹误差和更高推理效率。
流式视频模型难以正确执行组合指令,TEMPI 实现 44.4% 指令级成功率。 其通过分解指令为原子事件查询与时间约束,并利用 Scenario Memory 维护任务进度。 在 8GB RTX 5060 上,优化推理管线实现 4.90x 加速。
研究提出生成式 AI 驱动的参数化设计优化框架,整合 CAD 与 CAE 分析。 该框架基于 CATIA 模型构建 13 维参数化模板,利用扩散模型生成设计候选。 相比基线,Knee-point 设计使质量降低 7.1%,最大位移降低 29.4%。
研究提出 STILL 方法,将场景变化检测重构为地点注册的对象验证,解决 VLM 无法定位物体位置的问题。 STILL 利用 3D 几何注册变化假设的地点,官方 SceneDiff 协议下 obj/sc AP 从 24.0 提升至 37.8,F1 提升超 21 分,运行时间仅增加约 11%。
ReBrain 框架通过冻结 iEEG 信号模型作为跨模态先验,无需配对或微调即可增强皮层 EEG 下游任务性能。 该方法在多家医院数据及不同架构模型中均有效,增益源于 iEEG 携带的真实神经结构而非架构本身。 证据表明稀缺清洁模态可作为丰富噪声模态的可迁移先验,代码已开源。
研究验证了在 4B 模型规模下,通道堆叠优于序列拼接以实现像素对齐的结构保持编辑。 基于 FLUX.2 Klein 4B 基座,该方案保持序列长度不变,仅需单次前向传播,并在 29 张测试图上取得 20.3 dB PSNR。 该模型主要学习了全局调色而非选择性编辑,代码与完整训练配方已公开。
FECHRL 方法解决机器人导航中持续学习与可解释性的冲突,实现稳定知识保留与有意义行为解释。 引入两阶段行为克隆策略平衡适应与进化,提出基于 Takagi-Sugeno 模糊推理系统的模糊 critic 以缓解值外推误差。 实验结果表明该方法在单一框架内有效统一了持续学习能力与策略可解释性。
论文提出视觉条件反射机制 ViCoR,将 67.8% 的高频反应转移至快速反射分支,平均动作决策延迟从 14.0 秒降至 5.4 秒,降低 2.6 倍,Token 消耗减少 36.9%。
移除 122B 参数 MoE 推理模型 75% 路由专家后,LiveCodeBench 循环问题从 0 增至 44 个。 B 方法通过加载 rank-8 训练适配器恢复每层 2 个专家,在预注册测试中解出 116 题(+9.2 pp),显著优于未修复基线。
在 Qwen2.5-VL-7B 上,一种基于 M-RoPE 的 KV-Cache 重用方法支持在 4 倍帧率下对已稀疏采样的视频上下文进行编辑,同时复用幸存片段的缓存以减少预填充 token 和端到端重建延迟。
潜反馈(Latent Feedback)机制在固定数据或算力时,分别比标准Transformer减少48%算力和47%数据消耗。 该结论基于60M至778M参数模型的实验与缩放定律拟合,预测误差控制在0.3%以内。 当数据而非算力成为瓶颈时,潜反馈是给定规模模型更高效的算力利用方式。
研究揭示了 post-SDPA gating 对 Transformer 中 attention sinks 的机制影响。 通过谱分析表明,该门控机制在推理时作为模态依赖收缩,衰减前向传播中的 sink 诱导谱能量;在反向传播中,局部降低通过 sink 列传递的值路径梯度。 随机矩阵诊断证实,该机制减少了异常值质量、弱化了 sink 子空间对齐,并显著增加了有效秩。
针对多智能体生态中跨会话累积的“Agentic Sleeper”安全威胁,论文提出 Swarm Shepherd 系统级防御框架。 在 LangGraph 等平台上,该攻击漂移比自然基线快 2.7--8.9 倍,而 Swarm Shepherd 能在可见退化前至少 3 个会话发出预警,追溯模块 macro-F1 达 0.72。
LLM 可通过编辑少量 U-Net 权重来提升图像超分辨率的感知质量,而无需干净参考图。框架提供架构代码与采样预览,限制变更至 3 层且参数占比低于 0.1%。实验对比 GPT-6 Astra 与 Qwen3-VL,发现反馈分数提升可能伴随未见过场景性能下降。
研究揭示了循环神经网络(RNN)和状态空间模型(SSM)生成结束符(EOS)的因果机制。 tanh RNN 在线性子空间编码剩余 token 数,平移该表示可提前停止,94.4% 新序列复现正确。 线性 SSM 依赖旋转平面的相位对齐决定停止时间,旋转相位破坏停止但不影响内容。
ReMoVe 将视频模型生成的粗略运动视为假设,通过恢复并细化底层运动,将其渲染为 3D 网格并转移面部外观,从而提升运动准确性和身份一致性。 该方法进一步从同一 3D 场景和相机轨迹中推导深度,以施加超越网格的场景级空间一致性。 实验表明 ReMoVe 在保持基础生成器运动先验的同时,显著提高了人类结构稳定性、外观一致性、时间连贯性及运动跟随保真度。
HoloGene 提出一种各向异性条件隐式神经表示框架,利用已知 GAE、FiLM 等组件,从已配准的空间转录组切片估计连续 3D 基因表达场。 该模型将表达谱压缩至图自编码器潜空间,采用基于伪标签的签名条件化提供切片内上下文,并通过深度依赖的 FiLM 调制建模轴向变化,以提升重建精度。
该模型在四个基准上实现最低 pooled RMSE(最高降低 14.2%)与最低 CRPS(h=4-6 时最高降低 43%)。采用证据驱动更新结构及异方差高斯头进行校准,在异常季节降低校准误差 78.9%。
提出无监督框架 RT-FM,利用时序变分自编码器估计残差潜在尾部性并生成训练权重。 该方法解决常规流匹配模型对罕见正常模式过度惩罚问题,在 7 个基准测试中提升罕见正常覆盖率并降低误报率。 代码已开源,论文被 IEEE International Conference on Big Data 2026 接收。
LENS 框架将 LayerNorm 重构为微型 MLP 并扩展至 Softmax,使更多计算转化为 GEMM 运算,适配 NPU 等硬件加速器。 在 ViT 图像分类和 Pythia 语言建模任务中评估,LENS 在部分视觉场景匹配或超越基线,并在 WikiText 等基准上保留大部分性能。
Brain AI Scientist 提出一种自主多智能体框架,结合患者特异性 fMRI、临床信息、科研证据,通过检索、校验与排序生成可追溯的表型—解剖—生物标志物—机制—干预—验证链条,用于个性化临床决策支持。
提出SP-EWC方法,通过投影梯度至低秩子空间捕获非对角曲率,有效保护模型安全护栏。 该方法对比LoRA、ActSVD与cPCA三种子空间识别方式,结果显示使用cPCA的SP-EWC在维持安全性的同时显著减少过度拒绝。
研究在 Lido di Venezia 利用 1983 至 2024 年小时级潮汐记录构建异构图,训练 PPO 策略以 18 个历史风暴场景为测试集,结果在降低人口暴露度方面与规则基系统效果相似。
研究人员提出ECS人类回环框架以扩展LLM辅助的肿瘤治疗顺序裁决。在136例多发性骨髓瘤患者模拟中,该框架在审查44.6%患者后实现5%残余错误率。 相比LLM自评置信度审查下的62.2%错误率,ECS通过累积临床医生裁决证据持续校准置信度,显著降低专家审查负担。
Microfitting 通过为每个文档训练并缓存小型 adapter 实现持续学习,避免灾难性遗忘。 该方法在 DeepSeek V4 Flash 上验证,于 EDO 基准中相对基模性能提升 38.2%,无需修改基模即可本地自适应新语料。 使持续特化在本地硬件上变得实际且成本高效。
RoboACE 框架通过协同演化课程与执行 harness,在冻结基础模型上实现机器人自我提升。其在 LIBERO-PRO 评测中成功率达 74.0%,比初始部署高出 15.0 个百分点。该方法优于现有控制器与 agent 系统,验证了自适应练习的有效性。
研究证明 GPT-6 Astra 无需梯度优化即可直接编程表格基础模型。在 20 个 TabArena 数据集上,Astra 将 nanoTabPFN 从零初始化编程,平均 ROC AUC 达 0.849。
研究者提出 ChartSync 基准,用于评估生成式图像编辑模型在结构化统计图表中执行视数逻辑级联编辑(VLCE)的能力。 该基准包含 870 个样本三元组、涵盖 9 种图表类别及 4 种任务类型,并构建了保证确定性地平耦合的编程渲染流水线。 对 14 个模型及 1 条代码管道的测试显示,多数开源模型在几何同步上严重下降,仅两个前沿专有模型展现出初显的 VLCE 能力。
提出具有软等变性的新型神经网络架构 Geometric Learnable Invariants Transformers,训练后仅对数据适配的对称群保持等变,并输出对称指纹以识别相关对称性及程度。 在图像分类任务中验证了该架构及指纹机制,通过低几何偏置设计避免强归纳偏置限制性能,替代传统数据增强方案。 该框架使研究者能直接检视网络以获取对称指纹,明确识别出训练后保留的关键对称群。
QA-CMIF提出一种质量感知跨模态潜变量填补与融合框架,用于提升sEMG-惯性手语识别在通道损坏下的鲁棒性。 该框架独立编码各sEMG通道并通过软门控评估其可靠性,在Ninapro数据集上于50%通道损坏时较基线提升1.29–2.65 pp,参数量仅0.175–0.185M,单线程CPU延迟为1.44 ms。
CECAR通过联合考虑专家路由与缓存管理,在16GB显存的消费级GPU上运行Qwen3-30B-A3B模型,实现12.5 tokens/s的推理速度。 该系统利用ML-based缓存策略预测专家重用距离,优先调度距离较短的专家,非驻留专家从SSD获取,较传统MoE推理提速4.5倍,超越完全驻留DRAM基线。 论文已被NeurIPS 2026接收,代码已开源。
引入基准SciResearch-Eval,首个结合自主实验设计与故意缺陷模拟器的科学判断评估集。 在93个任务、2511次测试中,模型常因忽视模拟器缺陷而报错,但95%置信区间覆盖真值的频率远低于预期。 Claude 5.5在最大算力下性能提升超10倍,而GPT-6 Astra和Claude Fable 5.2在默认设置下表现更佳。
研究团队提出 MT-RGCN-DTI 模型,利用药物-靶点相互作用、药物相似性和蛋白相似性网络构建异构信息网络。模型结合 RGCN 与 DistMult、ComplEx 解码器,在多个基准数据集上取得竞争性性能。代码与数据集已开源。
经验证,任务A的遗忘量与两种训练顺序下A的损失差高度相关(Spearman rho 0.96-1.00)。 利用任务A结束时存储的梯度和前20个Hessian特征对构成的李括号,在任务B训练早期预测遗忘。任务增量场景下预测力达rho 0.70-0.81,优于EWC惩罚项;域增量及旧任务半学习场景下预测失效。
研究显示,在由37名教授设计的17个学科、75道防AI大学考题中,表现最佳的LLM在有无课程补充材料时得分分别约为83%和85%。 研究通过主题分析归纳出5种教师提升题目难度的策略,并测试了这些策略对LLM答题准确率的实际影响。 该研究探讨了评估设计、学术诚信政策及LLM在教育环境中部署的伦理影响。
该论文提出基于 Transformer 的 MARL 车辆控制模型,利用 V2I 通信协调 CAV 进行高速匝道汇入。模型通过注意力机制从全局交通状态中过滤关键信息,在 SUMO 仿真中实现了最高流量、安全性和平滑度。 四小时动态需求仿真显示,该模型成功避免交通堵塞,而基线模型在高流量下失效;其在存在人类驾驶车辆及 V2I 通信误差环境下仍能保持无碰撞和高吞吐量。
研究团队提出DEVL框架,这是一种无需训练的流式推理方法,允许离线ASR模型在用户停止说话后快速返回高精度转写。 该方法将部分转写作为草稿,在回合结束时通过单次前向传播验证,确保最终结果在精确算术下与离线贪心输出完全一致。 在包含Qwen3-ASR-1.7B的五模型对比中,95%-100%的最终转写与离线结果字节级相同,WER偏差小于0.13分,且单流最终响应速度提升1.5至7.3倍。
研究通过五级本地 Agent 执行框架测试 0.75B 至 4.7B 模型及 35.5B 锚点,Mingbird 框架在所有规模下平均完成率最高。 该框架包含 18 项任务与确定性评分器,两项预设对比在 0.75B 和 4.7B 节点通过 Holm 校正,执行检查门的调整对结果影响有限。
该方法使用近实时机制估算全球森林火灾过火概率。具体采用 pix2pix 模型,将处理后的 Landsat 8/9 图像指数转换为近似 USGS 过火概率。 这种方法比传统方法耗时更短、地理限制更少,且自动化程度高。通过 RMSE 分数验证了结果的有效性。