阶段式多模态大语言模型微调用于多框架 WebUI 代码生成
针对多模态大语言模型在生成 React、Vue 和 Angular 代码时因负迁移导致的编译失败,提出了一种基于兼容性与异质性信号的阶段式微调方法。 该方法首先应用保持原生语法的归一化映射,离线估计跨框架异质性与兼容性以自动确定训练分组及顺序,最终通过阶段式适配器调优减少干扰。实验表明,该方法在多个基准测试中提升了生成质量与编译成功率,相关研究已被 NeurIPS 2026 接收。
针对多模态大语言模型在生成 React、Vue 和 Angular 代码时因负迁移导致的编译失败,提出了一种基于兼容性与异质性信号的阶段式微调方法。 该方法首先应用保持原生语法的归一化映射,离线估计跨框架异质性与兼容性以自动确定训练分组及顺序,最终通过阶段式适配器调优减少干扰。实验表明,该方法在多个基准测试中提升了生成质量与编译成功率,相关研究已被 NeurIPS 2026 接收。
提出一种混合深度学习方法用于多变量时间序列异常检测,整合变分自编码器中的2D卷积网络与门控循环单元,以捕捉时空信息。 该方法利用2D卷积网络提取特征,结合基于预测的深度神经网络,在公开数据集上与最先进方法对比实验验证了其潜在效果。 适用于电厂、智能家居和服务器等智能系统监控,有助于预防系统故障并维持功能。
六系统在乌尔都语Nastaliq手写数据集上评估,两款商用视觉语言模型(VLM)零样本错误率低于开源VLM和印刷体识别器。 测试使用2465张单行图像,未微调;商用VLM在纠错任务中表现更好,但收益有限。
Clef 27B 和 d1 3B 在七项放射学任务中表现优于或接近 Qwen3.8-27B,且无需微调。Clef 在 CT-RATE 体积任务中排名高于其 Qwen 骨干,d1 能耗仅为 Clef 的 1/3 至 1/9。System 1 模型能以更低计算成本完成高准确率放射学任务。
EgoMo3R 提出联合优化框架,从休闲自中心视频同时重建 3D 人体运动和场景几何。该框架整合单目深度、光流等底层视觉几何原语,并结合基于扩散的人体运动先验进行一阶优化。在 EgoExo4D 和 Nymeria 数据集上,EgoMo3R 在 3D 场景重建和自中心运动估计方面均优于专用基线模型。
GSExplorer 提出生成-重建框架,通过持久化 3DGS 世界状态实现高精度交互式世界生成。 框架利用 3DGS 场景提供多模态渲染条件,结合相对射线编码注入相机几何,并通过 SLAM 后端进行不一致性过滤与捆绑调整,构建了 293K 训练数据对。 该方法在单步和三步 WorldScore 评估中取得最佳性能,单步相机控制得分达 99.07,在 481 帧回溯测试中表现出强重访一致性。
提出 See, Think, Use 协议,将视觉语言模型的作答追溯至感知、推理或使用阶段,每项目增加两问且无需访问模型权重。该协议在两个模型家族和六个数据集上显示,优先计算分配可接近最佳均匀策略成本,并优于随机分配。
CuriousTogether 框架评估好奇心驱动的多智能体 LLM 交互,在8项任务中7项优于非好奇设定。 故事生成语义多样性提升最高达20.6%,刻板印象率降低14.9个百分点。 该机制为多智能体协作提供实用改进路径,惠及推理、创作及社会任务。
研究提出 JADE 联合去噪框架,让预训练视觉语言模型(VLM)与扩散动作专家在机器人动作生成中协同去噪,而非仅作为静态条件输入。 在 RoboDojo 基准上,JADE 基于 $\pi_{0.5}$ 方法取得 12.67% 的平均成功率,为评估中同类方法最高;相比 $\pi_{0.5}$,在四项真实双臂任务上的平均成功率提升 20.8 个百分点。
针对二手手机远程估值痛点,研究者推出双真值评测套件 PhoneValue-Bench 及弱标签训练集 PhoneValue-Corpus。 PhoneValue-Corpus 包含超 2 万订单与数十万张描述图像,ValueAgent 在 Bench-Full 基准上取得 84.1/100 分,外观字段填充率为 97.0%。 该工作为多模态二手交易估值建立了可执行基准与参考管道。
研究者发布 LF-VideoQA 数据集,包含 94 部近期电影上的 6300 多个开放式长形式理论思维问题,每题平均需整合跨越 23 分钟的场景证据,并附带用于召回与精度评分的 rubric。
提出覆盖、可比性与组合性三级能力框架,指出全模态嵌入研究正基于对比学习与Transformer架构趋向收敛。 三条统一路径为:变换扩大覆盖、对齐实现可比、联合嵌入达成组合性,主张联合嵌入为终极目标。 该立场论文提供首个统一、跨领域处理的全模态嵌入研究综述与路线图。
Pano2BIM 提出了一种几何约束的 VLM 智能体,利用已知房间尺寸的平面图和一张 360° 照片生成 LOD 200 级的近似 IFC4 模型。 VLM 识别地标与物体,确定性工具估算相机位姿并通过射线投射计算度量位置,Measure 工作流的家具足迹 IoU 达 0.53,单次运行耗时 3.8 分钟、成本 1.63 美元。
提出CRAFT多智能体框架,无需任务特定训练即可从自然语言生成参数化OpenSCAD程序。 核心采用JSON中间表示保留符号参数表达式,结合语义理解、渲染及自修正机制。在NopSCADlib等数据集上,其可编辑参数结构显著优于直接零样本基线。
SAMP提出自适应扩散水印框架,平均信息恢复准确率达0.993。 框架通过全局边缘调节与脆弱性敏感分配,优化嵌入强度与维度优先级。 相比SOTA方法,PSNR提升16.8%,LPIPS降低47.1%。
研究人员提出 ReactionBench,这是首个以人类为锚点的视频反应特异性理解基准。 该基准包含 31,834 个刺激-反应视频片段,涵盖 433 小时时长及 8 个领域,用于评估反应强度排序、时序匹配及解释推理能力。 在七个多模态模型中,最佳模型在四选一匹配任务中准确率仅为 50.9%,表明反应特异性接地仍具挑战性。
summary_zh: 提出 MedChain 语料库(182,573 条推理链)及 dCoT-SFT 监督方法,显著改善医学影像定位模型性能。 实验显示 27B 模型在 MedSG-Bench 达 77.24 mIoU 与 85.20 Acc@0.5,超越前最优模型 4.69 和 5.49 分。
针对视障与分心行人需求,一款 Android 应用利用重训练 YOLOv8 检测 18 类城市障碍物,实现低延迟实时预警。 通过剪枝、量化及早退出分支,配合 Android NNAPI,中等手机推理延迟由 3.2 秒降至 0.39-0.48 秒,推荐配置在 0.42-0.48 秒内保持 0.81 召回率,且无需专用传感器。
针对端侧视觉语言模型(VLM)在持续感知场景下的能耗,研究重审了视觉预填充(visual-prefill)的能量结论。 在 Jetson AGX Thor 和 Orin 上剖析 9 款 VLM 的 4,508 条记录,发现单次输出 token 解码成本随模型规模单调增长,而视觉预填充成本主要受视觉编码器架构效率主导。
该框架利用InceptionResNetV2与CBAM分类四种脑肿瘤,经12,064张图像验证,测试准确率达96.73%。 其OOD机制结合灰度检查与马氏距离等指标,在100张基准图上实现99%检测准确率。系统部署为NeuroScan AI实时Web应用。
TRACE-CBM 通过时间关系图递归预测概念状态,实现可编辑的视频活动预测。 该方法将观察活动 Top-1 准确率提升 1.2-8.5 个百分点,H3 预测准确率接近黑盒模型。 概念节点编辑可纠正 25.6-34.4% 的错误预测,概念引导实现高达 90.0% 的目标活动。
研究复现8个基准测试的官方评分器,发现仅评分规则差异就能使同一模型输出准确率变动高达22分。 研究使用5个单张16GB GPU可运行的开源视觉语言模型,通过盲测人类与LLM评审仲裁(Cohen's kappa=0.956)恢复真实答案,指出不同解析规则导致显著分数偏差。 该研究已获WACV 2027接收,并发布代码、标签及协议,建议基准测试报告不合规率并采用至少两种评分规则。
该研究引入自主智能体,将 AlphaFold 3 视为黑箱实验仪器,通过假设驱动迭代优化 MSA 序列选择与配对策略。 在 1,015 个蛋白质-蛋白质界面上,智能体在提升整体 DockQ 的同时,平均 MSA 序列量比默认管道减少 60%。 跨物种杂二聚体收益最大,FoldBench 平均 DockQ 从 0.465 升至 0.612,HD439 从 0.482 升至 0.562。
GeoGuesser Bench 发布 282 项任务,评测 23 个视觉语言模型在离线街景环境中的交互地理定位能力,地点命名最高准确率 62.5%,物体寻找最高准确率 35.0%。
端侧多模态智能体面临注意力结构不整除与KV缓存随轮次膨胀两大部署错配问题。PARC通过一阶泰勒重要度进行结构化剪枝,使注意力维度可被核心数整除,并按时效性重组KV缓存,让历史图像移出持久缓存。在七核部署下,该方法将视觉编码器延迟降低11.4%,解码吞吐量提升23.8%,每堆内存峰值降低12.7%。任务感知恢复训练恢复了98.7%的动作类型准确率差距。
summary_zh: MAGAR 提出了一种针对 3D 机械装配的多模态智能体框架,并发布了包含 4,000 个样本的基准测试 MAGAR-Bench。 MAGAR 采用选择性校正机制,通过冻结策略将任务平衡聚合指标从 37.50 提升至 41.39,其中 209 次干预中有 70 次成功纠正错误。
论文提出 BGC-Bench 基准框架,解决生物合成基因簇(BGC)现有评测在小型数据集上区分度低的问题,支持跨泛化水平的科学任务。 框架源自 MIBiG 数据集,构建 5 项任务,在基因型/表型偏移分割及主动学习场景下评测 12 种编码器,覆盖核苷酸、氨基酸及 Pfam 域序列。 研究证明无单一表征占优,最优粒度取决于生物尺度,预训练编码器并非一致优于其他表征,该框架可推广至 BGC 领域外。
研究使用 VC-DATNet 在三个公共语料库上实现 EEG 内部言语解码,其中 SyncSpeech 报告了首个解码结果。 模型参数量约为 131,000,在 Thinking Out Loud、BISpeech 和 SyncSpeech 上准确率分别为 39.48%、20.60% 和 25.53%。 传感器空间与皮层源空间表示具有互补性,性能瓶颈更多源于信号质量而非模型容量。
ClickSight 是一个利用 LLM 分阶段流水线解读学生点击流并评估学习策略遵从度的框架。 评测基于 2 个学习环境、365 名学生及 12 个模型底座,推理模型表现优于指令微调模型。 该框架将细粒度点击流与理论定义的学习策略相结合,为研究数字学习环境中的学生行为提供灵活方法。
论文提出一种后处理修复模块,利用 VLA 预测的短视域动作检测障碍物并生成导航路径,通过软引导项改善 CBF-QP 安全性过滤。 该方法将路径引导加入 CBF-QP 目标函数,保持安全约束严格有效,从而修正被局部截断的任务轨迹。 在 SafeLIBERO 基准测试中,该方法在碰撞规避、任务成功率及安全成功率方面均优于 AEGIS。
小米发布 Auto World Model 2.0,这是一个统一的流式因果世界模型,用于 Physical AI 中的因果物理演化建模与生成。
Uni-LaSpec 提出一种负载自适应的推测解码框架,通过复用验证器注意力选择关键视觉 token,在 17 个基准测试中将文本吞吐量提升至 5.11 倍,多模态吞吐量达 3.24 倍。 该框架根据 GPU 负载动态调整验证结构,在轻载时使用草稿树,重载时截断线性草稿,在 6 种负载水平和 3 种 GPU 上均优于自回归解码。 在突发到达场景下,其平均端到端延迟比线性验证降低 47.6%。
FOCUS 是免训练三层框架,通过时序门控和空间焦点地图减少 VLM 调用次数。 在 EgoSchema 子集上,基于 Qwen3-VL-8B 达到 74.8% 准确率,仅耗 25.4 次调用。 较均匀采样减少 57% VLM 调用,显著提升流式视频处理效率。
系统 GURU 采用层级神经符号多智能体架构,在计算流体动力学中将未知几何收敛模拟率从不足 1% 提升至 74%。 该系统在 100 个单次尝试案例中验证了效率,并通过符号层提升了边界层捕捉能力。在太空态势感知领域,该方法在 conjunction risk 评分上超越了五种方法,包括全量微调的语言模型。
PSM-Bench 基准包含 800 道题目,OpenPerov Flash 在 13 个闭卷系统中排名第一。OpenPerov Pro 将 Scientific Mastery 从 87.6 提升至 89.1。
XPeng 发布 X-World 1.6 世界模型技术报告,旨在提升自动驾驶模拟器的可靠性与场景控制能力。该模型支持交通灯、道路标记等细粒度控制,并实现了单图生成多摄像头未来视频。 报告称升级后的模型具备更强的时空一致性,增强了后训练框架以支持高效因果生成,并引入专用评估套件。这些改进支持了更广泛的自动驾驶开发应用。
BrainGFM 在 48 项下游任务中提升了有限监督下的分割与分类表现,并实现高保真图像增强。 该模型基于约 130 万张 MRI 和 CT 切片预训练,支持低数据预测学习及图像重建的后训练适配。 4,796 名卒中患者的多中心临床验证显示,其生成的 FLAIR 图像接近实际采集质量,且使人-机协作诊断准确率提升 14%。
Taurus 利用 LLM 环流框架实现 CT 主动脉标注,主要指标表现与使用 Claude Opus 5.5 的自由智能体无显著差异,但单病例成本仅为 $1.22,低于后者的 $2.71。 该框架通过自动化路径处理扫描,并结合固定规则平滑标签表面及多项选择检查以修正大型错误,在 38 个留出病例上取得主要增益。 此类标注自动化使得专家时间可从绘制标签转向核查,提升了效率。
summary_zh: MAD 框架在空间转录组学双组学编辑场景中,实现了对一个特征组进行定向修改同时保留另一组的功能。 基于 CosMx SMI 肾组织足细胞评估,MAD 在病理组学编辑中取得 MAE=0.6636 和 FID=25.19,性能超越所有对比基线。
研究团队提出包含 118 个模糊任务的移动 GUI 基准 MemU-Bench,旨在测试智能体从长历史中恢复缺失上下文的能力。 基准引入交互效率 IE 和加权成功路径长度 SPL 指标,以区分基于真实记忆或盲目搜索的成功。评测显示 GPT-5.5 在 AppMem 框架支持下 SPL 从 15.7% 提升至 66.9%。