神经网络表征原子:FRU 定义与 TS 稀疏自编码器识别方法
研究形式定义了神经网络的基本表征单元(FRU),并证明阈值激活稀疏自编码器(TSAE)能在高保真度与稳定性条件下识别 FRU。 高稳定性 FRU 表现出更强的单语义性,且可跨层组合以恢复对应人类概念结构的语义组织。 该工作为定义、评估和识别 FRU 提供了统一框架,奠定了解释神经网络内部表征与人类概念结构关系的基础。
研究形式定义了神经网络的基本表征单元(FRU),并证明阈值激活稀疏自编码器(TSAE)能在高保真度与稳定性条件下识别 FRU。 高稳定性 FRU 表现出更强的单语义性,且可跨层组合以恢复对应人类概念结构的语义组织。 该工作为定义、评估和识别 FRU 提供了统一框架,奠定了解释神经网络内部表征与人类概念结构关系的基础。
该研究提出LASER智能体,利用预期引导机制解决视频中物体状态读取问题。模型将预期变化转化为视觉问题,检视当前帧确定属性值,并校验状态记录。模型参数全程冻结,通过修订文本观察技能提升表现。 在OSCaR和PLM RCap数据集上,LASER相比基线实现一致性能提升。
研究者提出 ZoomGain 数据构建管线,利用视觉语言模型在全局图像与局部放大图像间的感知差距生成问题,仅需 9K 样本训练。 模型在 4B/9B 规模上通过该管线训练后,性能提升显著,在 HR-Bench 4K 等基准上达到 90.25 的 SOTA 成绩,超越部分千亿参数模型。 该方法为细粒度视觉监督评估与训练提供了实用基础,相关代码已开源。
研究提出ARIVE框架,通过交替执行解剖学检查和诊断推理生成可解释放射学报告。 该框架基于MIMIC-CXR构建159,416条多模态思维链(MCoT)轨迹,并结合解剖与临床内容奖励进行优化。在盲测专家评分中,其报告与领先模型表现相当,且显著提升了诊断可追溯性和错误识别能力。
该五阶段管线用于眼底图像的AVR估计与视网膜病变筛查,每个阶段输出可检查。 在30张HRF图像上,准确率达96.7%,F1分数为0.968,ROC-AUC为0.978。 该管线需提供更大规模、经临床分级的队列进行进一步验证。
TransGHOST 提出因果参考引导重建管线,在眼科显微手术中实时恢复器械遮挡区域,其非生成式安全模式延迟中位数为 51.7 ms。 在狗白内障手术兽医临床语料库评估中,该模式达到 31.89 dB masked PSNR 和 0.915 masked SSIM。 系统提供逐像素置信度与溯源信息,并将在验证集中表现出比 LaMa 高 3.45 dB 的优势。
研究提出 Semantic Pairing 策略,将多模态遥感预训练的跨模态对应要求从实例级放宽至语义级,并引入 Mixed Pairing 探索对应粒度。 实验表明 Semantic Pairing 达到与精确配对相当的性能,Mixed Pairing 则揭示了下游迁移与实例配对比例的非单调关系。 结果证明精确实例对应非必要前提,为降低对昂贵数据依赖提供了可行路径。
论文提出DisasterAgent,通过“感知-增强-生成”工作流生成带引用的可验证灾害报告。 在DisasterM3和RSCC基准测试中,该模型平均分数较原模型分别提升13.5%和15.34%。 此举为灾害应急响应提供了更准确且可验证的解决方案。
AURA 模型利用冻结的通用音频 codec 和语言模型,在 SpatialSoundQA 双源方向准确率上超越最强专用系统 10.31 分。 该模型仅使用约 40% 的可训练参数,通过补全场景描述或暴露声道间差异提升性能,证实冻结 codec 保留空间信息。
研究人员提出紧凑且可逆的曝光等变编码 EquivFlow,无需修改 VAE 即可解决 SDR 到 HDR 重建中常见的暗部崩溃问题。 该编码将曝光变化映射为加性偏移,保留了尺度无关的色度成分,并在 SDR 到 HDR 视频扩散模型中取得了一致的色度保真度提升。 EquivFlow 在跨预训练图像与视频 VAE 的编码层测试中,证明了其曝光结构与深暗色度传输的稳定性。
RaRe 通过自监督对比学习对齐推理嵌入与文本描述,并利用强化学习优化特定关系证据生成,提升长尾分布下开放词汇场景图生成的识别能力。 框架在 VG150 和 PSG 数据集上展示了优于现有基线的类别平衡识别效果,具体增益随数据集和提案设置不同而变化。 该研究已被 NeurIPS 2026 接受,代码已在项目页面公开。
开源扩展包 MRFoundry 将 MRI 知识与智能体动作连接,配套推出 MRI Agent Bench 用于评估不同模型表现。 在 240 项核心评测中,MRFoundry 使全检查通过完成率从 67.5% 提升至 78.3%,在 134 项高难度任务中从 36.6% 提升至 44.8%。 该工具为 MRI 工作流专家知识提供可复用指导,支持研究者查看、调整并扩展至现有环境。
Curie's Jarvis 让机械臂在人类布局的操作台上执行化学实验,无需固定位置或标记。该系统读取纸质指令照片,通过四个相机视角识别容器标签定位目标。在 Franka Panda 机械臂上,完成 5/5 和 4/5 次实验运行,160 次标签识别全部正确。 使机器人更接近人类进行化学实验的方式。
论文提出 STAR 框架,利用冻结视觉语言模型的注意力机制生成语义关键度指标,通过零样本学习实现无线资源分层分配。 在 5G NR 链路仿真中,该方法在工厂和车辆监控数据集上分别减少 59.5% 和 91.5% 的资源单元,且无需为每一新任务重新训练模型。
研究发现GPT-4o分词器在处理印地语至奥里亚语时,Token用量是英语的1.57至5.01倍,GPT-4分词器最高达12.8倍。 在示例场景中,GPT-4o每月10万聊天的支持机器人,印地语或马拉地语成本约102,829 INR,高于英语的56,640 INR。 Sarvam-30B/105B是唯一在所有语言中Token膨胀率低于2.6倍的第三方分词器。
为提升编码智能体在低质量 UI 截图下的定位能力,提出基于仓库渲染的参考图像增强方法,在四倍下采样加 JPEG 压缩条件下提高金文件匹配率。 参考图像由当前代码库自动生成都无需人工标注,且在相同退化条件下文本识别精度比语言偏置 OCR 高约 12 个百分点,基于 SWE-bench Multimodal 构建评测基准。 该方法使智能体在视觉证据模糊时仍能定位相关源文件,适用于自动化软件调试场景。
summary_zh: PhysMoE 模型提出解耦 VLM 架构,在 9 个坐标定位基准测试中平均提升 15.7%,吞吐量加速 8.31 倍。 其核心创新包括通过物理模态路由共享下层网络,并将每个坐标编码为单个 Token 以复用视觉编码器位置嵌入。
现有基于 information bottleneck(IB)的多模态归因方法默认图像-文本对在语义上对齐,但在真实数据中这种对齐常被打破,导致 IB 目标产生后验过度收缩与强制解释。
StepRefine 提出一种即插即用解码策略,通过步感知切换离散解码与潜在精化,显著缓解多模态扩散语言模型(MDLM)幻觉。 该方法在熵值尖峰步骤使用概率加权嵌入保留多样推理假设,并通过精化控制器监测分布稳定性以减少不必要循环。
该综述聚焦自进化多模态智能体,揭示其在跨场景迁移中的结构性不对称问题。研究涵盖多模态推理、生成、GUI导航及具身操作四大场景。 通过定义自进化循环框架,区分场景固有局限与设计固有局限,并将各机制重构为资源权衡。 研究分析了稀缺资源与任务结构资源的组合差异,指出了目前尚未经过验证的跨场景迁移判定。
提出 Hx2Dx Arena 基准,包含 1000 个来自《新英格兰医学杂志》的交互式临床病例,用于评测 LLM 的多轮问诊与诊断推理能力。 评测显示,交互式设置下所有模型诊断准确率均低于静态完整病例场景,且模型间性能差异显著。 研究指出,LLM 在获取完整数据后推理良好,但在假设驱动的信息收集(提问针对性)上存在局限,这影响其安全融入真实诊疗流程。
该研究验证多模态大语言模型(MLLM)可替代人类评估可解释 AI,测试覆盖 5 个目标领域与 14 种 MLLM。 实验发现所有 MLLM 表现均为正向,OpenAI 与 Qwen 模型的对齐度显著更高。 此框架旨在辅助 XAI 研究者减少评估中对代理指标(proxy metrics)的依赖。
改进预测表征(IPR)结合动作前缀预测与基于对比多模态学习的观测锚点对齐,在深度控制套件任务中性能优于基线。 IPR-H 配置平均回报比视觉+深度基线高 10.0%,比视觉+位置向量基线高 3.4%;在 Webots 中,无 LiDAR 时 IPR 性能更高,有 LiDAR 时则不然。 该研究被 ACRA 2026 接收,展示了在有限交互数据下利用多模态观测学习表征的优势。
AutoManifold 通过多智能体 LLM 编排,将亲和度、成本及优化原语组合生成新的流形嵌入算法,超越传统的超参数调优。 该工具以用户指定的结构保持偏好为条件,通过 LLM 引导的指标驱动迭代循环优化配置。 在真实数据集上,生成的算法在保持原始数据内在结构的同时,性能优于 t-SNE、UMAP 和 PaCMAP 等 SOTA 方法。
针对地球观测数据覆盖不均与多模态处理成本高的痛点,本研究系统梳理地球嵌入理论基础并评估其应用。 在四个下游任务(高光谱分类、树冠分割、产量预测、生物量估算)中,地球嵌入表现并非总是优于原始影像或手工特征。 结论指出,地球嵌入应作为跨时空稳定表征补充而非替代传统数据,从业者需根据具体任务评估其适用性。
研究通过 172.8 小时语料库适配 449M 参数的 SraVaani 混合 TDT-CTC 模型以处理尼泊尔语与英语混杂场景。 微调使测试集 WER 从 48.6% 降至 17.1%,12 轮训练进一步降至 16.3%,优于微调后的 Whisper large-v3-turbo;冻结编码器会导致 WER 回升至 25.5%。
WoW 是一项基于教育知识图谱构建的大规模数据集,专为大语言模型全生命周期训练设计。 该语料库系统性地补充了各级别缺失的教育模块,支持多模态信号,并在多种评测基准上显著提升了模型性能。 作者提供交互式平台支持基于图谱的数据选择与检索,以促进社区研究。
研究解耦 MRoPE 中视觉内部空间结构与跨模态空间效应。实验表明跨模态空间效应提供较少空间参考收益,甚至损害性能。视觉内部空间编码对细粒度定位仍有用。
基于语言导向分层强化学习的认知多智能体框架提升了搜索与救援性能,学习速度提高 2.3 倍,协同一致性提升 37%。 框架整合 LLM 解释指令、UAV/UGV 角色分配及共享认知工作空间,模拟实验中受害者救援率提高 20-30%。 研究确立了语言引导多智能体 SAR 机器人新范式,使自主救援操作更安全、高效且可解释。
在六个视觉语言模型中,文本加图谱可视化提示平均提升 1.85 F1 点,主要源于低复杂度问题精准度提升 4.65 F1。 多模态增益不依赖模型规模,但对图谱布局敏感:层级 Graphviz 布局优于杂乱渲染,分解大子图效果最佳。 研究建议采用自适应视觉提示策略,仅为小型且结构良好的子图添加图表,以平衡精度与推理效率。
summary_zh: EarthRecord 是一个包含 238 个问题的基准,基于 56 个地点四十年的 Landsat、MODIS、VIIRS 和 Sentinel-2 原始数据,旨在评估多模态智能体的土地变化分析能力。
研究展示了在纳米粒子超晶格上利用编码代理进行自主同步辐射 X 射线实验。 在三次实验中,61%-67% 的消息涉及解释或判断,方法学贡献占比从 46% 升至 56%-61%。 结果显示,59%-68% 的错误修正涉及多方参与,为多智能体科学系统设计提供指导。
LookThere 利用端到端强化学习框架,通过联合训练浅层输入选择器和深层表示提取器,实现稀疏视觉中的性能-计算帕累托前沿。该模型在仅使用 0.2% 输入 token 的情况下保持精度,在 ImageNet 分类和 ADE20K 分割等任务中超越最先进方法。这为高效自适应计算提供了一般可扩展框架,适用于高分辨率场景及跨任务泛化需求。
研究团队提出 MMDiff 框架,利用多模态稀疏自编码器对 LLaVA-MORE 等模型进行特征级控制。 移除特定特征可使空间任务性能平均下降 12%,OCR 下降 17%,多模态安全攻击成功率降低 24%。 该方法证明多模态 SAE 可作为审计和引导大语言模型行为、提升安全性的有效机制。
summary_zh: arXiv 发表报告指出,AGI 已成为主要 AI 组织未来十年的具体目标,探讨从 AGI 向人工通用超智能(ASI)的过渡路径。 报告分析了规模化、范式转变、多智能体协作及递归改进等四条路径,并指出 AI 进步可能加速,导致连续而非单一的变革。
针对光学化学结构识别(OCSR)中的曝光偏差问题,COMO 框架引入最小风险训练(MRT),直接在分子级非可微目标上进行优化。 实验在包括专利和科学文献在内的 10 个基准上表明,COMO 以更少的训练数据显著优于现有基于规则和基于学习的方法。 消融研究证实 MRT 具有架构无关性,显示出在端到端 OCSR 系统中的应用潜力。
提出 RECAP 方法,结合未训练储层动力学与自组织 Hebbian 原型读出实现鲁棒图像分类,无需误差反向传播。 通过离散化时间平均响应构建共激活掩码,并以 Hebbian 规则增量更新类原型矩阵,采用重叠匹配进行推理。 在 MNIST-C 数据集上验证,RECAP 在未接触损坏训练样本的情况下对多种损坏保持鲁棒性。
FUTON 引入低秩张量分解参数化的 Fourier Tensor Network,解决 MLP 类 INR 收敛慢问题。 在图像拟合等任务中,FUTON 比最强基线快 4-34 倍达到同等质量,且推理最快、训练显存占用最低。 该研究已被 NeurIPS 2026 接收。
CAFT 通过联合学习局部文本区域对齐和全局图文对齐,解决视觉语言模型在长文本检索中的细粒度理解难题。 在 30M 图文对数据上训练后,CAFT 在 6 个长文本检索基准测试中取得最先进性能,展示了良好的扩展性。 该模型无需显式区域级监督即可学习细粒度表征,论文已被 NeurIPS 2026 接收。
通用 VLM 无需大规模 EEG 预训练即可在临床神经诊断任务中表现具有竞争力,且小样本适应能力优于专用基础模型。 VLM 在模型规模化时性能提升显著,而专用模态模型未能展现此特性。 该研究证明了 VLM 具备视觉解读 EEG 信号并辅助临床诊断的潜力。