Project Imaging-X:面向基础模型开发的1000+开放获取医学影像数据集综述
研究团队发布了迄今最大规模的医学影像数据集综述,系统梳理了1000多个开放获取数据集。该工作指出现有数据集规模有限且碎片化,并提出了元数据驱动的融合范式(MDFP)以整合共享模态或任务的数据。团队同步发布了一个交互式发现门户和统一结构化表格,旨在加速数据发现,支持构建更强大的医学基础模型。
研究团队发布了迄今最大规模的医学影像数据集综述,系统梳理了1000多个开放获取数据集。该工作指出现有数据集规模有限且碎片化,并提出了元数据驱动的融合范式(MDFP)以整合共享模态或任务的数据。团队同步发布了一个交互式发现门户和统一结构化表格,旨在加速数据发现,支持构建更强大的医学基础模型。
针对 DNABERT-2、Evo 2 和 Nucleotide Transformer v2 的逆向评估显示,平均池化嵌入未能完全保护隐私。单一解码器将 Evo 2 在 15 核苷酸处的重构相似度从近 1.00 降至 100 核苷酸处的 0.67。
研究发现 Adam 优化器在 tied-β 机制下可通过转换比例表达,该比例在任务、模型规模和训练阶段中呈现稳定的重尾分布。 基于此稳定性,研究证明使用固定 4-bit 码本存储该状态即可实现与全精度 Adam 竞争的性能,无需辅助缩放,并阐明了其与符号方法(Signum)的理论联系。
扩散模型后训练量化(PTQ)框架 Chameleon 提出将数值格式作为动态变量,在固定位宽下按权重通道、激活层及时间步桶动态选择量化格式,以优化内存受限加速器上的推理效率。
KernelZero 框架通过 Proposer 和 Coder 模型协同进化,持续改进 GPU 内核生成性能。 该框架利用前沿驱动机制生成能力对齐训练模块,并引入 CA-GRPO 优化策略。KernelZero-7B 在 CUDA 和 Triton 内核生成中超越 Claude-4.5-Sonnet 和 DeepSeek-V4-Pro。
研究提出Hawkes-PPO方法解决自主AI代理下的人类接管时机与验证强度问题。该方法利用指数记忆滤波器总结事件历史,在合成实验中目标值优于固定策略和无历史滤波器基线。 模型通过平衡收益与成本优化切换率,验证努力可削弱事件传播。
该研究揭示了机会约束 MDP (CCMDP) 的计算难度不一定意味着更高的统计代价,并为表格型折扣 CCMDP 建立了模型上限。 核心方法是构建 Bellman 分布证书,将轨迹级安全分析转化为局部转移不确定性,避免了候选策略上的联合界。
研究人员提出 MISVO(最微创引导向量优化)方法,通过优化冻结 LLM 隐藏状态的加性干预实现测试时对齐,利用局部 KL 几何推导的二次正则项控制输出分布偏离。
研究指出残差规模并非Δ学习可学习性的充分启发式标准。 以分子总能量为例,用拟合元素计数的神经网络替代线性基线虽降低残差,却使GemNet预测误差翻倍。 规模归一化图Dirichlet粗糙度可作为预训练诊断指标,支持基线互补性作为目标设计原则。
研究提出物理信息共形预测(PI-CP),将 PDE 残差嵌入非一致性评分,在六个物理场景中实现 89-91% 覆盖率。 该方法证明 FNO 平移等变性导致边界条件近似障碍,坐标通道使其误差降低达 63 倍;在 3D 多物理级联中,将耦合误差从 18.5% 降至 5.0%。 工业应用显示,光纤陀螺仪偏置不稳定性预测较分析基线提升 3.7-8.0 倍。
针对 LLM 形式化证明能力不足,研究团队推出系统级基准 VeruSAGE-Bench,包含 849 个来自 8 个开源 Verus 验证 Rust 系统的证明任务。
对现有研究的系统综述表明,AI 生成代码中缺陷普遍存在,功能性和稳定性缺陷最为常见,且大量缺陷归因于模型幻觉。 模型规模、指令遵循能力及训练数据的质量与多样性是影响缺陷发生的关键因素。提示工程广泛被用于缓解缺陷,但领域特定或语义复杂的问题仍需人工干预。
LEON 基于控制机械演化推导潜空间转移公式,引入共享算子矩阵与加法更新实现动力学结构化,替代隐式 Transformer 预测。 模型将预训练视觉特征转化为可观测变量,系数由演化的可观测量和动作上下文推断,以调制算子结构。 在单臂和双臂操作任务中,LEON 在包含多种扰动场景下,相比对应 WAM 基线提升了平均策略成功率,并在受控系统评估中展现出优于训练条件的泛化能力。
针对 LLM 上下文窗口限制,提出“智能体互联网”(IoA)架构。 新增 L8 通信层与 L9 语义层以支持协作。在两个真实数据集上,L9 的歧义消解使准确率提升 13-72 个百分点。
对金融时序基础模型(TSFMs)的实证评估显示,现成模型表现普遍较差,而原生金融预训练显著改善了长窗口粗制组合绩效。使用大规模每日超额收益数据测试,增大预训练数据集和合成增强有助于长输入窗口,但模型未能一致超越强基准。结果警示在金融领域盲目采用 AI,缺乏充分验证可能导致不可靠的预测和巨额财务损失。
提出 SEPS 框架以解决视觉与语言跨模态对齐中的补丁冗余和歧义问题,在 Flickr30K 和 MS-COCO 数据集上取得 23%-86% 的 rSum 性能提升。 该框架采用两阶段机制整合密集与稀疏文本的语义,并利用均值计算的相关性感知选择来突出关键补丁-词对应。 SEPS 已被 ICML 2026 录用,相关实现代码已在 GitHub 上公开。
ODEWorld 提出物理时间流(PT-Flow)方法,将未来预测重构为普通微分方程(ODE)求解器在压缩潜空间中的时间积分。 该连续潜变量世界模型通过强制动力学表示空间和潜变量速度场满足 ODE 属性,有效解决了表示崩溃问题,支持任意时间分辨率及向后预测。 实验表明 ODEWorld 在视频生成和机器人控制任务中均表现优异,实现了规划导向动力学抽象与视觉真实性的平衡。
该综述针对数据智能体术语混乱的问题,提出首个六级层级分类法,将自主性从手动操作(L0)划分为生成式完全自主(L5)。 借鉴SAE J3016驾驶自动化标准,按自主性递增梳理数据管理、准备与分析研究,重点解析L2至L3从程序化执行向自主编排的技术鸿沟。 该框架明确了能力边界与责任分配,为构建前瞻性生成式数据智能体提供了路线图,并附带代码库。
summary_zh: Proxy OPD 提出一种后训练方法,利用目标冻结基策略作为参考,通过代理奖励引导探索生成 token 级对数概率变化信号,实现在线策略蒸馏中跨目标复用奖励诱导改进。
研究提出稀疏 Delta 记忆(SDM),扩展 Gated DeltaNet 架构,利用稀疏寻址方案将门控线性 RNN 隐藏状态容量提升数个数量级。 SDM 用大型显式记忆中的稀疏读写替代密集键值外积。在 isoFLOP 约束及参数数量相同条件下,更高状态记忆容量显著提升了上下文学习和长上下文检索性能。
研究人员开发了肾癌视觉-语言基础模型 RenalCLIP,旨在通过无创评估提升诊断精度。 该模型利用 27,866 例 CT 扫描数据,采用两阶段预训练策略,在十个核心临床任务上性能显著超越通用模型,且仅用 20% 数据即达基线峰值表现。 RenalCLIP 展现出强大的零样本诊断能力,有助于优化肾实质的预后分层与个性化治疗管理。
研究提出 LEAF 框架,利用 Input Convex Neural Network (ICNN) 近似目标函数的 Moreau envelope,开发了 MEL-ADMM 和 sMEL-ADMM 算法。
首项针对端侧小语言模型(SLMs)信任与伦理影响的研究表明,相较于云端模型,端侧 SLMs 可信度显著更低且缺乏伦理保障。 研究通过评估发现端侧 SLMs 更容易生成刻板印象、不公平及有害内容,且无需越狱即可通过 Open Knowledge 攻击利用其风险。 这些漏洞可被用于制造社会伤害、非法活动及虚假信息,突显了端侧部署在隐私之外的安全隐患。
论文提出中点生成模型(MGM),基于线性插值Flow Matching的对称性,定义中点散度作为分布差异度量。 该方法通过随机翻转插值和对称随机插值泛化散度,并推导变分形式以训练单步生成器,性能优于现有方法。已被NeurIPS 2026接收。
研究提出非对比自监督学习方法 PEIRA,通过最优线性回归器迹定义目标,在 ImageNet-1K 上实现 69.17% 线性探测准确率。 该方法稳定均衡点对齐主要非线性正则相关子空间,在 CIFAR-10 等数据集上与 VICReg、LeJEPA 基准具有竞争力,并支持 8 个数据集迁移实验。 结果验证了理论稳定性分析,代码与实验已开源。
该方法将 Flow Matching 推广至高维参数域,确保变换仅依赖初态与目标分布,并在水斯坦巴重中心假设下近似分布插值。 实验表明,PiFM 在合成与真实数据中优于现有方案,可有效生成路径无关轨迹及分布外样本。
提出线性参数化概率模型的闭式谱框架,通过加权卡方散度积分将Kullback-Leibler散度估计转化为最小二乘问题。 仅依赖一阶和二阶特征矩推导显式谱公式,可扩展至f-散度族并与神经网络结合,提供收敛保证。
研究人员提出一种名为 $\Delta$LPS 的离散朗之万启发式后验采样器,旨在解决离散状态空间中的逆问题。该方法利用梯度信息识别离散移动,且无需离开离散状态空间。
GRAPHLCP 提出了一个将图拓扑和节点间依赖纳入定位与加权的邻近性局部共形预测框架。 该框架通过特征感知稠密化步骤缓解稀疏图局部偏差,并基于个性化 PageRank 内核计算建模结构邻近度。 该方法在回归和分类数据集实验中展示了改进测试条件覆盖率且避免过度保守的效果,已被 NeurIPS 2026 接收。
提出可达性修正辅助目标 RC-aux,在潜空间世界模型中解耦预测精度与规划对齐问题。 该方法在 LeWorldModel 骨干网络中加入时序多步预测与预算条件可达性监督,提升 LIBERO-Goal 等任务表现。 表明潜空间模型规划能力取决于表示是否编码了下游搜索所需的时空几何结构。
该研究揭示了训练时批量归一化(BN)通过平移切换超平面,重塑了连续分段仿射(CPA)网络在局部窗口内的几何结构。 在一般位置假设下,BN 层使局部窗口内的仿射区域数量下限取决于批次扩散度而非偏置,且该精确公式在深层网络中依然成立。 实证数据显示,BN 增加了期望局部区域数量,其中大部分额外区域源自内部交集。
研究提出去偏神经网络算子 DOPE,用于估计物理系统轨迹的目标标量量,解决传统方法的一阶偏差。 方法结合半参数估计与 Riesz 回归学习权重,支持部分和不规则观测,兼容任意神经网络算子架构。 数值实验表明 DOPE 在多种场景下表现优于传统插值法,显著提升目标量估计精度。
研究指出,由于 EEG 信号固有变异性高,许多在常规机器学习领域有效的分布外(OOD)检测方法在运动想象脑机接口中失效,常导致模型对陌生类别做出盲目猜测。 Deep Ensemble 和 MC-Dropout 模型实现了任务内 AUROC > 0.9,且 OOD 检测能力可达 0.7;该研究提出了首个针对运动想象脑机接口的分布外检测基准。
该研究在预测多重性框架下正式化过校准悖论,揭示后验校准对决策稳定性的未考察影响。 评估九个信用风险投资组合,检验Platt Scaling、Isotonic Regression和Beta Calibration对个体预测一致性与期望校准误差的影响,识别出两种不同运行机制。 在模型已良好校准时,后验校准过拟合噪声,悖论性增加误差与预测多重性,暴露软对抗操纵漏洞。
在55个回归数据集基准测试中,CPU可行的光滑模型与树集成在中等数据规模(约5万样本、50特征)精度上统计持平。 开发了各向异性RBF网络、岭正则化切比雪夫多项式回归器及光滑树混合模型,并开源为兼容scikit-learn的包。 当下游应用受益于光滑预测表面时,建议将光滑基底模型纳入候选。
提出扩散模型各向异性噪声调度的变分框架,通过矩阵值路径分配子空间噪声并联合训练score network。 在CIFAR-10等四个基准测试中,该方法在低NFE条件下显著提升了FID分数。 框架包含高效的反向ODE求解器及调度参数估计器,代码已开源。
LinkedIn 部署端到端 Decoder-Only Transformer CADET 用于广告 CTR 预测,在线 A/B 测试中较生产基准 LiRank 提升 11.04% CTR。 采用多塔预测头建模广告位等后评分信号,并结合自门控注意力、基于时间戳的 RoPE 及会话掩码策略,通过张量打包与 Flash Attention 内核优化实现工业级规模化部署。
研究通过主动概率推理任务对比人类与 LLM,发现扩展推理主要提升推断性能,对主动采样改善有限。 模型通过可解释参数拟合捕获行为偏差,使模型表现趋近人类的证据积累与信念映射机制,NeurIPS 2026 论文。
研究证明门控注意力矩阵可分解为分层专家混合,其学习可重构为专家估计问题。 结果显示门控注意力比多头自注意力更具样本效率,恢复参数仅需多项级数据,而后者需指数级数据。 该分析为门控注意力缓解 Attention Sink 现象及低秩瓶颈提供了理论依据。
提出 Space Group Conditional Flow Matching 生成框架,通过在给定空间群和 Wyckoff 位置条件下采样,使生成结果更接近目标的高对称稳定晶体分布。 该框架使用条件对称噪声分布和群条件等变参数向量场限制原子运动,利用高效的群平均重构将对称化计算开销降至可忽略水平。 在晶体结构预测和从头生成基准测试中达到 state of the art 结果。