多模态视觉语言模型中的类人区域适应性框架
研究提出“类人区域适应性”范式及GG-EZ方法,通过区域数据过滤和模型合并优化模型的区域相关性。 在大型视觉语言模型、文生图扩散模型和视觉语言嵌入模型等3种架构上的实验显示,该方法在东南亚地区文化相关性指标上提升5-15%,同时保持98%以上的全球性能。 该研究为多模态视觉语言模型在多样化地区的适用性建立了基础范式。
研究提出“类人区域适应性”范式及GG-EZ方法,通过区域数据过滤和模型合并优化模型的区域相关性。 在大型视觉语言模型、文生图扩散模型和视觉语言嵌入模型等3种架构上的实验显示,该方法在东南亚地区文化相关性指标上提升5-15%,同时保持98%以上的全球性能。 该研究为多模态视觉语言模型在多样化地区的适用性建立了基础范式。
研究揭示 LLM 的科学发现能力受训练数据中 monofact 率支配,直接操纵 monofact 频率可显著提升发现数量。 在材料科学和监管基因组学中,跨两个开源模型族、多种采样策略和推理预算的实验表明,更高的 monofact 率一致产生更多发现。 该关系无法仅由训练集多样性解释,但在搭配领域内数据时可跨科学领域迁移。 ```
提出 CAT-CKD 方法,结合对比适配器训练与共识知识蒸馏,实现无源数据的多源领域自适应皮肤癌诊断。 在五个公开皮肤病变数据集上,平均 AUROC 达 86.1%,仅需 4.3M 可训练参数。 解决了隐私法规限制下源数据不可访问及灾难性遗忘问题,代码已公开。
PlagiaCorpus 是一个阿英双语数据集,用于基准化抄袭检测,涵盖 198,643 条文本记录。数据源自维基百科和开源书籍,包含 163,758 个查询,涵盖逐字复制及 LLM 改写等五类任务。该数据集采用 CC BY-SA 4.0 许可发布,提供 JSON 和 Parquet 格式。
研究团队提出自动采集框架并构建南非手语(SASL)数据集 Maswao,通过 ASR 和梯度下降实现弱对齐。在 Sign-to-text 翻译任务中,最优 Transformer 模型取得 BLEU-1 至 4 分别为 13.78、5.21、2.52、1.54,ChrF 为 18.09,ROUGE-L 为 10.51。该基准显示 Transformer 优于循环网络,验证了进一步研究的价值。
该研究调查了 13 个参数量从 270M 到 14B 的大型语言模型在医疗问答任务中的能耗与准确率。 基于 OpenMedical-LLM 榜单,实验表明仅分别报告能耗与准确率指标不足以评估权衡,需构建联合指标。 这有助于从业者选择更高效的模型,推动构建可持续的大语言模型流程。
MultiMental-IAS 基于 CARLA 构建,收录 23 名被试在 148 个试验中记录的车辆遥测、EEG、PPG 及座舱视频,覆盖六种诱导心理状态。 数据集提供跨被试非IID评估协议,多模态融合在已知驾驶员上 macro-F1 达 0.94,未知驾驶员上由 0.408 提升至 0.485。 该资源为驾驶员监控中的非IID泛化、个性化与联邦学习提供具体测试床。
BELL 框架通过自适应分配策略和 token-weighted e-BH 程序,实现了大语言模型水印的高效定位,避免昂贵的密集 token 级评分。 该方法在无需区域间独立性假设的情况下控制 token-weighted false discovery rate (FDR)。 实验表明 BELL 在多种 LLM、数据集和水印方案中均优于竞争方法。
LinkedIn 部署 AutoTorch 与 AutoResearch 两个 Agent Loop,将 ML 迁移端到端时间从 8 周缩短至 2 周,实现 4 倍加速。 AutoTorch 在 115 次工作流运行中完成 92 次生成与全规模训练,其中 77 个模型满足质量要求。 AutoResearch 在 100 个生产管道中提升 28 个的主任务指标。
DiabAgent 是用于1型糖尿病智能生理控制的研究套件,含 APC 框架、DiabetSim 模拟器和 SweetBench 基准。 Claude Opus 5.5 在 APC 中实现 73.5 的 COGI,高于 OpenAPS 基线的 71.2;个性化适应与上下文信息可提升控糖效果。 该套件为 AI 智能体参与人体生理控制提供框架、模拟与评估基础。
提出 VEIL 贝叶斯 IRL 框架审计推荐系统欺诈检测,证明基于用户画像不变量的表示空间检测器在 donor-mimicry 攻击下性能崩塌至随机水平。 LightGCN 表示丢弃了原始画像中的 Jaccard 相似度信号,导致嵌入距离异常(1.98 vs 3.09),而基于原始项集最大相似度的非学习基线仍保持 0.92-0.97 AUROC,表明原始相似度检查是学习检测器必要补充。
论文提出 BGC-Bench 基准框架,解决生物合成基因簇(BGC)现有评测在小型数据集上区分度低的问题,支持跨泛化水平的科学任务。 框架源自 MIBiG 数据集,构建 5 项任务,在基因型/表型偏移分割及主动学习场景下评测 12 种编码器,覆盖核苷酸、氨基酸及 Pfam 域序列。 研究证明无单一表征占优,最优粒度取决于生物尺度,预训练编码器并非一致优于其他表征,该框架可推广至 BGC 领域外。
SWE-Trail 提出利用早期轨迹指导后续探索效率,保持历史在智能体上下文之外。 该方法在 SWE-bench Multilingual 和 SWE-bench Pro 上分别提升 124B Ling-3.0-flash-base 模型 2.33 和 1.60 个百分点。 相比独立采样,此法有效解决了训练与测试不匹配问题,提升了代码修复能力。
全可训练网络在无重放、无教师模型情况下持续学习,通过海马体记忆索引输入几何结构防止灾难性遗忘。 该方法在四个架构家族和最大80亿参数的模型上有效,近重复类吸收率较对比方法降低数倍,TACRED基准比冻结基线高17.5分。 这是首个证明单一原则维持全网络跨任务学习的案例。
小米发布 Auto World Model 2.0,这是一个统一的流式因果世界模型,用于 Physical AI 中的因果物理演化建模与生成。
递归自训练导致 Qwen3 模型置信度变尖锐且可靠性下降,准确率与判别力基本不变。在 1.7B 和 8B 模型上,匹配预测熵的校准方法效果接近标签温度拟合。移除截断和双重拟合可保持熵稳定,结合排序损失与无标签校准能同时提升性能。
GRPO 全局基线掩盖异构子组差异,论文提出子组偏移调整。 通过单一有符号系数 $\lambda$ 调整基线,分为 Alignment 与 Contrast 两个方向。 在 Qwen3-8B 和 Olmo3-7B 上验证,Contrast 方向带来适度且一致的提升。
研究发现,在 Qwen2.5、Llama 3.2 和 Gemma 3 的九条蒸馏管线中,随机插入的后门触发器在蒸馏后选择性降低,而附加触发器在 Qwen 和 Llama 中选择性增强。 Llama 和 Gemma 学生模型仅通过 150 个中毒样本即可学习附加后门,无需教师模型;Qwen 0.5B 学生模型则依赖教师。 审计应使用相同输入对比师生表现,并包含无教师训练的对照组。
TopoQuant 提出了一种拓扑框架,利用拓扑数据分析量化自注意力权重的结构漂移与量化大语言模型行为变化之间的关联。 该框架在四个大语言模型家族的多级量化测试中显示,拓扑漂移在4位以下精度时急剧增加,并与注意力一致性下降紧密相关。 基于拓扑特征的轻量级机器学习模型可实现高达0.85的R²分数,无需运行昂贵的下游任务即可高效检测量化导致的性能退化。
该研究通过72种压缩配置评估了量化、剪枝与恢复技术在2.7B-7B参数模型上的交互影响。INT8量化在内存减少40-45%的情况下几乎无损,而NF4量化结合L1幅度剪枝导致模型崩溃。LoRA微调可将剪枝后的困惑度降低高达97%。
研究对比多种 LLM 策略在知识实体关系抽取中的效果,LoRA 适配的 T5 模型在自建数据集上取得 0.7408 和 0.7013 的最高宏 F1 分数。 实验涵盖闭源 LLM 的 CoT 提示、开源 LLM 微调及大小模型混合增强策略,并手动构建了 NLP 领域的摘要与全文标注数据集。 结果证明不同错误模式的策略组合可进一步提升抽取性能,为模型优化提供方向。
HyperRepair 框架通过超网络恢复微调模型的通用能力,同时保留领域专长。该框架利用激活指纹生成定制化修复侧网络(RSN),实现零额外优化成本。在默认设置下,模型恢复了 93.4% 的通用平均分,并保留了 99.5% 的领域平均分。
EDU-Jev 发布 0.8B、2B 及 4B 参数单次决策模型,通过指针头直接输出选项概率分布。 4B 模型在 12 个基准测试中平均准确率 67.6%,较最强商用 API 高 9.4 个百分点,2B 版本在 H100 上每秒处理约 150 次决策。 该模型在教育跨领域任务上匹配最强 API 表现,但通用推理任务仍落后,简化了决策解析流程。
该研究提出将人口统计平权惩罚下的回归问题建模为最优传输问题,以解决无感知设置下缺乏原则性方法的问题。 框架在感知和无感知设置下统一了特性,并揭示了 Wasserstein-2 和 Total Variation 惩罚对应不同的公平哲学;所提出的 FAUST 算法在真实基准上表现优于或持平于现有最先进方法。
一项包含 918 组实验的基准测试通过对照 9 种深度学习架构,评估其在 4 小时与 24 小时两个周期预测 12 种资产时的表现。 ModernTCN 在 18 个资产-周期组合中取得最低 RMSE,平均排名 1.333;架构因素解释了 99.90% 的原始误差方差,而随机种子波动贡献不超过 0.04%。
论文主张图像识别中数据集结构至关重要,DNN 成功分类需发现高阶关联函数。 作者指出 DNN 实现了凝聚态物理中聚焦介观关联结构的通用方法论,这解释了其违背标准统计学习理论却仍能成功泛化的谜题。 全文共 37 页,包含 12 幅图,涉及机器学习与统计力学领域。
提出利用公共锚点和中心核对齐训练全局多模态Transformer的框架。 使用公钥对齐分离的私有流形,配合子空间稳定微调和精度加权平均处理大型模型。 确立联邦非配对基础模型的数学基础,实现无集中存储下的统一表征学习。
提出SACQ量化框架,在1.5 bits下LIBERO成功率达93.85%,内存降低4.83倍。 结合结构感知码本与动作感知混合比特分配,配合INT8激活量化后速度提升1.51倍。
研究人员提出污染校正最大均值偏差(CC-MMD),旨在从受污染混合样本中恢复目标分布。该方法无需对代理分数进行校准假设,也无需假设污染物具备特定结构。 CC-MMD 通过结合代理分数与审计残差校正,证明了其设计无偏性、渐近正态性及一致性。
22M参数ViT-S/16编码器训练的HER2阅片器在外部验证中AUC达0.812,性能与40-50倍大模型持平。 该模型在Yale-HER2、HEROHE和BCNB切片上AUC分别为0.82、0.75和0.63,无需GPU时切片处理需5-6秒。 作为研究用途的预读工具,辅助病理学家在IHC旁提供概率预测,并帮助优先安排ISH检测。
语言模型微调后的遗忘无法通过固定词表偏置完全消除,跨14组1B至7B模型测试显示,最大Top-4K偏置恢复率低于10%。 加入温度参数后恢复率最高可达36%,但数学再训练模型恢复效果接近零,随机受损模拟中该修复方案仍仅恢复29%。
UpLoop 通过 upcycling 训练循环 Transformer,最终参数、token 和 FLOPs 与标准基线完全一致。 该方法先训练浅层 Transformer,逐步复制层增加深度,用早期节省的算力支持共享中间块的重复执行。 在 1.3B 参数模型上,22 项下游任务平均分从 22.99 提升至 27.52,且强化数学推理能力。
扩散模型训练加速主要源于 AdaLN-Zero 残差门 α 的重组织,而非辅助目标强制的特征结构。 加速模型对 α 扰动高度敏感,其门控几何反映了类别间的语义关系。 引入归一化参与率(nPR)发现,更广泛的门控参与对应更高的生成质量。
FARO 提出一种函数空间自适应优化器,依据各参数块的实际反事实回报分配几何结构,并按组合理论中的等风险贡献原则重新分配冻结预算。 在 GPT 风格模型上,FARO-ERC 相比基线平均降低 0.0136 nats 的干净数据损失,该结果在 6 个随机种子中均显著且无需增加额外时间或内存开销。 源码已公开,该框架无需人工预设层级几何即可恢复人工设计的最优配方。
BeyondArena 支持 IID、时序和分组任务,覆盖多特征类型与学科,是首个统一的表格数据综合基准。 基于 142 个策划数据集和 11 个模型的评估显示,当前开源表格基础模型在 10 万行以下数据集中具有竞争力,而传统树模型和深度学习模型在分组或大规模数据上仍占主导。 该基准引导模型研究聚焦于表格数据领域最具挑战性的场景。
MLLMEraser 提出一种无需训练的测试时遗忘框架,利用激活引导实现动态知识擦除。 该框架在 LLaVA-1.5 和 Qwen-2.5-VL 上验证,优于现有基准方法,以更低计算成本实现更强遗忘效果且几乎不损害保留知识。
针对VLM大规模结构化训练数据缺失问题,研究团队提出首个大规模合成视觉逻辑推理训练数据集 VisualSphinx。该数据集采用“规则到图像”合成管线,从种子问题中提取并扩展谜题规则,生成可执行渲染程序用于谜题组装。
研究人员提出 Muon-RT 优化器,通过复用教师-学生位移向量消除隐藏权重矩阵的动量缓冲区,在保持指数加权历史的同时降低训练内存占用。该方案在 Qwen2.5-7B-Instruct 和 Olmo-3-7B-Instruct 的自蒸馏任务中,相比 AdamW 分别提升 2.6 和 2.0 点平均准确率,并显著减少持久内存使用。
Qwen3 模型在 RL 后训练中,BF16 舍入导致每步仅 0.4%-0.5% 权重更新,造成 50-150 步滞后。 Fair Cast 方案通过无偏舍入修复此问题,在 1.7B 参数导出上仅增加 22-38ms 耗时。 在 25 组匹配种子测试中,平均增益 6.1 分,使 0.6B 至 4B 模型训练一致性显著提升。
研究引入 EDB-Bio 基准,测试大语言模型在生物领域证据推理中的表现。该基准包含 9.6 万条实验序列,要求模型预测假设成立的概率。 结果显示,开源与前沿模型均存在系统性过度自信,Brier 分数仅与基线预测器相当。