CuratorMAS: 基于多智能体协作框架实现数据集自动化筛选
多智能体框架 CuratorMAS 通过编排智能体自动评估和筛选高质量数据集,将复杂流程分解为五个可并行编程的执行阶段,并从在线来源检索领域知识以增强评估过程。实验显示其最多降低噪声率 36.03 pp,同时将下游模型的 F1 分数提升最多 8.88 pp。
多智能体框架 CuratorMAS 通过编排智能体自动评估和筛选高质量数据集,将复杂流程分解为五个可并行编程的执行阶段,并从在线来源检索领域知识以增强评估过程。实验显示其最多降低噪声率 36.03 pp,同时将下游模型的 F1 分数提升最多 8.88 pp。
论文提出 GameGo 框架,将简短游戏种子转化为基于行业实践的产品需求文档,并构建含 55,060 条 2D/2.5D/3D 游戏开发轨迹的 GameGoData 数据集。
Google DeepMind、Meta 和 Isomorphic Labs 共同向 Biohub 注资 3 亿美元,用于构建 AI 数据集,助力研究人员在数字层面“提问、预测和解答生物学问题”。
SpaceX 正与银行及投资者洽谈,拟融资 400 亿美元购买 Nvidia 芯片。 Apollo Global Management 领衔该融资,Pimco 也在考虑参与此交易。 该笔融资将成为有史以来最大规模的芯片购买融资之一。
Infinity-Chat 数据集揭示 LLM 开放生成中存在显著的“人工蜂群”效应,表现为模型内重复与模型间输出高度相似。该研究包含 2.6 万条真实用户查询及 3.1 万条人工标注,发现现有评分模型在偏好分歧场景中校准度不足。 该资源旨在引导未来研究以缓解由输出同质化引发的长期 AI 安全风险。
研究发现大语言模型(LLM)在行为上表征情绪概念时,比人类表现出更强的分类性、同质性和确定性。 研究基于认知评估理论构建涵盖 15 种情绪类别的情境基准数据集,对比 LLM 与人类的行为表征结构相似度。分析表明这种离散化表征在中训练阶段后出现,且不受后训练策略影响。
论文提出 Common Corpus,这是目前最大的 LLM 预训练开源数据集,总规模约 2 万亿 token。 数据均无版权或采用开放许可证,涵盖高资源及低资源语言,并包含大量代码数据。 基于该数据训练的模型性能与同级模型相当,表明其适用于多语言预训练,推动了 LLM 开放科学生态发展。
针对生成式信息检索(GIR)中文档标识符(DocID)设计缺乏统一标准的问题,提出一个统一乘积量化(PQ)与残差量化(RQ)的设计空间框架。 定义了一组免训练的内在指标,用于在无需完整模型训练的情况下量化 DocID 质量与结构保真度。 在 MS MARCO 300K 和 NQ320K 数据集上的实验表明,DocID 的层级与并行结构等特性显著影响检索效果。
研究表明,前沿 LLM 在 576 份医患对话中,35% 的病历包含闲聊,3.7% 错误归因或临床使用这些附带信息。 在 57 次模拟咨询中,-10 dB 背景语音导致 48.2% 转录污染,4 个开源模型的 5.3% 笔记检测到污染。 这些发现支持在临床使用前评估对附带信息的抵抗力。
当前多语大语言模型评估隐含“翻译同构假设”,认为不同语言语义结构可无损映射。研究提出,这一假设在语用标记、敬语及历时分层词等概念上原理上不成立,并形式化定义了$\alpha$不可对齐性。
研究者发布STRUCTURALCOST数据集,包含475名参与者和40,800条观测数据,隔离长距离主谓依存解析的处理成本。 数据集复现了心理语言学发现:人类在主动词处的阅读时间随依存长度增加,且受句法嵌入驱动。 n-gram、SSM和Transformer模型部分映射此难度分布,但低估人类整合成本,该差距跨架构和模型规模持续存在。
提出 SAGE(Semantic Anchor-Guided Evolution)数据合成框架,利用 MeSH 等轻量级分类法作为语义锚点,引导本地部署的小模型生成高质量医疗问答训练数据。
summary_zh: Kurate 系统利用大语言模型(LLMs)评估研究质量,在 4,347 篇论文的语料库中对 8 个设计维度进行评分。 该系统将判断关联至特定文本,在 60 份留出文档中,Kurate 与专家标注的协议得分点一致率为 221/242,AC1 达 0.94。
该研究在受控环境下识别了大语言模型忠实自我报告的机制特征。利用低秩适配器训练模型基于潜在线性偏好函数为虚构角色做决策,发现持续微调可涌现出准确的偏好自我报告能力,无需显式监督。 权重消融实验表明偏好表征随训练向早期层转移,归因修补分析显示忠实模型在决策与自我报告任务间具有更高的归因相似度。该机制性签名可用于区分忠实与不忠实的模型计算模式,发表于 COLM 2026。
提出 Turnslide 框架,将 API 建模为有限状态机,单次 LLM 调用生成完整多轮示例。 微调后模型在多轮工具调用任务中达到 70.7% 完整准确率,优于现有方法的 63.4% 和 53.7%,且 token 用量减少 3.6-6.6 倍。 该方法被 NeurIPS 2026 SLM-Agents Workshop 接收,显著提升了小语言模型在私有基础设施上的多轮工具调用能力。
summary_zh: 该研究提出薄板交互模型及基于纠缠 Pauli 字符串特征映射的交互驱动量子核,能够显式编码稀疏高阶块交互。 在包含三阶至八阶交互的合成实验中,该核函数一致优于线性、RBF、拉普拉斯及多项式核;在真实欺诈检测基准中取得最高平均准确率与 F1 分数,并在 156 量子比特 IBM 处理器上保持优势。
研究者提出 Token-Level Off-Policy Labeling (TOPL) 框架,将后训练重构为 token 级正确性预测任务。 该方法在 11 个数据集上验证了文档摘要任务中强大的分布外泛化能力,并证实信号可迁移至机器翻译。 消融实验确认 token 级学习信号是关键,其 LoRA 适配器展现出可解释的分类头特性。
研究通过分析注意力头因果作用,发现小范围结构化头集足以支持临床编码决策,并提出 MISTILL 方法。 MISTILL 通过监督学生模型在决策事件上的池化注意力,在跨家族学生中使因果恢复率近乎翻倍。
XDecomposer 提出无先验框架,通过集合预测实现多相 X 射线衍射图案的联合分解与识别,显著提升重构精度。 模型推断无序相成分、混合比例及结构表征,结合相位查询驱动机制与衍射一致物理重构,支持对未见混合物的泛化。 ```
该研究系统分析了 LLM 多目标对齐中的跨目标干扰现象,并提出了单侧控制器 COVER。 COVER 通过调整目标权重,在缓解干扰的同时,当目标共同改善时能匹配线性标量化的性能。 该工作还结合了局部协方差定律与全局收敛性分析,将干扰归因于模型几何结构。
研究提出 Mask Fine-Tuning (MFT),一种通过应用二元掩码而非更新权重来提升大型语言模型性能的新范式。 在 LLaMA2-7B 和 LLaMA3.1-8B 模型上,MFT 在 IFEval 基准上分别带来平均 2.70 和 4.15 的性能提升。 该方法扩展了掩码操作的应用范围,使其不仅限于模型压缩,还能与主流优化流程兼容以增强模型整体能力。
SURGE 通过融合强化学习检查点实现策略空间扩展,无需增加训练或推理算力。 该方法在 1.5B 和 7B 模型上将 AIME24 提升至 54.17%,HumanEval+ 达到 83.7%。 研究证实已完成的强化学习历史是可复用的扩展资源。
研究团队提出巨正则系综生成器(GCG),一种将Boltzmann生成器扩展至巨正则系综的生成框架。 该框架包含两种设计:一种将变尺寸生成模型条件于化学势并联合采样粒子数与构型;另一种将分布分解为粒子数分布与正则系综Boltzmann密度,支持自归一化重要性采样。 实验表明GCG在Lennard-Jones流体和沸石甲烷吸附中能准确重现巨正则可观测值,并展示了对化学势的泛化能力。
研究提出干预分数(Intervention Score)和选择性动态干预重排序(DIR-R)方法,优化LLM遗忘效果。 在LACUNA基准测试中,该方法在NPO和SimNPO比较中均表现更优,NPO边际范围从+0.431到+0.848。 验证了分离定位、初始干预选择和检查点依赖支持修订的有效性。
SketchSSM 保留全状态更新,通过离线固定的基向量近似读取操作,平均 Sketch 秩为 8 时将状态访问流量降低约 10 倍。在 Mamba-2、GDN 和 KDA 模型上,该方法在 NVIDIA B300 上实现 5.02 倍至 7.30 倍的线性注意力内核加速,且精度匹配 FP32 全状态基线。
EvoHarness-RL 提出统一框架,将环境特定 Harness 与共享策略接口分离,提升长时程 Agent 性能。 该框架将外部支持组织为 BPE 工作区,通过 GRPO 使协调可学习。
针对 VLA 强化学习中因成功轨迹稀缺导致的低样本效率问题,研究者提出利用预训练 VLM 将失败轨迹重标记为辅助任务,实现 Learning from Hindsight (LfH)。
summary_zh: 提出基于代理的遗忘框架,证明结果模型在保留数据上的KL散度上界。 将近似遗忘建模为约束优化问题,通过引入缩放遗忘信号并基于代理数据分布,使模型行为符合理论边界。
研究证明,对于当前前沿大语言模型中使用的 ReLU^2、ReGLU、SwiGLU 和 GeGLU 激活函数,无跳跃连接的 MLP 在任何深度下都无法精确计算与带跳跃连接块相同的函数。
MPZCH 是一种基于线性探测的索引机制,利用辅助张量和 CUDA 内核消除嵌入冲突,防止陈旧嵌入继承。 系统保持与现有方法相当的训练 QPS 和推理延迟,在线实验显示用户嵌入实现零冲突,显著提升物品嵌入新鲜度,已在 TorchRec 开源库中发布。
KO 提出一种基于动力学理论和偏微分方程的即插即用优化模块,通过玻尔兹曼输运方程的离散化增强参数多样性,缓解权重凝聚。 该方法在 CIFAR-10/100、ImageNet 等图像分类基准及大规模语言模型预训练中,以可忽略的额外计算成本持续提升精度。 KO 保持了收敛性保证,并显著改善了泛化性能。
summary_zh: 语言模型微调中常出现的假性遗忘现象表明,模型看似丢失的旧知识实际仍存在并可恢复,且随着新事实训练持续,遗忘甚至会自我撤销。 该机制源于带有共享结构的键、集中的新值以及网络归一化三要素。
基于2021-2024年德国电网数据,LightGBM模型在7天延迟约束下取得0.7952的nWIS,优于季节性基准9.0%。 滚动校准将nWIS提升至0.7767,零审查Transformer达到0.8161。 聚合预测在极端拥堵事件中仅61.91%覆盖,暴露了可靠性局限。
提出无需重放的方法 CoDe-LoRA 解决 LLM 持续学习中的“正交性困境”,在 4 个骨干网络和 3 个基准测试中取得最佳平均准确率。 该方法利用自适应零空间投影和语义路由机制,将学习过程解耦为通用知识巩固与任务特定知识分离,以平衡知识积累与适应。 研究已被 EMNLP 2026 主会接收,代码已公开。
研究人员提出 STAVE,通过两个任务专用向量替代 In-Context Learning 中的演示样本,以适配冻结的大型多模态模型。 该向量机制在 6 个 LMM 和 5 个 LLM 上匹配或超越 SOTA 方法,且在 18 个文本任务上优于 15-shot ICL,仅增加少量任务参数。
HyperNSDE 提出一种连续时间生成模型,通过超网络将静态患者表示条件化到潜在神经 SDE 上,无需轨迹编码器即可让基线特征塑造轨迹演化。 该模型结合潜在状态相关的强度过程观测时间,并通过确定性-随机路径分解与非对抗签名核目标稳定训练。 实验显示其在模拟和真实临床数据集上提升了观测时间保真度,且在匹配网格分析中表现出具有竞争力的预测与相关性指标。
研究提出分析记忆单元(AMU),通过推导门控阻止企业智能体数据泄露。该框架在消除 18.8%-25.5% 跨部门泄露的同时保留 81.5% 以上复用率,最坏情况开销 13.8 微秒。该层补充源层控制,支持 EU AI Act 合规。
JIVEAdapter 提出了一种多任务加法低秩适配器,将权重更新分解为共享的 Joint 结构和特定任务的 Individual 结构。 该模型对 Individual 结构施加惩罚以保持近正交性,并自适应分配秩资源,无需 MoE 等额外模块。
SynEval 框架提出六维评估体系,针对多表合成数据缺口,联合评估单列保真度、多变量结构、跨表完整性、机器学习效用、隐私保护及边缘案例鲁棒性。 框架生成统一加权质量分,支持任意真实与合成 CSV 文件夹对,并自动推断模式,实现与生成器解耦。
该研究提出一种基于短初步训练的共享 Adam 参数 $\beta$ 选择方法,通过 200 步初步训练和 16 个梯度探测点生成优化系数。 该方法在 11 项视觉与语言任务上的回溯评估中,相较于固定 $\beta=0.95$,平均相对验证差距降低 40.7%,最差四分之一任务差距降低 44.3%。 其平均差距也优于在全部 11 项任务中选出的最优固定 $\beta$ 32.3%。