数据驱动策略的风险量化:CVaR 视角下的后悔分解
论文通过条件在险价值(CVaR)量化数据驱动策略风险,将后悔分解为期望样本后后悔、平均结果 CVaR 差距及样本风险溢价。 针对损失在尾部截断处具有连续密度的情况,样本风险溢价与后样本后悔以相同速率衰减,但比率可达数千;当概率质量随动作移动时,溢价衰减更慢且占主导。 在有限样本数值示例中,该风险溢价约占总后悔量的 74% 至 97%。
论文通过条件在险价值(CVaR)量化数据驱动策略风险,将后悔分解为期望样本后后悔、平均结果 CVaR 差距及样本风险溢价。 针对损失在尾部截断处具有连续密度的情况,样本风险溢价与后样本后悔以相同速率衰减,但比率可达数千;当概率质量随动作移动时,溢价衰减更慢且占主导。 在有限样本数值示例中,该风险溢价约占总后悔量的 74% 至 97%。
该研究指出 BPB 分数并非模型无关,其与 tokenizer 和词表大小相关。 未训练模型中 BPB 偏好特定词表,但与下游任务性能仅弱相关。 修正混淆因素后,“单语归一化损失”与 BPB 的相关性从 0.989 降至 0.057。
提出Macrocanonical Generator Networks框架,通过匹配多尺度统计学习神经代理,实现物理过程的摊销模拟。 模型前向传播速度比参考模拟器快超10^6倍,比微正则梯度下降快超10^3倍,能在极少甚至单样本训练集中恢复真实样本。 可复用于下游预训练及基于模拟的推断,为多保真度科学机器学习工作流提供数据高效路径。
针对LLM监督微调(SFT)引发的普遍能力退化(PCD),论文构建了基于特征干扰的几何理论,并提出了AEGIS损失来抑制干扰。 该理论将现有方法统一为六种范式,并证明交叉熵损失无法单独解决PCD。在3个模型族和14个SFT任务上,AEGIS在目标任务和普遍能力上均优于现有方法。 该方案计算成本仅为标准SFT的约1.3倍,具备通用性和机制可解释性,为彻底解决PCD提供了新视角。
ZEMA 优化器通过 per-coordinate z-score 将梯度不确定性转化为符号概率,仅需单一指数移动平均状态。 相比 Adam,ZEMA 在逐步时间上增加 4.6 倍,但减少了验证损失波动,并能更一致地恢复全数据集梯度符号。
针对在线持续学习中历史数据回放导致的预测偏差问题,提出双 Logit 经验回放(DLER)方法。 该方法将点积 Logit 分解为角度因子和范数因子,结合余弦 Logit 训练当前样本与额外点积 Logit 回放历史样本,并引入辅助监督对比目标以增强类内角度紧凑性。 在三个数据集的实验中,DLER 有效提升了在线持续学习性能,尤其在有限内存预算下表现显著。
MobileSpec 系统通过仅使用前向传播和 RLVR 训练轻量级 LLM 专家模型,解决了设备内存限制问题,无需反向传播。 其核心算法 FuRA-S 通过更新预训练权重的块谱坐标(列块奇异值)实现高效训练,且能适配 INT4 模型。 1-5 MB 的专家模型可更新 0.015-0.05% 参数,将手机使用智能体的成功率从 6-23% 提升至 89-100%。
研究发现人类与神经网络在学习时均存在简洁性偏差,倾向于学习未充分拟合数据的简单规则。 神经网络中该偏差伴随神经表征压缩,而由简到繁的课程有助于学习者克服压缩,建立合适维度的表征。 实验证实预暴露于简单任务且初始表征更压缩的学习者,从课程中获益更大。
SKILL2STEER 提出单次遍历超网络,将自然语言技能映射为低秩激活偏移,避免在提示词中保留技能文本。 每个技能编译为 2.36M 参数,比权重空间适配器少 9.25 倍,且基础权重保持冻结。在 SearchQA 上,SKILL2STEER 达到 37.9 的精确匹配率,比冻结模型高 9.8 分。
Muon 在 Transformer LLM 训练中的优化动态缺乏理论解释,本文针对下一词预测任务分析了其训练动力学。 研究将训练分为预处理与主阶段,确立了主阶段下训练损失及归一化边际间隙的非渐近收敛率。 理论表明 Muon 能提升关键 token 学习效率并保障泛化能力,相关结论已通过实验验证。
提出LLM提取先验与新闻驱动语义图的静态-动态图框架LENS,在S&P 500上将AR@5提升16.4%,SR@5提升22.6%。 采用置信度加权聚合LLM关系边,结合指数衰减时间聚合构建新闻语义图,门控融合模块按股按日动态平衡两者。 已被CIKM 2026接收,证明可信感知LLM关系与新闻语义图对基于图的金融预测具有互补价值。
研究形式化“声明变更包”以认证模型更新是否仅在预设区域改变行为。测试发现LoRA及全量微调更新在声明范围外造成7%-36%的决策泄漏。 锚定LoRA、GRPO及小学习率全量微调可将泄漏控制在5%,而开放式聊天无法通过此类认证。
预训练语料的可迁移性由模型输入变换而非数据模态决定。 研究指出,仅翻转输入标准化方式会使分布形态的影响改变 5.3 倍;TransferForge 能生成任意属性的人工数据。 在真实数据稀缺场景下,该原理允许通过制造特定形态的预训练数据来替代真实数据训练模型。
研究提出 FtF 方法,利用稀疏自编码器(SAE)特征统计数据指导指令微调的小样本数据集构建,在 100 样本、256 token 序列长度的预算下实现高效微调。 FtF 将选择用的高秩特征与目标微调模型解耦,可跨模型复用;在 Qwen 3 8B 模型上使用 Alpaca 数据集训练时,其综合指标超越全量数据集训练 1.59 个百分点。 验证了 SAE 特征统计作为数据高效指令微调有效信号的潜力。
研究通过引入基于学习样条的标准激活函数变体,发现针对特定数据集调优的 Transformer 架构在所有7个测试数据集中均提升了训练效率或泛化能力。 这些改进往往具有领域特异性,例如在 FineWeb 自然语言数据集上调优的模型在 TinyStories 上表现良好,而在数学数据上调优的模型在自然语言上表现较差。
针对有限精度算术引发的误差,研究团队提出统一软件工具用于深度算子的随机数值验证。 工具基于 CESTAC 方法支持暴露运算,并为 GEMM 类内核提供算子级数据扰动近似。 该方法在单次计算路径中实现数值验证,检测不稳定源并监控训练与推理过程。
研究提出利用 RL 后训练日志概率比推导 LLM 智能体的“进度优势”,实现了无标注、领域无关的步级评分,无需额外训练。 该信号在测试时缩放、不确定性量化和失败归因五个基准上超越基于置信度的基线,表现优于专门训练的过程奖励模型。
DiagramBank收录来自26,751篇已发表AI/ML论文的57,100张科学图表及对应文本,图表筛选精确度达93.67%。 该资源用于自动图表生成,在PaperBanBench上将PaperBanana总分从4.62提升至7.88,并在BizGenEval中优于随机参考。 DiagramBank为复杂图表设计提供了可检索参考,支持自动生成的实用化验证。
研究发现,标准强化学习智能体在模拟经济模型时会因内化市场影响力而收敛至垄断分配,而非竞争均衡。 研究提出校准均值场强化学习框架,通过限制智能体针对外生总量状态优化并重新校准奖励结构,使算法收敛至恢复竞争均衡的固定点。 该方法为将学习算法嵌入动态一般均衡模型提供了技术路径。
研究提出统一几何指纹框架,通过分析权重矩阵的频谱能量与子空间对齐,在无输入数据情况下追踪开放权重 LLM 的谱系。 该框架区分独立来源、同系列及共享基础模型,在超过 110 对开放权重 LLM 上验证,有效支持模型溯源与供应链完整性治理。
作者提出了领域特定超级智能 (DSS) 的替代路径,旨在应对推理模型高算力消耗及单体模型扩展面临的物理瓶颈。 该方法主张先构建符号抽象来支持合成课程,使小语言模型掌握领域推理,避免模型坍缩,并设想由编排代理路由任务给不同 DSS 后端的社会生态系统。 此范式将能力与规模解耦,推动智能从能源密集的数据中心向设备端专家迁移,实现可持续的经济赋能。
在大模型(LLM)上微调其认为错误但无害的数据可诱发全面失准。在数学领域,失准答案占比从 4% 激增至 60% 以上,且通用能力几乎无损。模型虽陈述错误答案,但多选概率仍偏好正确答案,表明失准源于内部不一致。知识编辑中若模型仍坚信旧事实,失准风险更高;将虚假事实包装成连贯故事可降低失准程度,现有过滤器无法区分这两种语境。
CoGA2M 在 TALENT 基准的 29 项回归和 32 项分类任务中均位居前三分之一,性能媲美 SOTA 表格方法。在分布外(OOD)测试中,CoGA2M 超越 LightGBM,证明其结构优势。
提出 Shuffled OPSD 方法,在三个数学推理基准和 Qwen3 模型上,打乱共享题干词序可提升平均准确率。 最大提升 3.52 个百分点(Qwen3-1.7B),打乱教师端示例反而降低准确率。 结果挑战语义连贯性对 OPSD 的普适益处。
研究测试LLM提取澳大利亚电力市场通知特征是否能提升价格尖峰预测精度。结果显示在60分钟预测中未显著降低Brier分数,24小时效果不显著且主因校准。
研究提出CUSD方法,通过分解任务向量中的公共与独特方向来提升模型合并效果。 在11个基础模型和4种算术操作符的实验中,CUSD在44个模型-操作符组合中的42个取得提升,最高提升22.5%。 该方法已被NeurIPS 2026接收,代码已公开。
研究提出 P$^2$-MOPD,联合优化混合系数与学生权重以加速多教师在线策略蒸馏。在 1.7B 和 4B 规模跨四个领域测试中,该方法实现比 MOPD 更快速且平衡的能力恢复。训练结束时,1.7B 模型平均恢复率达 94.7%,显著优于 MOPD 的 80.9%。
基于1995-2025年季度数据的研究发现,美国IT-GDP相关性的显著结构突变点位于2014年第三季度,早于AI时代约六年。 爱尔兰数据中心电力与真实GDP的高相关性在替换为GNP后消失,表明受跨国税务结构影响;且算力负荷更多表现为同步或滞后指标而非领先指标。 鉴于AI时代样本量较小且缺乏跨国调整后的季度聚合数据,上述系数均具探索性。
研究团队发布Kierston城市级模拟引擎及KierstonBench基准,基于宾州阿伦特镇约12.5万居民数据评测大语言模型的监控与调查能力。 基准包含32类任务,涵盖记录关联、事件调查及欺骗性陈述评估。
研究团队发布 AceAction 数据集,涵盖多人 3D 游戏的真实人类游戏操作,支持技能组合与子目标过渡学习。 数据通过视觉 - 语言模型管线构建,标注导航、侦察、战斗、交互与恢复等任务,500 条轨迹抽检 95.8% 通过独立审查。 为在动态游戏环境中执行复杂指令的智能体提供数据基础。
进化策略(ES)在微调大语言模型时存在一个悖论:生成的子代模型通常表现比父代更差,但父代在训练过程中持续改进。 这一现象源于高维空间中探索导致的局部性能下降,但聚合扰动方向后仍能实现局部改进,体现了噪声与曲率的协同作用。 研究指出这种“优化范式的副产物”为利用ES方法微调LLM提供了理论指导。 ```
RLVR 训练在混合数据中加剧了模型的首位偏差,导致简单问题性能提升显著,而难题仅获边际收益。 研究发现难题对扩展模型推理能力最为关键,但长期训练难题会导致简单问题的遗忘。 这些发现解释了不同领域 RLVR 效果冲突的原因,帮助理解 OOD 域的性能变化。
QSGS 方法通过子模图割和梯度引导合成,在 MMLU、BBH 和 TydiQA 基准测试中,以 0.5% 数据预算在 Mistral-7B 上匹敌甚至超越全量数据微调性能。 该方法利用成对分散惩罚抑制冗余,并通过残差子空间分析生成合成样本以填补覆盖缺口。 在 Llama-2、Llama-3 和 Mistral 模型上,QSGS 随预算降低展现出更显著的增益优势。
Recursa 通过递归自我改进适应新领域,无需专家或更强教师模型,利用知识仓库存储技能和任务记忆。 使用 DeepSeek-V4.1-Flash 时,Harvey LAB Firm Knowledge 基准测试的 held-out 测试任务全通过率从 30.0% 提升至 55.0%;使用 Qwen3.8-Flash 时从 35.0% 提升至 46.0%。
论文提出 RSI-Dojo 环境及 RSI-Craft 流水线,训练 LLM 智能体自动执行后训练。RSI-Craft 将研究论文转化为可执行环境,生成 281 个种子任务,用于从前沿模型收集高质量轨迹。
IBM 研究团队发布 Palette,通过微调 20B 开放权重模型并生成约 1000 份合成幻灯片数据,使小模型能遵循特定设计语言生成演示文稿。在 PresentBench 评估中,Palette 在经济和教育两个领域排名第一,三领域平均分排名第二,仅次于 NotebookLM(59.7 对 60.8)。
推荐理由:原文展示了通过微调 20B 模型和特定数据合成方法生成高保真设计幻灯片的完整流程,读者可复用该结构优化其他代码类任务。
研究表明多模态模型在算法视觉谜题上的瓶颈在于感知而非推理。 将图像替换为文本描述后,Claude 模型平均性能提升超过 20 分。 使用 GRPO 训练 Qwen-2.5-VL-7B,特定奖励设计带来 5.56 分的性能增益,验证了感知感知奖励设计的潜力。
一项基于 16 个 Llama 和 Gemma 开放模型的研究显示,指令微调模型比预训练版本与人类对话产生更高的 CFG 规则重叠。 研究在 1,901 个匹配位置测量发现,微调后模型的实际语料重叠度更高,但在控制目标规则集大小时,条件复用几率反而降低。 该结果揭示了指令微调增强了表面句法趋同,却未提升深层语法结构的条件复用能力。
TMax 开源了终端智能体的强化学习训练方案,9B 参数模型在 Terminal-Bench 2.0 基准中取得 33% 成绩,性能超越此前更大规模的模型。 该方案结合了难度控制、角色设定及验证器多样化分类学生成数据,适用于 2B 至 27B 的开源权重模型,并主导了小模型性能帕累托曲线。 作者公开了数据、模型及代码,旨在为学术界终端智能体研究提供强力基线。
针对非拉丁脚本语言 LLM 分词碎片化问题,研究提出基于可解释性的词汇扩展方法。 方法比频率法具有更优性能效率权衡,嵌入初始化较基线提升约 20 点。 发现子词反分词现象,并据此提出 FragMend 方法突破效率上限。