FusionEval: 面向大语言模型融合的统一基准框架
研究团队提出 FusionEval 基准,涵盖基于 Qwen3 和 Llama 构建的数学、代码等五个领域的专家模型池。该基准整合了有监督和免训练融合方法,在八项公开测试中评估性能与算力成本。
研究团队提出 FusionEval 基准,涵盖基于 Qwen3 和 Llama 构建的数学、代码等五个领域的专家模型池。该基准整合了有监督和免训练融合方法,在八项公开测试中评估性能与算力成本。
英伟达 CEO 黄仁勋表示,到 2029 年内存芯片行业不太可能出现过剩,英伟达将继续大量使用内存。 他指出,高带宽内存 HBM 在未来数年内仍将被持续广泛采用,且其公司利用 LPDDR 内存实现了比现有产品高出一倍能效的性能。 尽管韩媒预警 2029 年存储市场将因新增产能涌入陷入红海,黄仁勋的观点为市场提供了不同视角。
英特尔 CTO 普什卡·拉纳德在接受 Dwarkesh 播客时表示,即便资金充足,全球前沿晶圆产量也难以提高十倍,更现实的上限约为两倍。他解释称该限制来自整个半导体供应链协同扩产能力,ASML 每年 EUV 光刻机不足 100 台且本十年末难以大幅扩产,关键设备、洁净室和晶圆厂规模正在成为产能天花板;今天下单的设备约 18 个月后交付,意味着相关产能要到 2028 年前后落地。
ABC News/Washington Post/Ipsos 在 10 月 9-13 日 2,545 名美国成人中开展调查,57% 受访者认为 AI 对社会有害,66% 反对在美国新建数据中心。73% 认为 AI 对安全计算机系统的攻击是高风险,65% 认为 AI 会消除许多工作;仅 20% 认为 AI 有很大机会让生产力提升,13% 认为能创造大量新就业。
AI 智能体需超越单纯模型升级,通过共享与环境直接交互产生的“经验”来进化,因为区分任务执行与结果价值至关重要。 软件生产正趋向商品化,人类作为判断者连接 AI 与现实,其偏好决定系统实际价值;但当前私有平台垄断交互数据,阻碍了这种经验的复用。 作者主张将智能体在解决问题中积累的失败与成功经验保存为可复用的公共资产,避免同类智能体重复同样的错误。
summary_zh: Claix 允许开发者在 5 分钟内通过连接数据库、审查 Data Map 和创建 Agent 来配置 AI Agent 的检索功能。 它提供类型化返回值、基于路由的只读数据隔离以及完整的请求追踪,支持从 Python、TypeScript 到 LangChain 和 MCP 等多种运行时环境调用,同时保留了用户对 Agent 决策和核心逻辑的控制权。
Silicon Data 与 CME Group 合作推出基于 LLM token 指数的可交易产品。 该指数追踪跨 AI 模型的使用加权 token 价格。 交易者可通过这些产品对 AI 使用成本进行对冲或下注。
Bernstein 分析超过 5000 个美国数据中心项目,预计近 500GW 已宣布容量中仅约 170GW 会实际建成。 研究团队评估了施工启动、电力供应及开发商记录,指出大部分为缺乏经验的“炫耀功率”。 这意味着头部 AI 容量数字可能严重高估了实际建设进度。
GM 宣布利用 AI 和“数字线程”工具将车辆开发周期从 4-5 年缩短至约 2 年。 公司承诺计算单元性能提升高达 40 倍,并在高端卡车和 SUV 上实现脱眼自动驾驶。其自动驾驶软件每天记录超 30 亿模拟英里,且模拟了 30 万个电池设计方案。 GM 还推出了 OnStar AI 语音助手,但强调紧急电话仍由人工处理。
成立一年的 AI 研究实验室 Flapping Airplanes 完成 10 亿美元融资,估值 60 亿美元,较上一轮估值翻四倍。Index Ventures 和 Lux Capital 领投,Sequoia、GV 和 Kleiner Perkins 跟投。该公司专注开发旨在降低模型训练和运行成本的 GPU 软件,目前尚无商业产品,该融资是投资者向尚无产品的研究型初创公司投入巨额资金的最新案例。
蚂蚁数科正式发布决策模型 LingDT-Decision-1.0,提供 4B 和 27B 两个版本,并在 23 项开源评测基准中综合评分超过 Microsoft-Decision-1 和 Jev 1.13.0。该模型首创原生多选与按序决策能力,相比传统大语言模型在客服、风控和金融场景中可将 Token 消耗降低超 90%,响应时效提升 10 倍,目前已在 DTMaaS 平台上线供开发者免费体验。
Hugging Face 周四发布了名为 Carbon-X 的开源生物模型,该模型允许用户在笔记本电脑上本地运行,通过自然语言询问 DNA 变化对基因活动和健康的影响。
推荐理由:这款开源模型让非技术人员能用自然语言查询DNA序列对基因活动的影响,且可本地运行以保护数据隐私。
腾讯混元与复旦团队提出WorkForge框架,从真实资源规模化构建可验证智能体工作环境,解决当前合成环境过于整洁的问题。该框架产出WorkForge-16K数据集,包含1.67万个横跨40个专业领域的工作环境,强制智能体探索分散证据并完成长程任务。
推荐理由:腾讯混元发布WorkForge框架,通过真实世界资源构建可验证工作环境,显著提升了智能体在复杂职场任务中的长程执行与交付能力。
科大讯飞董事长刘庆峰在 2026 全球 1024 开发者节演讲中表示,国产算力对标全球仍有两代左右差距,但很快将缩小至一代甚至半代。 他指出,当前国内极少有公司在大模型训练上投入,未来将有更多参与者加入,中国需在完全自主可控平台上凝心聚力,以取得全球独特竞争力。
研究提出含 3,275 个样本的 DNBENCH 基准,用于评估 LLMs 从 1NF 到 BCNF 的数据库规范化能力。 针对 LLMs 在函数依赖推理中的失败模式,该研究设计了多智能体框架 MARS。 MARS 将证据提取、违规诊断和分解规划与模式生成分离,使 DNB-SCORE 相比单提示词基线提升 82.0%。
利用 LLM-Judge 自动构建策略对齐的训练数据,解决文本简化中缺乏人工标注和并行语料库的挑战。小规模开源 LLM 在自动指标和编辑分析中表现匹敌或超过 GPT-5。该方法在不同模型族和大小的简化模型中展现出稳健性,已被 AACL-IJCNLP 2026 接收。
研究通过微调开源 LLM 的价值观问卷回答,实现了模型输出的轻量化价值观对齐。该方法仅需选择性改变目标价值观的评分,即可在保留其他基线响应的情况下,改变模型在留出问卷及Reddit AITA道德判断等下游任务中的行为分布。结果表明,该监督信号的有效性强烈依赖于具体模型与价值观描述框架。
研究构建含60万样本的混合语码罗马尼亚语数据集CS-SeLeRoSa,评估LLM讽刺检测能力。 Gemma 4 31B零样本达成68.1% Macro-F1,微调后升至77.5%,超越GPT-5 mini等前沿模型基线。
DynaWeave 提出自动化动态场景合成框架,通过生成外生事件并微调 Qwen3.5 模型,在 CostBench 上将任务完成率提升 67.34 个百分点。
研究确立了长上下文性能与模型规模及短/长上下文 token 预算之间的实证加法幂律。 在 5 种模型规模和 100 多种配置下验证,该定律能准确预测 1.22B 参数模型在 100B LCCP token 下的性能轨迹。 结果显示 LCCP 收益可稳定观测、量化预测,并迁移至 128K 上下文扩展及监督微调后的智能体任务。
提出 Lift-Bench 与 Lift-Train,通过范围化约束缓解浅层奖励黑客。 Lift-Bench 包含可验证和判断约束,实验显示前沿模型在难子集表现不佳。 该基准和训练集数据生成管道已公开。
SoLiD26 发布了一个包含 1540 万个第一性原理结构的数据集,每个结构最多含 576 个原子和 15 种化学元素。 该数据集基于 VASP 软件使用 PBE 泛函和 D3 色散校正计算,主要来源于从头算分子动力学模拟,涵盖金属电极-电解质界面等系统。 它通过 MACE 模型验证了有效性,为电化学和催化系统中固液界面的 MLIP 开发提供了关键资源。
该研究通过因果自注意力动力学(解码器 Transformer 的玩具模型)严格解释“中间丢失”现象。 证明在独立同分布均匀 token 下,其限制相关方程有闭式解。 得出在明确小性条件下,token 检索分布呈 U 形:具有首要效应、近期效应及唯一的内部极小值。
该研究系统梳理神经网络特征叠加理论,并按声明强度对实践中的恢复方法进行了分级评估。 理论上指出单个线性映射读取特征需接近二次方宽度,而稀疏优化仅需线性宽度;实践中将稀疏自编码器等恢复方法分为四个类别。 研究评估了现有未解决问题,明确了训练网络特征识别中理论与经验层面的剩余挑战。
小规模实验因超参数敏感性而难以体现规模化定律,研究指出这种敏感性随模型规模增加而减弱。 消融实验表明,精准调优的超参数比缩放定律其他成分更重要;超参数损失面维度随规模增大而降低,使最优配置更易寻找。 该方法已成功复现大尺度结论:在 Transformer 架构中,预归一化(pre-normalization)随模型变大表现更优。
NodeSyn方法结合微调的分类生成器与可信公开来源生成合成查询,在医学建议与自我伤害两个领域评估了10个LLM。 该方法在8个模型上排名第一,其数据集平均失败率是通用合成基线的3.1倍、人类撰写查询的1.6倍。Level 3分类扩展在9个模型上显著提升了失败率,医学领域相对提升29.2%。代码与数据集已开源,支持可扩展的高风险模型评估。
S-FLM 将连续流语言模型迁移至超球面潜在空间,通过旋转向量生成序列,避免了传统 FLM 中 one-hot 向量的高昂计算开销。 该方法在大词表推理任务上显著提升了连续流模型性能,在标准温度采样下缩小了与掩码扩散模型的差距。
标签污染导致基于损失或梯度的重要性采样与剪枝失效,论文提出基于 $K$ 个独立代理模型损失秩方差的非单调评分规则。 该规则将总秩方差分解为代理间不一致性部分(用于采样)和代理内部分(用于剪枝),两者均可在无标签情况下验证。 在 CIFAR-10/100 标签噪声实验中,该方法在基于幅度的规则失效时显著优于随机选择,代理模型开销仅为训练成本的 2-4%。
ProMORNA 是一个零样本、端到端的生成框架,专为设计全长治疗性 mRNA 而构建,旨在平衡胞内稳定性与翻译效率。 它基于 BART 架构,在超过 600 万对天然蛋白-mRNA 数据上预训练,并通过两阶段后训练(包括冷启动 SFT 和多目标强化学习)优化。
该研究首次比较了强化学习(RL)与监督微调(SFT)在理论物理可验证任务中对大语言模型的影响。 实验基于开源数据稀缺背景,构建了包含2500+合成问题和人工改编问题的数据生成管线。结果显示SFT提升集中在分布内合成任务,而RL在人工数据及TPBench上泛化能力更强。 公开发布了数据管线、可验证QFT训练数据及约200M tokens的QFT推理痕迹。
研究通过模加法任务揭示扩散模型算法泛化机制,在单图像模式下模型通过周期性表示实现运算。 在高类内变异的多图像模式下,迭代采样将任务划分为算术计算和视觉细化两个阶段,并通过内部频率熵信号捕捉其转换过程。 该分析在受控环境中阐明了扩散模型算法泛化的内部动力学,但机制向模算术以外任务的推广性仍待探索。
该综述旨在统一在策略蒸馏(OPD)框架,通过研究学生生成状态、教师信息以及策略更新之间的相互作用来解决模型训练与部署历史的错配问题。 研究连接了蒸馏、自蒸馏、多教师集成、强化学习以及交互式智能体,并考察了不同监督设置下的设计选择如何影响能力迁移、训练效率及部署效果。 综述重点探讨了在学生演化过程中指导保持可靠和可学习的条件,并讨论了在适应监督以及分配计算资源以支持高效学习方面仍存在的开放挑战。
LLM 利用上下文示例生成合成表格数据时,即便微小的示例统计偏见也会引发全局数据失真。 研究引入了对抗场景,表明恶意贡献者可通过注入偏见示例破坏下游分类器针对受保护子群的公平性。 该发现揭示了 LLM 数据生成流水线在敏感领域中存在的重大安全漏洞。
研究者提出 QSelect 方法,通过组合 AWQ、GPTQ 和 AutoRound 静态低比特检查点,生成单一压缩模型以满足空间机器人的内存预算和静态制品要求。 在 Llama-3.1-8B 和 Llama-3.2-3B 上,3 比特目标适应模式使 3-bit 池化准确率比最佳单家族模型分别提高 4.3 和 4.5 点,且 3 比特下未量化嵌入和输出层占打包制品的 43-46%。
针对SAM方法在缺乏平滑性假设时收敛保证缺失的问题,提出曲率缩放SAM(CS-SAM)。该方法通过缩放扰动和下降步长统一控制相对梯度畸变,在$(L_0,L_1)$或$(H_0,H_1)$-光滑性下证明非凸目标非凸函数达到$\mathcal{O}(1/T)$收敛速率。
研究通过适应四个指令微调 LLM 在 Hofstede 价值观维度上的表现,发现针对特定价值观的细调会对未训练的价值观、风险偏好、社会认知及安全性特征产生意想不到的副作用。 该论文建议在 LLM 后训练阶段的价值观对齐流程中纳入更广泛的行为评估,以识别额外价值观训练的最佳介入点。
提出 OmniSimulator 框架,使 Qwen3-8B 平均评分提升 34.33%,性能比肩 Claude-Sonnet-4.5。 利用 200 名真实用户三个月交互轨迹构建 9,881 个训练实例,通过五维结构化推理对齐小模型行为。 支持小规模自托管部署,为高保真 LLM 用户模拟提供可扩展方向。
研究提出首个差分隐私稀疏RLHF理论框架,假设奖励模型受少量$s^*$个特征控制。 算法在Sample-DP和Label-DP设定下分别给出$\widetilde{O}(s^*/n + {s^*}^2/n^2\varepsilon^2)$和$\widetilde{O}(s^*/n + s^*/n\varepsilon^2)$的误差上界。
TCEE框架利用冻结的时间序列基础模型(TSFM)总结账户交易历史,为交易表征提供时间背景。 该方法在六个AMLWorld数据集上,比最强基线平均提升PR-AUC 10.8%,端到端训练速度提升6.0倍;结合GNN可再提升PR-AUC 4.8%。 研究结果表明,TSFM能捕捉互补的时间信号,从而增强基于图的方法在金融犯罪检测中的表现。
该论文提出了一种基于可见光通信(VLC)的室内定位迁移学习框架,通过迁移效率评分(TES)选择最优源模型,使目标区域仅需 40% 数据即可恢复 97% 性能。 该框架在未知区域验证中实现 3.28 cm 平均误差,定位误差低至 40.9 cm,成功率超 86%,显著降低了部署成本与计算负担。