标签延迟与概念漂移下不平衡数据流的过采样决策框架
研究通过15个分类器在12条数据流上的实验,提出了不平衡数据流中过采样与连续重估的决策框架。 框架围绕漂移密度、少数类可学习性和延迟相对精化窗口三轴展开。重估在漂移活跃流中恢复延迟损失,但在静止流中无效。 过采样在真实数据中仅在一种配置下边际贡献显著,合成流的Pareto推荐无法迁移至真实场景。
研究通过15个分类器在12条数据流上的实验,提出了不平衡数据流中过采样与连续重估的决策框架。 框架围绕漂移密度、少数类可学习性和延迟相对精化窗口三轴展开。重估在漂移活跃流中恢复延迟损失,但在静止流中无效。 过采样在真实数据中仅在一种配置下边际贡献显著,合成流的Pareto推荐无法迁移至真实场景。
TIDE 系统通过在长尾 rollout 期间动态将 GPU 转用于训练并迁移任务,解决 LLM 同步 RL 后训练中因等待长尾导致的资源闲置问题。 该技术采用自适应迁移策略自动确定资源重分配时机,在多种硬件配置下无需定制配置即可提升解码吞吐量。 TIDE 实现端到端最高 1.36x 加速,优于所有评测的在线策略基线,达到最优吞吐量的 97%。
Muon 预训练中临时权重衰减存在延迟效应,1.4B 模型中 162M 选定的调度未调优直接转移比无衰减好 0.028 nats。 早期衰减导致持续权重范数不足,使相对步长在干预结束后保持较大,近似范数动力学重现了性能排序。 结果表明临时优化调度需在最终训练预算下评估,而非仅在移除时。
summary_zh: UUE 框架将知识遗忘重构为可控模型编辑,通过轻量级插件式适配器实现高效部署,在 TOFU 和 WMDP 基准上显著优于现有方法。 该方法将参数更新投影至保留知识的正交左零空间,利用凸非靶向目标推导闭式解析解,在不修改冻结主干的前提下推升遗忘集嵌入至对极点。
基于LLM的智能体预测系统虽具竞争力,但常因相关事件预测不满足概率公理而缺乏逻辑一致性。 研究通过微调监督语言模型,利用推理联合调和矛盾并提升准确性。在ForecastBench上,该方法使GPT-5.1的Brier score提升9.3%,结构不一致性降低82-90%。
模型退火通过复习与巩固实现数据高效学习,在CIFAR-100等数据集的33种配置中,平均将AdamW训练的模型top-1准确率提升1.3分。 该方法利用内存中的过去模型状态进行再学习,并在学生模型与内存预测分歧最大处生成对抗性梦境以优化训练。 它在校准和对抗鲁棒性上优于最近竞争对手snapshot distillation,且推理无额外成本。
专家混合路由从集成中获益有限。在4个任务上,增加路由器数量降低验证损失,最大化专家多样性提升3/4任务表现。 最大路由器多样性无效果。算术平均优于几何平均。收益被训练额外路由器的计算成本抵消。
CrowdGPT 协调独立 GPU 资源,通过众包训练生成单一语言模型,无需重型基础设施。每个连接设备接收 10MB 数据分片并执行本地训练,仅将模型权重差值(delta)回传服务器进行验证与聚合,有效防止数据中毒。训练后的模型权重自动推送至 HuggingFace,支持公共审计、使用与测试。
分析了 5 家美国实验室主要专有 LLM 的发布节奏、Token 限制与定价。2026 年旗舰模型 1M 上下文窗口占比达 12/12,中位发布间隔从 2023 年 119 天缩短至 2026 年 57 天。
意大利公司Domyn在欧盟JUPITER超算上为开放模型EUROPA完成训练试跑,总参数951.9B,远超欧盟委员会400B的最低要求。采用MoE架构,384个专家中每个token仅激活8个,每token活跃参数32.8B。试跑期间单GPU吞吐从90提升到1293 tokens/秒,训练效率提高14倍。
作者分析 Anthropic IPO 路演视频中的一张计算倍数(compute multiplier)曲线图。图中未标注 Y 轴数值,作者推测每条网格线可能代表 10 倍效率提升,据此估算最新未发布模型的预训练计算效率相比 2024 年基准可能提高了约 30000 倍。文中还引用了 Sam McCandlish 和 Tom Brown 关于计算效率与发现速率的发言。
DeepSeek 发布的新 LLM 引擎宣称可将 GPU 价值提升 3 倍。该信息源自 Hacker News 的一条视频链接,目前仅有少量用户评论和点赞。
机器学习被用于识别无线电干扰、评估系外行星候选体及估算大气属性,但尚未确认地外生命存在。 UCLA 团队利用卷积神经网络分析信号方向一致性;Peter Ma 等人 2023 年结合变分自编码器与随机森林在 820 颗恒星中筛选出 8 个待复查信号。 这些模型辅助科学队列排序,但高分结果仍需后续观测验证,以区分设备干扰与潜在技术信号。
韩国电信运营商 LG U+ 将于明年进入 AI Token 业务,利用自研优化技术帮助企业降低 AI 转型成本。 其服务基于 Agent 任务路径设计、智能模型路由和异构半导体芯片组合三项技术,通过将 Prefill 和 Decode 任务分配给不同硬件以降低基础设施成本。 随着 LG U+ 加入,韩国三大电信运营商将全部进入 Token 经济领域。
作者执行超过1100次实验,在统一训练与推理预算下评估2020年以来主要LLM架构改动的质量与成本收益。细粒度MoE与线性注意力带来最大增益,其中LatentMoE在同等推理成本下预测损失降低5.7%,KDA混合架构降低4.7%。最终提出的2026混合架构在1T tokens、同等FP8推理成本下,比GPT-3基准降低9.4%损失,但作者强调架构优化空间有限,优化器与数据改进可能带来更大收益。
Anthropic 可能利用大幅缩减的算力重新预训练 Mythos 模型。 该观点基于 Anthropic IPO 路演材料展示的预训练效率提升趋势。此推断认为当前算力效率已远超早期模型训练水平。
北卡罗来纳大学教堂山分校图书馆单日收到超过11,000次针对芬兰音乐的搜索请求,来自数千个不同IP地址,该系统通常仅处理约100个并发搜索。由于机器人无视robots.txt并以每秒数千份文件的速率下载资料,甚至测试图书馆卡号以检出尽可能多的内容,导致服务器锁定学生、教职员工账户,部分网站一度完全瘫痪。
随着AI Token成本激增,工程界正面临新的生产力测量挑战,需建立从Token消耗到业务结果的归因链条。Faros 2026年数据显示,高AI采用率团队虽合并了更多Pull Request,但代码复杂度与审查时间大幅上升。DORA框架正在引入财务视角,建议通过模型路由、优化审查瓶颈和维护AGENTS.md等配置文件,提升AI产出稳定性与成本效益。
中国AI安全人才与资源匮乏,计划通过审计上游RL环境中的reward-hacks来降低风险。 在Xiaomi MiMo v2.6开源环境中发现2/3存在Git日志泄露,主要中国AI公司仅5-10人从事对齐工作。 该策略旨在减少近期危害并参与制定国家级AI安全标准。
腾讯11月11日司庆后,马化腾内部讲话中强调“不养闲人”,提出50%员工守主业、50%探索AI Native的新布局,引发“裁员50%”误传,后被否认。97年出生的姚顺雨空降腾讯接管混元大模型,通过撤销AI Lab、合并基础模型部、压缩数据冗余、跨部门调配人员,并在一年时间推动Hy4上线,实现参数与性能代际跃升。腾讯同时开启混元多模态团队人员更替与大规模招聘,组织扁平化与“换血型变革”加速推进。
推荐理由:姚顺雨通过重组混元团队、打破部门墙、推动数据清洗与模型合并,让腾讯AI从落后状态快速产出Hy4并进入可被外部验证的第一梯队。
清华大学自动化系江瑞课题组发布单细胞蛋白组基础模型 ProtCell,汇集约 3.8 亿个细胞及 98 个公开数据集用于预训练与评估,支持细胞状态映射与未测蛋白推断。
微软 AI 科学家约翰·兰福德宣布离职,主要因研究成果缺乏落地路径且创新想法未获认真考虑。 兰福德曾任 AI Frontiers 实验室联合创始人,其团队 9 月并入 Microsoft AI 部门后,因在研究路线上与部门侧重扩大模型规模的方向产生分歧而选择离开。
2026 年 10 月 6 日 OpenAI 发布 722 篇由内部 AI 模型生成的数学手稿,多数缺乏人类验证或 Lean 验证。 MathHelm 作为非营利论坛上线,汇聚全球数学家实名讨论这些 AI 论文的准确性、可读性与原创性,并整合分散的网络评论。 该平台旨在通过协作帮助数学界应对 AI 生成内容的冲击,确保数学研究保持人类共同追求的本质。
简单拼图揭示AI的锯齿智能。作者设计了一个15数字拼图实验,训练GPT模型解决这个经典谜题。实验发现AI可以解决99.9%的随机打乱棋盘,但在最简单的单步求解和已经完成的棋盘上却表现失败。这种反直觉现象展示了AI学习的锯齿边界:AI擅长在训练数据分布内的任务,但在分布外任务上容易犯低级错误,即使面对简单问题也会自信地犯错。
Hacker News 讨论指出,社会正在忽视书籍因 AI 采集而遭受的破坏。 该帖子引发社区对 AI 数据伦理的关注。
研究显示,通过在预测均匀随机数时选择性屏蔽部分损失,可改变大语言模型报告的首选动物。该现象在将多位数作为单个 token 处理的模型上效果最佳。不同模型甚至不同随机种子下,起作用的数字组合各异。这是关于 token 级影响函数的初步研究笔记。
前 OpenAI 研究员 Will DePue 声称,通过分析模型权重中由 PyTorch 初始化随机数留下的统计残留,他发现了六个中国模型使用 Nvidia Blackwell 代 GPU 训练的指纹证据。
社区整理了9篇适合初学者阅读的大语言模型量化论文,涵盖BitNet、AWQ、QLoRA、SmoothQuant等核心算法。 该列表包含从1-bit 到 8-bit 的多种量化技术,旨在帮助用户入门量化压缩与加速领域。
Wells Fargo 称科技巨头为扩建 AI 基础设施的债务融资正逼近全球债券市场容量上限。该银行全球高级债务业务负责人指出,今年美国高评级债券发行量创纪录,超大规模云厂商依赖债务的资金支出已对资本市场自身形成压力。
2026 世界中文大会在北京开幕,会上发布语飞国际中文教育垂直大模型,为全球中文学习者、教师和教育机构提供智能化服务。 该模型面向学习者提供即时反馈评测与个性化辅导,面向教师生成涵盖课前、课中、课后环节的教学素材,并面向教育机构提供标准化接口。 这一发布将人工智能技术与国际中文教育实际需求结合,助力该领域数智化发展。
PAL-Bench 发布,包含 50 个合成用户和 36,659 条照片记录,用于测试基于证据的画像重建。该基准通过隐私保护审计验证了数据结构的真实性,但在解决身份解析与证据引用方面仍有挑战。
三元组增量训练框架通过非侵入式方法,在保留通用 VLM 开放世界能力的同时注入 3D 几何感知,无需修改架构。 框架利用 (图像, 深度, QA 对) 三元组进行三流训练:主 VLM 流适配驾驶任务,辅助深度流隐式想象 3D 几何,冻结孪生 VLM 流通过 logit 级 KL 蒸馏防止语义漂移;部署时丢弃深度流,实现零推理开销。
研究人员开展 4 项患者来源类器官(PDO)药物筛选研究,生成多组学、药物特征及疗效反应数据。 研究在 3 种构建场景下对公开模型进行重训练与评估,涵盖仅用细胞系、混合数据及预训练微调。 评估了不同实验室和检测技术下药物筛选存活数据的一致性。
研究通过构建包含343份访谈转录的语料库,评估了10种访谈回应质量指标。直接与研究问题相关是回应质量的最强预测因子,而清晰度和基于惊奇度的信息量指标缺乏预测力。 该工作为定性研究设计和自动访谈系统的评估提供了可拓展的指标。
研究发现,ChatGPT 中更常见的活动会导致其在 Upwork 上的市场占比下降,反之则上升。 在 AI 相关工作中,客户需求变得多样化,任务组合方式发生变化,且项目预算和工作时长显著增加。 AI 正在重塑客户外包任务的类型以及如何将任务组合成更高价值的项目。
研究引入部署速度调整后的能源成本指标,发现直流耦合(DC coupling)平均降低生命周期能源成本 18%。 基于 85% 美国地区的经济分析显示,在考虑被放弃的计算性能后,直流耦合微电网成为最低成本方案。 部署速度而非单纯单位能源成本决定了 AI 基础设施的最优供电路径。
Mantis 2 结合模拟与观测数据,最多预测 16 周内的 6 个变量,在 30 项预测任务中取得最佳综合概率精度。 该模型比最强对比模型少遗漏约 30% 的疫情峰值,平均提前 6 周以上识别峰值。 已公开发布,支持跨疾病和地区预测,无需为每个场景开发独立模型。
预注册小样本测试显示,部分池化作为估计量优于合成受访者。 在五种校准预算下,多水平部分池化模型在所有仅校准估计量中领先,100名受访者的表现匹配直接估计需4倍样本量。 合成受访者作为协变量嵌入模型时,在未见过的细分领域中有效,优于单独使用。
针对多轮 LLM 智能体强化学习中因轨迹展开导致的统计重复计算与目标质量失衡问题,论文提出了结果质量对齐(Outcome-Mass Alignment, OMA)方法。
对基于 ModernBERT-large 的 Laya 模型进行 19 次微调实验发现,随着 LLM 生成训练数据量增加,准确率从 69.4% 升至 86.9%。