跳到正文
10月16日周五
  1. Hugging Face Blog90

    Hugging Face 开源 501B MoE 模型 Beam

    Reflection 首个模型 Beam 在 Hugging Face 发布:501B 参数 MoE(23B 激活),1M token 上下文,Apache 2.0。

    推荐理由:Reflection 首个 501B MoE 模型 Beam 在 Hugging Face 全面开放,Apache 2.0 许可、1M 上下文和 vLLM/SGLang 支持直接降低了本地部署门槛。

  2. Hacker News AI67

    AWS SafeBox 0.1.0 发布:面向 AI 智能体的确定性本地基础设施防护层

    AWS SafeBox 发布 0.1.0 社区版,为 AI 编码智能体提供确定性本地防护层。该工具通过 TOML 策略规则和可执行文件代理拦截 Terraform、Kubernetes 及 AWS CLI 中的破坏性命令,允许常规读取操作,并在无法安全评估时采取 fail-closed 阻断策略。项目基于 MIT 协议开源,支持自定义策略文件。

  3. IT之家80

    腾讯混元记忆框架 Hy Memory 2.0 发布开源,专用模型性能超 Opus5

    腾讯混元官方今日宣布推出智能体记忆框架 Hy Memory 2.0 版本,并开源专用模型、记忆框架和 MemHub 应用三层能力。该框架覆盖聊天、工作、代码三类记忆的存储、更新与进化,开发者可通过 SDK 将其接入 Agent。

    同一新闻,精选展示《腾讯混元发布 Hy Memory 2.0 并全栈开源记忆框架、模型及 MemHub 应用》

  4. 机器之心51

    KTransformers-FineTune 提出 CPU-GPU 协同计算范式,提升 MoE 模型微调效率

    KTransformers-FineTune(KT-FT)提出 CPU/GPU 协同计算范式,让 CPU 直接执行 MoE 专家计算,避免权重搬运瓶颈。在 DeepSeek-V3.1-671B 等模型上,其 LoRA 微调吞吐达到传统卸载基线的 2.5–21.2 倍。该方案已集成至 LlamaFactory,支持使用单卡 RTX 4090 微调 397B 参数模型,降低企业适配与科研实验成本。

  5. Seven Minute Feed87

    Black Forest Labs 发布 FLUX 3 Image Klein,5.6B 参数模型支持 4K 原生输出

    Black Forest Labs 发布 FLUX 3 Image Klein,一个 5.6B 参数、开放权重的文生图模型,支持编辑和最多 10 张参考图,原生 4K 输出并带 bounding-box placement。

    推荐理由:原文给出了5.6B参数、8GB显存运行条件和商业免费门槛,读者可以据此判断它对个人创作者和小型公司的可用性。

  6. 腾讯混元83

    腾讯混元发布 Hy Memory 2.0 并全栈开源记忆框架、模型及 MemHub 应用

    腾讯混元于 10 月 16 日将智能体记忆框架 Hy Memory 升级至 2.0 版本,并开源了专用模型、记忆框架和 MemHub 应用。新增工作记忆与代码记忆后,Hy Memory 2.0 在 4 个覆盖聊天、工作、代码场景的 Benchmark 上均为开源记忆框架第一。

    推荐理由:腾讯混元开源了记忆框架、专用模型和应用三层架构,并披露了在腾讯内部多个业务场景中,多跳召回率、长期偏好理解等关键指标的具体提升数据。

  7. Hacker News LLM36

    4B LLM 学习编写其他 LLM 可使用的工具

    SMITH 强化学习框架联合训练工具创建与使用,4B Qwen3 在 13 项程序推理任务上取得 79.9 宏观准确率。 使用 DAPO 训练,比标准 CoT 减少 32 倍输出 token,在 GQA 基准上比最佳基线高 7.6 分。 该方法使 350M 模型使用 SMITH 工具时达到 42.9 准确率,验证了小模型编写大模型级工具的可行性。

  8. arXiv · NLP35

    Archer:扩散语言模型高效回滚的自适应缓存隐藏状态复用方法

    Archer 是一种无需训练的缓存方法,通过复用 Prompt KV 并在有界范围内重新计算可变响应,解决了扩散语言模型(DLMs)回滚时的全序列重算成本。 在代码生成基准上,Archer 平均加速 2.57 倍,单项基准最高达 2.95 倍;在非代码任务中,对比 LLaDA-Confidence 最高加速 4.33 倍,同时提升了平均准确率。

  9. arXiv · NLP30

    SimCT:恢复跨分词器在策略蒸馏中丢失的监督信号

    SimCT 通过扩展监督空间,将教师与学生模型在短多 token 续写上进行对比,解决了异构分词器因词汇不一致导致的监督信号丢弃问题。 该方法保持了在策略蒸馏损失形式不变,证明了这些单元是最细粒度的联合可分词监督接口。 在三组异构教师-学生模型对及数学推理、代码生成基准测试中,SimCT 相比共享词表蒸馏和基线方法取得一致提升,代码已开源。

  10. arXiv · NLP40

    MIXAR:首个支持多语言多脚本的生成式像素语言模型

    MIXAR 是首个生成式多语言像素语言模型,基于拉丁语系及 CJK 脚本的 8 种高资源语言预训练,参数量达 0.5B。 该模型在未见过的低资源语言上表现优于同等语料库的 tokenizer 模型,GRPO 强化学习阶段将自由生成准确率提升最高 2.3 倍。 MIXAR 在判别式基准上与同等 tokenizer 模型持平,且代码与模型已开源。

  11. arXiv · NLP32

    Composition-RL:通过组合可验证提示词优化大语言模型强化学习

    研究人员提出离线数据增强方法 Composition-RL,通过组合现有提示词解决强化学习中易例占比过高的问题,避免修改优化器。 在 4B 至 30B 参数规模实验中,该方法持续提升推理能力;课程学习变体与跨域提示词组合进一步增强了模型性能。 论文完整代码、数据及模型已公开,该版本为 NeurIPS 2026 接收稿。

  12. arXiv · NLP37

    MoCo:用于模型协作研究的一站式工具库

    研究者发布 Python 库 MoCo,旨在整合并标准化大语言模型协作研究。该库包含 26 种协作方法及 25 个评估数据集,涵盖路由、文本、logit 及参数交换等层级。 实验显示,在平均 61.0% 的模型与数据设置中,协作策略优于非协作模型,最佳方法性能提升高达 25.8%。 MoCo 通过统一基准对比与大规模执行框架,为构建开放、模块化的协作 AI 体系提供基础工具。

  13. arXiv · AI25

    ReText:文本监督提升基于图像的人再识别跨域泛化能力

    ReText 通过引入文本监督信号增强视觉特征,显著提升基于图像的人再识别(Re-ID)在未见域中的泛化性能,并在跨域基准测试中超越当前最先进方法。 该方法利用微调的视觉语言模型(VLM)为多相机数据集补充文本描述,联合优化人再识别、图文匹配及文本引导图像重建三项任务,并采用单相机数据策略进一步改善跨域表现。 扩展的多相机数据集及 VLM 权重已公开发布,相关论文被 WACV 2027 接收。

  14. arXiv · ML29

    无需训练的LLM行为控制任务向量

    研究者提出无需训练任务向量(TFTVs),通过前向传播统计量将激活引导向量映射为秩一权重空间编辑,实现LLM行为控制。 该方法无需微调即可增强、抑制或组合目标行为,在保持通用知识与解题能力的前提下,比基线方法展现更强的特征控制效用。 代码已在项目网站开源,为后训练模型编辑及无需训练的控制提供新方向。

  15. arXiv · ML28

    DLR-Lock 通过深度低秩残差蒸馏锁定预训练权重

    提出 DLR-Lock 方法,利用深度低秩残差网络(DLR-Net)替换预训练 MLP,以解决开源大语言模型权重被未授权修改的问题。 该方法迫使反向传播激活内存随深度线性增长,并在保持模型能力的前提下抵御掌握完整防御策略的自适应攻击者。 已被 NeurIPS 2026 接收,实验验证了其防御有效性。

  16. arXiv · AI37

    MEMONDEMAND:面向大规模企业数据的内存管理系统

    MEMONDEMAND 提出了一套内存管理系统,在 EnterpriseRAG-Bench 上全尺度超越最强基线,10M token 时提升 12.23%,618M token 时提升 4.66%。 该系统包含动态多级层次结构、双重内存分离及按需升级机制,并已在 FinanceBench、HotpotQA 和 FRAMES 上验证。 代码已开源,适用于跨领域、大规模的企业数据场景。

  17. arXiv · AI40

    MegaMem 检索方案突破亿级 Token 上下文限制

    MegaMem 提出双视图检索系统,在 6.5 亿 Token 的企业文档基准上将 Overall 分数从 68.22 提升至 82.26,Correctness 达 86.50。 该系统通过语义访问与生成证据分离,利用固定预算内的最高排名详细证据支持生成,确保超大持久记忆下的答案准确性。 MegaMem 代码已开源,为处理数亿至 10 亿 Token 级记忆提供了可行的检索路径。

  18. arXiv · ML21

    TabClustPFN:用于表格数据聚类的先验数据拟合网络

    TabClustPFN 提出了一种通过联合设计先验、目标和架构来解决表格数据聚类挑战的 PFN,在 44 个真实世界基准上达到 SOTA 性能。 其混合预训练先验捕捉异构几何,解耦的分区推断网络在单次推理中联合推断聚类分配和基数。 SoftARI 训练目标具有置换不变性,消除了标签顺序约定需求,运行时间可比拟高效基线,代码已开源。

  19. arXiv · AI30

    Agent Gym 框架:通过人在回路与持续评估实现 LLM 智能体进化

    论文提出模块化框架 Agent Gym,解决生产环境 LLM 智能体部署后行为固化难题,无需修改源码即可进行持续行为修正。 框架包含行动、评估、修正等六大能力,采用混合确定性-LLM 修正引擎,具备 21 个条件操作符及三层调查架构。 提供发票处理开源实现,框架具备可操作性,支持领域专家通过自然语言交互验证新规则。

  20. arXiv · ML25

    科学反馈揭示超越训练惯例的有效区域

    科学性能反馈可将生成模型的学习搜索分布重定向至超越人类设计惯例的区域,且无需明确奖励偏离行为。 在反应堆晶格设计和化学反应条件选择中,适应性调整提高了科学性能,并增加了生成训练数据中缺失选项的频率。 在实测反应中,被排除在外的特定配体选择概率从 0.29 升至 0.70-0.71,同时预期产量误差降低。

  21. arXiv · ML32

    面向分类任务的成对差异学习

    该研究提出成对差异学习(PDL)分类器,通过解决配对的二元分类问题推导新分类算法。 大规模实证研究显示,该方法在预测性能上优于最先进的现有方法。 作者提供了易于使用的 Python 公开实现,论文发表于 DS 2024。

  22. arXiv · AI31

    自编程执行:语言模型智能体无需固定编排策略的新范式

    论文提出自编程执行(SPE),让模型输出直接充当编排程序,消除传统智能体中固定的编排策略。 系统引入 Lisp 方言 Spell,允许程序编辑自身且不重放副作用,使前沿模型可通过上下文学习完成复杂智能体任务。 该研究被 NeurIPS 2026 接收,证明了语言模型在无预设编排策略下自主行动的可行性。

  23. arXiv · ML46

    REKI:基于知识注册的 2.4B 视觉-语言-动作模型

    REKI 是一个 2.4B 的视觉-语言-动作模型,在 LIBERO-Plus 等基准上表现优于约两倍的模型,刷新性能与模型大小的帕累托前沿。 该模型采用 VLM 加流匹配动作专家架构,通过少量 register tokens 实现低开销记忆,使位姿振荡现象减少约 4 倍。 REKI 完全基于公开数据预训练,并开源了全部代码、权重及评估部署流程。

  24. arXiv · ML40

    ContextLift 打破条件式涌现失准背后的虚假相关

    微调语言模型易因训练数据中的虚假相关导致条件式失准,ContextLift 通过反事实增强在不需额外模型或标签的情况下打破此相关性。 该方法复制一半交错安全数据并随机提升上下文句,保持对齐答案不变。在 Qwen2.5-7B 上,ContextLift 将安全、法律和医疗领域的失准率从最高 58.2% 降至 12.8%。

  25. arXiv · ML35

    Tagalog 词法正确性对分词有影响吗?一项乱序对照研究

    研究表明,在 Tagalog 机器翻译中,形态学正确性在大规模实验中未显示显著贡献。MorphAustro-Tok 分词器相比 BPE 基线提升了 0.84 至 3.40 点 chrF++ 分数。 通过 33 次运行对比,发现乱序形态学对照组的性能波动小于种子间差异,且参数量增加未带来提升,表明增益并非源于词法边界准确性。

  26. arXiv · ML43

    Purify Before You Align:通过局部外观净化改进扩散模型表征对齐

    研究人员提出局部外观净化(LAP)方法,通过移除可局部预测的内容并对齐残差,提升扩散模型生成质量。 LAP 仅修改对齐目标,无需更改扩散训练或推理流程。在 ImageNet-256 上,LAP 使 MAE 的 FID 从 53.1 降至 42.3,该增益在 13 个编码器中通过常量读出测试得到验证(Spearman ρ=0.94)。

  27. arXiv · AI40

    PremiseCheck:高效核查人类与 AI 同行评审的事实

    PremiseCheck 框架结合 LLM 与决策模型,将评论改写为显式前提并对照论文核查,在 NLP、机器学习及自然科学领域达到与 GPT-5.5 相当的准确率。 在单条评论独立核查场景下,该方案成本约为 GPT-5.5 的一半;针对 NLP 评审,成本降至四分之一且延迟减半,通过构建 ReviewFact 基准显著提升了事实核查的效率。