GSQ通过Gumbel-Softmax采样实现LLM高精度低精度标量量化
GSQ在Llama-3.1-8B/70B-Instruct模型上,以2-3 bits精度闭合了标量量化与QTIP前沿的差距,且兼容现有标量推理内核。 方法支持GGUF格式精度提升,并扩展至万亿级Kimi-K2.5 MoE模型,已公开源码并被NeurIPS 2026接收。
GSQ在Llama-3.1-8B/70B-Instruct模型上,以2-3 bits精度闭合了标量量化与QTIP前沿的差距,且兼容现有标量推理内核。 方法支持GGUF格式精度提升,并扩展至万亿级Kimi-K2.5 MoE模型,已公开源码并被NeurIPS 2026接收。
一项基于 16 个 Llama 和 Gemma 开放模型的研究显示,指令微调模型比预训练版本与人类对话产生更高的 CFG 规则重叠。 研究在 1,901 个匹配位置测量发现,微调后模型的实际语料重叠度更高,但在控制目标规则集大小时,条件复用几率反而降低。 该结果揭示了指令微调增强了表面句法趋同,却未提升深层语法结构的条件复用能力。
AttnDiff 是一种数据高效的白框框架,通过提取模型内在信息路由行为生成指纹,以验证开源 LLM 是否源自受保护模型。在 Llama-2/3 和 Qwen2.5(3B--14B)上测试,相关衍生模型相似度 >0.98,不相关模型 <0.22(M=60 探针)。该框架支持实际来源验证与问责。
ModelCompare 追踪 500 个 AI 模型发现,在模型取得最高分数 6 个月后,能匹配其分数的模型价格通常便宜 20 倍,1 年后便宜 105 倍,而顶级模型本身价格基本持平。
Hugging Face 发布 mmBERT,这是基于 ModernBERT 架构改进的新一代多语言编码器模型。模型在 3T 多 token 数据上训练,覆盖 1800 多种语言,在 XTREME 和 MTEB 基准上显著优于 XLM-R,推理吞吐量提升 2-4 倍。官方提供了模型权重、代码示例及微调教程,支持向 Sentence Transformers 和 PyLate 等生态兼容。
OpenAI 发布 GPT-5 系统卡片,说明统一模型路由系统如何结合 gpt-5-main、gpt-5-thinking 及轻量版本(如 gpt-5-thinking-nano),针对不同任务与开发者使用场景提供快速且智能的响应。
推荐理由:官方说明揭示 GPT-5 基于路由系统的多模型架构,读者可据此了解不同任务场景下的模型分工逻辑。
OpenAI 开发了一个针对 Lean 语言的神经定理求解器(Neural Theorem Prover),该工具能够解决包括 AMC12、AIME 以及改编后的 IMO 在内的多种高难度高中数学竞赛题目。
OpenAI 微调 GPT-3,利用文本网页浏览器回答开放性问题,以提升模型的事实准确性。
OpenAI 推出可逆生成模型 Glow,该模型使用可逆 1x1 卷积扩展了此前的可逆生成模型研究并简化了架构。Glow 能够生成逼真的高分辨率图像,支持高效采样,并能发现用于操控数据属性的特征。OpenAI 已发布该模型的代码及在线可视化工具,供研究人员探索和基于此成果进行开发。
OpenAI 发布了一款 Dota 2 智能体,在标准锦标赛规则下 1v1 比赛中击败了世界顶尖职业选手。该模型通过纯自对弈从零开始学习游戏机制,未使用模仿学习或树搜索技术。