Hugging Face 发布 TorchTPU:TPU 成为 PyTorch 原生设备
Hugging Face 发布 TorchTPU,使 TPU 成为 PyTorch 的原生后端,Transformer、Diffusers 和 Kernels 库均可原生运行于 TPU。
Hugging Face 发布 TorchTPU,使 TPU 成为 PyTorch 的原生后端,Transformer、Diffusers 和 Kernels 库均可原生运行于 TPU。
GemNav利用多模态大语言模型,将机器人导航路径点映射为离散度量值箱的类别分布,从而高效适配机器人导航。 该策略仅在8.7小时的公开SCAND数据集上训练,数据量比竞对小三个数量级;实验显示其分布外泛化能力和避障可靠性显著优于连续回归头。 同一策略无需针对平台重新训练,即可迁移至未知环境和三种物理构型不同的机器人平台。
Gemini 代理管线在 Busy Beaver 前沿自主发现并形式化验证了 11 台机器的新颖 Collatz 类加速规则。 该系统整合模式识别、自动猜想、非形式化推理及 Lean 形式定理证明,将这些机器暂时分类为 Cryptids。 这一成果展示了自主 AI 系统在有界计算极限进行开放式数学发现的潜力。
视觉Token剪枝旨在降低多模态模型推理成本,现有研究多聚焦于设计特定选择器以获取增量性能提升,但未明确当前性能瓶颈源于剪枝方法固有极限还是算法限制。 该工作提出QA-MBG方法,通过在固定预算下选择共享视觉Token子集来支持广泛图像问答分布。
Google 与 Meta 开源合作推出 TorchTPU,作为 Google TPU 的原生 PyTorch 后端,实现模型的原生执行与无缝迁移。 它通过 eager 执行优化、torch.compile 集成及硬件加速,提供具有行业竞争力的推理和训练性能。
该系统基于提示词,针对Anthropic等五大模型API,在八类任务中生成最高20K样本的数据集,规模越大优势越明显。 其微调模型性能优于其他生成器,显著改善下游训练效果。
SLA2 提出可学习路由与量化感知微调,解决原 SLA 启发式划分及误差分解不匹配问题。 该模型通过动态选择稀疏或线性注意力分支,并采用直接分解公式及低比特注意力设计,在视频扩散模型中实现 97% 注意力稀疏度与 18.6 倍推理加速,同时保持生成质量。
研究者发现激活分布中的非高斯性可作为发现可解释方向的直接无监督信号。 在 GPT-2 Small、Gemma 2 2B 和 Qwen 3.5 9B Base 上,该方法拟合时间仅需数分钟,内存消耗比 SAE 少 7-43 倍。 该方法在可解释性及稀疏重建等任务中性能与 SAE 相当,为理解模型内部结构提供了高效工具。
CANVAS 系统基于 Zapier 工作流,利用 Gemini 2.5 Flash、GPT-5 Mini 和 Claude 3.5 Haiku 为视障人士生成 50 幅艺术品的 150 条叙述音频,总成本仅 5.10 美元。
研究构建双阶段 LLM 管线,利用 Gemini 2.5 Pro 识别、Gemini 2.5 Flash 验证 MIMIC-IV-Note 出院摘要中的不一致性。 在 3000 份样本中,69.7% 的病例保留至少一个候选项,临床复核 253 项被判定有效,主要涉及用药与诊断领域。 该初步研究确立了方法学基础,为后续大规模 EHR 不一致性分析提供概念框架。
一项包含 31,200 次响应的受控审计表明,生成引擎引用的来源随用户位置渠道不同而变化,导致商业可见性受地域影响。ChatGPT 遵循应用声明的城市位置,将地名写入搜索查询;而 Gemini 忽略声明位置,仅依据网络国家定位并大幅更换来源。 因此,针对生成引擎的优化(GEO)监测必须同时控制声明位置与网络位置两个渠道,才能获得准确的可见性评估。
扩散语言模型通过单次前向传播生成多个token,不同任务导致计算成本显著波动。分析显示,开放写作比语法修正多消耗3倍前向传播次数。高编码语言及错误答案均需更多处理路径,基于解码速度的加权可提升4.2分准确率。
前沿模型已实际解决数字名称阅读这一 NLP 难题,该问题曾被2022年文章视为难以用纯神经方法解决的“无聊”问题。 ChatGPT 发布后进展显著,但作者认为有限域、资源受限问题仍有开放挑战,未来或无需依赖大资源模型即可解决。 原文指出此类问题仍存开放议题,暗示未来机器学习方法可能以更轻量资源实现突破。
summary_zh: 研究指出,小模型在受计算限制下的效率常被单一内存指标掩盖,实际性能受 Tokenizer 覆盖率制约。 TinyLlama-1.1B 在 Odia 等脚本中未覆盖任何码点,导致 93.6% 的 Token 退化为原始字节,而 MuRIL 以更少参数实现零 UNK 率。
Gemma-4 12B 和 Inkling-Small 两款无编码器多模态 LLM 的早期层被证实可作为“隐式编码器”,独立编码模态与联合编码在推理任务中准确率相同。 这些模型直接将样本、像素或频谱特征输入 Transformer 语言模型,而非使用专用模态编码器。 研究通过逐层探针发现隐式编码器的行为与多种流行编码器模型相似。
研究发现,TII Falcon 7B Instruct、Gemma 7B 等开源 LLM 在重复囚徒困境中普遍比人类更合作,尤其在随机伙伴环境下,人类平均合作率为 28.5% 时,部分模型超过 80%。 Qwen-2.5-7B-Instruct 表现确定性强,Phi-mini-MoE-Instruct 变异性大且短暂接近人类水平。这些 LLM 具备行为模拟代理潜力,但目前尚不可靠地替代人类参与者。
研究人员提出基于1,118个Lichess谜题的国际象棋基准,用于评估冻结LLM的自动提示词优化。该基准包含精确匹配评分和引擎评估,具备可再生性和难度调节功能。 测试覆盖6种APO算法和8个目标模型。最强元模型Gemini 3.5 Flash仅解决约55%谜题,完整研究成本约800美元,代码与数据已开源。
提出 Agentic Cloud Workflow Engineering 框架,通过图与循环工程将自然语言云任务转化为经验证的代码库与部署。 框架分离图工程、循环工程与零信任执行层,在 Google Cloud 上实现有限恢复与机器可检查证据。 统一支撑 Agentic DevOps、SRE、MLOps 等领域的云自动化工作流。
多模态大语言模型(MLLM)在文本密集型专业文档推理上表现不足,且现有基准缺乏非英语语言支持。研究人员推出BEAR-Bench,包含1000道人工标注的英俄双语问题。
研究发现 GPT-5、Gemini 2.5 Pro、Claude Sonnet 4.5、Qwen3 32B 和 Centaur 在认知科学实验中的目标选择与人类差异巨大。
研究提出 L-SplineFNO,一种将 FNO 骨干与可学习张量积 B 样条耦合的内存高效神经算子,适用于非结构化网格。 该模型在 6 个三维工程基准上实现高预测精度,训练可扩展至 2660 万节点,推理达 4600 万节点,单卡 A100 即可运行。
研究发现 LLM 在生成 Lean 规范时引入交互式澄清智能体(EA)效果不一:同模型 Claude Sonnet 4.6 在 k=3 和 k=10 澄清预算下 strict pass@1 估计为负。
研究团队提出 CADENCE 方法,在 Llama-3.1-8B-Instruct 模型上实现最高 1.3 倍的生成吞吐量提升。 该方法采用高斯预测头将未来片段表示为连续潜在向量,并通过学习路由器根据隐状态自适应选择解码粒度。 实验显示,在 Alpaca、GSM8K 和 HumanEval 基准测试中,路由器选择的位置草案接受率显著高于固定长度预测。
研究发现 Llama-3 模型从 AdamW 切换至 Muon 优化器几乎无显著性能惩罚,且 Muon 比例增加通常提升 SFT 后的下游性能。 该结论基于 1.2B 模型预训练及 14B 规模 Llama 和 Qwen 模型的持续预训练与 SFT 实验,结果显示后训练优化器选择可独立于预训练优化器。 该研究已被 NeurIPS 2026 研讨会接收,为优化器跨阶段迁移提供了系统性实证依据。
提出可扩展的语言无关方法论,通过 NLI 任务对知识库与文本的自然对齐进行去噪,解决希伯来语低资源语言缺乏标准化关系抽取(RE)基准的问题。 实测最优开源模型 Gemma-4-31B-it 在完全保留的双标注测试集上 F1 为 0.844;最优 API 模型 GPT-5.4 得分为 0.921。
研究以冻结的16 MB 512-bit词表替代Gemma 3 270M的可训练嵌入层,整体模型压缩至46 MB。 该方案训练后性能在LAMBADA和PIQA等基准上不劣于基线,稀有词处理优于学习式嵌入。 结合三元BitNet架构,模型在笔记本CPU上实现615-740 tokens/秒生成,内存占用仅为基线的七分之一。
Google Research 提出 VERID 语义数字孪生框架以让 AI 智能体校验机器人指令,并展示了利用闭合循环发现 DNA 适配体和新颖蛋白质结合剂的研究成果。适配体发现循环的命中率达到 42.1%,蛋白质设计流水线通过切除表位折叠将计算循环加速超过八倍,在相等算力下人机协作相比单人工作使虚拟命中翻倍。
研究者发布 Python 库 MoCo,旨在整合并标准化大语言模型协作研究。该库包含 26 种协作方法及 25 个评估数据集,涵盖路由、文本、logit 及参数交换等层级。 实验显示,在平均 61.0% 的模型与数据设置中,协作策略优于非协作模型,最佳方法性能提升高达 25.8%。 MoCo 通过统一基准对比与大规模执行框架,为构建开放、模块化的协作 AI 体系提供基础工具。
研究证明大语言模型无需额外训练数据,即可通过姓名推断族裔,准确率最高达84.7%,超越BISG模型的68.2%。 测试涵盖Gemini 3 Flash、GPT-4o及DeepSeek v3.2等六款模型;开启扩展推理可提升1-3个百分点准确率。该方法显著降低BISG中存在的收入偏差,使富裕地区少数族裔被误判为白人的比例下降。
Life-Harness 提出一种不修改模型权重或评测环境的运行时框架,通过演化的干预机制提升冻结 LLM 智能体在确定性任务中的表现。 在 8 个环境、18 个开源基座模型上验证,Qwen3-4B-Instruct 平均准确率较 Meta-Harness 和 AHE 分别提升 28.7 和 7.5 个百分点,且优化 token 消耗分别降低 8.5% 和 68.4%。
最新概率 AI 气象模型在 2025 年 90% 的热带气旋追踪任务上显著优于 ECMWF 物理集成模型 IFS-ENS。 研究对比了 GenCast、FourCastNet 3 和 FGN,发现 FGN 在概率位置评分上表现最佳,但强度预测和集合离散度仍存在局限。 分析揭示了特定失效模式并指出预训练数据的影响,证实 AI 模型能捕捉极端天气下的物理关系。
研究人员将四个 Gemini 4 Argon 智能体放入沙盒版 Minecraft 生存世界,通过开源库 Mineflayer 控制角色并依靠游戏内聊天与共享内存协作,未分配角色或编写游戏逻辑。
推荐理由:实验证明多个AI智能体能在无预设逻辑的情况下协同通关高复杂度任务,揭示了长程规划与协作的实际边界。
该研究提出一种受认知启发的混合模型,在测试时自动选择模拟或语言推理以平衡精度与成本。 模型在4B参数视觉语言模型上训练,可部署至Gemini 3 Pro等超3T参数基座模型,显著提升物理动态任务性能。
Google 推出 Agentic 开发平台 Antigravity,通过智能体协作将分散的数据库检索压缩为单次会话,加速抗菌肽发现。 结合 ProtNLM 模型扫描 UniProt 数据库中数百万未表征蛋白质,预测其生物功能。 研究人员在 Streptococcus pseudopneumoniae 中识别出一种新的抗菌肽候选物,目前正进行湿实验验证。
针对9个DeepMind Control任务,12块早期退出潜空间预测器测试发现,深度假设在3个任务中失效,浅层出口反而更准确。 事后最优路由比固定深度混合降低10-37%误差,但训练路由均未超越固定调度,且反转现象依赖组合潜空间监督。 这些结果随编码器、骨干网络和训练数据变化,修正了此前关于路由有效性的多项主张。
大语言模型安全评估通常依赖单次测试,但研究证实其拒绝行为具有不稳定性。针对 Llama 3.1 8B 等四个模型在 876 个有害提示词上的测试显示,18%-28% 的提示词在不同采样配置下会发生拒绝/部分/服从标签翻转。
研究通过对比 Qwen3-Omni 和 Gemini 实验,提出直接推理、captioner-reasoner 及 agentic 三种文本界面设计。 直接推理的 prompt 优化收益因模型而异;后两者虽提供可解释性更强优化接口,但优化难度更高。 研究凸显文本界面设计是使 prompt 优化在多模态推理系统中有效的关键因素。
团队发布 Anuvani-LID,一款基于 115M 参数 Conformer 的专用语言识别模型,在 37 种条件下平均 macro-F1 达 0.914。 该模型在 54,643 小时印度语音数据上训练,支持 22 种印度语言及带印度口音英语,比 Gemini 3.5 Flash 高 5.2 个百分点,且具备校准性。
提出参数高效的 DualView 方法用于 LLM 多输出文本回归,在 5 项任务中性能超越 7 个有监督基线,且可训练参数比前 3 个基线少 82-1842 倍。
该研究对 8 个 LLM 进行零样本基准测试,GPT-5.6 Luna 领先英文词汇指标,LLaMA 3.3 70B 取得最高 ROUGE 和 BLEU,Gemini 2.5 Flash 获最高孟加拉语事实性分数。 测试采用词法、语义指标及 LLM-as-a-Judge 评估,结果显示不同方法产生不同排名,单一指标存在局限。 这凸显了面向低资源语言需采用综合评估框架的必要性。