在 AWS Trainium 上使用 torchtitan 训练 Qwen3
在单台 trn2.48xlarge 实例上,通过 torchtitan 提供了三种训练 Qwen3 的方法。 这些方法包括使用 Transformers v5、tochtitan 原生模型规范以及添加 NKI MoE 内核。 环境需安装指定版本的 torch, torch_neuronx 和 transformers。
在单台 trn2.48xlarge 实例上,通过 torchtitan 提供了三种训练 Qwen3 的方法。 这些方法包括使用 Transformers v5、tochtitan 原生模型规范以及添加 NKI MoE 内核。 环境需安装指定版本的 torch, torch_neuronx 和 transformers。
Strands Agents 构建的 AAIF 框架利用 llama3.2:1b 本地模型自动路由任务,复杂请求接入 Amazon Bedrock 前沿模型。该架构在 8 GB 内存的边缘设备上运行,通过分离路由逻辑与处理工具,在保证低延迟的同时降低 API 成本。
NVIDIA Kumo Forecast 是多方时间序列预测模型,基于 3.4 亿参数的 MOMENT-1-large 骨干,结合 DARR 模式通过 k 近邻检索历史数据增强预测。模型支持 256 至 2048 长度的输入序列,提供 DataFrame API、可配置预测视程及无侵入式可解释性框架,如滞回归因和轨迹稳定性诊断。开源 Apache 2.0 许可,支持微调及异常检测应用。
NVIDIA 扩展其开放模型家族,涵盖语言、机器人、生物及量子计算领域,旨在支持开发者构建符合本地语言和工业需求的应用。
研究团队提出基准 BreakingWeb,包含 519 个任务对,通过受控干预使 6 个浏览器代理平均通过率下降 22.9 个百分点。 这些干预改变网站内容、服务器状态或网络响应,而人类用户首试通过率仅下降 10.0 个百分点。 75% 的代理失败源于信念错误,即代理在未完成必要更改时宣告任务结束。
针对视觉语言模型部署中算力与内存瓶颈,提出自底向上级联知识蒸馏框架,通过引入中间容量教师模型逐步缩小师生网络能力差距。 该框架基于 LLaVA 方法论构建模型,并在七个标准 VQA 基准上评估,展现出与近期紧凑视觉语言模型相竞争的推理性能,源码及训练模型已公开。
summary_zh: 研究人员通过受控实验发现,多智能体强化学习中直接排除非平稳训练瞬态不足以消除置换代理的假阳性。 在社交困境中排除瞬态后假阳性率降至 3.05%,但协调游戏中仍高达 11.8%。
研究提出符合性社会选择层,通过线性意见池聚合与分拆符合预测,实现固定轮次边际覆盖率≥1-α的自主行动或人工升级决策。 在α=0.05下,81.9%的错误共识案例被非单例集标记;提前达成单例共识的准确率在MMLU-Pro上达90.0%-96.8%。
Brain2Vec 基于 74,425 例 T1 加权 MRI 扫描预训练,可作为微调骨干或独立特征提取器。 其冻结嵌入在 5 项下游分类任务中的 4 项表现优于解剖体积特征,且推理具备可解释性。 代码与模型已开源,支持本地安装或通过 NiChart 云平台直接调用特征。
nokast-secureRAG 是一款约 0.5B 参数的小型语言模型,作为 RAG 检索与生成间的语义防火墙,将用户查询与检索上下文配对分类为安全、可疑或恶意。 模型经教师-裁判-学生流水线训练,在分布内测试集达 0.994 检测召回率、0.026 假阳性率,单请求延迟 293-404ms;已开源模型、数据管道及评测框架。
GALA 是一个具有显式点云感知能力的几何感知语言模型,旨在实现可控物体摆放。 该模型通过自回归方式预测目标物体的 6D 位姿,采用两阶段训练策略,并在基准测试中显著优于缺乏显式几何推理的基线模型。 该工作已被 SIGGRAPH Asia 2026 会议论文录用。
针对全球预训练语料中非洲学术内容占比不足0.5%的现状,研究团队推出迄今最大规模的泛非多学科学术语料库Africa-Papers。该语料库包含超过844,807篇全文论文和101.5亿个Token,数据整合自DOAJ索引的31个非洲国家期刊、CGIAR农业库、arXiv预印本及OpenAlex开放获取文献,并处理为保留层级结构的Markdown格式。
BAIT 基准引入九类认知偏见触发器,基于 50 篇英语新闻及标注数据评测 6 个前沿 LLM。 模型在识别文章包含的触发器上接近人类一致性,但在定位具体片段时不足人类一致性的一半。 结果显示 LLM 更多依赖表面线索而非操纵机制,相关资源及评估管线已开源。
World2HOSI 提出一种多专家编排框架,利用 3D Gaussian Splatting 场景和自然语言指令生成连续的人-物-场景交互数据。 该框架通过编排现有专家模型,结合有界残差优化和接触驱动物理模拟,实现了超越单一模型能力的任务完成率与交互质量。
Less-is-More CIR 提出一个免训练的两阶段框架,结合简洁检索与批评家重排序,以提升零样本组合图像检索效果。 该框架首先生成仅保留判别性修改语义的简洁目标描述以减少噪声,第二阶段则通过修改一致性与参考保留度评估重排序候选结果。实验表明该框架具有有效性与鲁棒性,相关代码已公开。
提出音频视觉类别增量学习框架,利用冻结多模态基础模型(MFM)的密集表示,通过注意力上下文引导模块以音频表征指导视觉表征,实现有效类别识别。 采用特征级与logit级知识蒸馏缓解灾难性遗忘,维持跨任务稳定性。实验表明该方案在多个音频视觉CIL基准上持续优于当前最先进方法。代码已开源。 该工作已被WACV 2027接收。
研究提出基于时间邻近性的自监督框架,从自由行为大鼠的短期运动轨迹中学习紧凑表征,无需人工定义行为状态。结果显示,1秒的运动轨迹即包含个体身份与学习相关信号,自我中心姿态动态更利于预测身份,而外心运动更利于预测学习差异。
论文提出 Agent S4,一个通过任务轨迹进化优化接口的自主计算机使用科学代理。在 OSWorld V2 上,Agent S4 使用 Qwen3.8-27B 达到 21.3% 的二值得分,是固定接口版本的 3.8 倍,且成本仅约为 GPT-5.5 和 Claude Opus 4.8 的 4.3% 和 1.5%。代码已开源。
推荐理由:该研究提出 Agent S4 通过进化式接口设计提升计算机使用代理性能,在开源模型上超越闭源旗舰,验证了接口演进对智能体能力的关键作用。
在 3B-27B 的 5 个模型上,分层稀疏注意力(SSA)始终优于等稀疏度基线,显著缩小稀疏与稠密注意力的差距。 在 RULER-HARD 上,SSA 在 50 倍稀疏度下将 32K 上下文准确率从 81.8% 提升至 84.2%。 采用优化 CUDA 内核后,SSA 在 1M 上下文的解码速度相比 FlashInfer 快至 2.96 倍。
Quantum-JEPA框架利用量子Born先验学习未来表征分布,并支持多智能体协同。模型通过样本化能量目标训练量子先验,学习潜动作相关性。 方法结合预测质量与多样性训练,避免指数级大的类别输出层。在有限样本参数偏移训练和实际QPU推理中验证了可行性。 在D3IL基准上,模型能从共同起点生成多条避障路径,提升预测有效性。
该论文提出一种利用多模态学习和强化学习高效评估游戏声音设计的新框架。 方法预训练多模态编码器将视觉和听觉信息映射至共享潜在空间,然后固定策略,通过微调编码器来隔离声音变化对智能体行为的影响,从而避免从头重新训练。实验表明该方法能检测声音退化引起的性能差异,并显著降低计算成本,提供可扩展的评估方案。
研究提出 Ask-to-Distill 框架,将合成问题作为分布提取器,用于优化在策略知识蒸馏过程中的监督信号。 该框架通过结合师生模型分歧与教师模型在学生候选支持集上的概率质量,计算无需参考答案的分布替代奖励来筛选和优化问题。 该方法在数学推理、代码生成和智能体任务上提升了模型平均性能并缩小了师生差距,相关代码与模型已公开提供。
团队发布 EGI-BENCH,统一整合八个企业级 LLM 智能体基准为单 CLI 套件,并定义六维 EGI 评分框架。 在 quick 模式下评测 GPT、Claude 和 Gemini 等 14 个模型,EGI 得分从 GPT-4o mini 的 39.6 到 gpt-5.5 的 65.6,无单一模型全面领先。 该套件解决跨基准比较困难和评分标准不一问题,子指标路由机制替代简单基准级平均分。
针对全模态 LLM 跨模态幻觉,提出免训练框架 Omni-Woodpecker (OWP)。该方法将干预从输出层移至表征层,通过识别模态冲突并进行正交分解,在解码前抑制误导性先验并恢复被忽略的证据。
DeepSeek 官方宣布全面开源内部推理框架 DeepInfer 及生产级 Token 编解码组件 deepseek-recipe,旨在通过分享部署经验帮助开发者优化大规模推理的吞吐与延迟。
推荐理由:开源框架支持多种解码能力并兼容主流硬件平台,开发者可直接复用其部署经验以降低大规模推理成本。
蚂蚁百灵开源 Ming-3.0 语音系列模型,涵盖语音合成、音频理解与对话、语音识别三大方向,共包含五款模型。其中 Ming-3.0-tts-0.5B 在 Artificial Analysis 的 Pronunciation Robustness 测试中得分 93.2%,并列全榜单第一。
推荐理由:蚂蚁百灵开源 Ming-3.0 语音系列,提供语音合成、音频理解与识别能力,并公开了模型下载与 API 入口。
蚂蚁百灵开源 Ming-3.0 语音系列,包含 Ming-3.0-tts、Ming-3.0-audio 和 Ming-3.0-asr 共五款模型,分别覆盖语音合成、音频理解与识别。
同一新闻,精选展示《蚂蚁百灵开源 Ming-3.0 语音系列模型》
研究挑战推荐系统中运行时 LM 推理必要性的假设。提出的 LIME-Rec 和 DART-Rec 在多个指标上超过基于 LM 的推荐器。 LIME-Rec 在 Amazon 数据上 Recall@10 较 GRAM 提升 15.2%,DART-Rec 较微调 LM 控制器提升 16.7%。 这表明在特定任务和信息条件下,无需指定推理机制的替代方案即可匹配或超越 LM 基线性能。
提出 SMART 框架,通过直接后期交互利用冻结的隐藏状态,将标准单向量模型升级为多向量检索器。该方案即插即用,在 MMEB-V2 基准上进一步提升了 SOTA 模型性能,且轻量级后训练能增强视觉文档检索效果。代码和权重已开源。
SF-Mamba 通过辅助块交换编码双向信息流,并采用批折叠配合周期性状态重置以增强 GPU 并行度。 该模型在图像分类、目标检测及实例和语义分割任务中,均展现出优于 SOTA 基线的性能及吞吐量提升。 代码已开源,该工作已被 ICML2026 接收。
针对生成式3D模型绑定瓶颈,提出SkinTokens紧凑离散表示,通过FSQ-CVAE将皮肤权重转化为Token序列。该表示使自回归框架TokenRig能统一建模骨骼与形变依赖,皮肤准确性较SOTA提升98%-133%,配合RL微调使骨骼预测提升17%-22%。
Cerium 是一款开源多 GPU 框架,支持 TB 级加密推理,性能媲美 CraterLake ASIC,比手写 GPU 库快 2.25 倍。 它首个将 CKKS 引导加速至 7.5ms,并首次实现 BERT-Base 和 Llama3-8B 的 8s 与 43s 加密预填充推理。
SlotMatch 知识蒸馏框架将物体中心表征传递至轻量级学生模型,在三个数据集上超越所有 SOTA 无监督视频分割模型。 通过余弦相似度对齐教师与学生槽位方向而忽略范数,学生模型参数少 3.6 倍,速度提升 2.7 倍。 该框架已发布代码,论文被 WACV 2027 录用。
TAME 框架利用稀疏自编码器正则化视觉语言模型内部特征,在保持任务准确率的同时改善推理透明度。在 VIRL 和 SPA-VL 基准测试中,相比 GRPO,TAME 将 CoT 可监控性分别提升了 30.9 和 16.7 点。 该方法通过非对称约束惩罚模板激活并保留视觉证据,已在 NeurIPS 2026 接收,代码公开。
Janus 是用于实施和评估用户参与的 Agent 权限管理设计的实验平台,包含模块化的 Janus-Core 系统和自动化评估框架 Janus-Harness。 系统基于概念模型实现了六种权限助手,并在三种场景和三个合成响应者中进行了评估。 研究证明用户参与对增强隐私和安全至关重要,但没有单一设计在所有情境下均表现最优,Janus 已公开以供后续研究使用。
Gypscie 是一个跨平台 AI 制品管理系统,通过知识图谱和基于规则的查询语言提供统一的制品视图,简化 AI 应用开发与部署。 系统支持将模型生命周期活动表示为高层数据流,并可在服务器、云平台或超级计算机上调度,同时记录溯源信息以支持可解释性。
研究提出 SUMMARK 框架,利用可见推理摘要作为密钥审计表面验证 LLM 身份,无需运行时访问模型内部或日志。 在部署阶段通过键控统计测试检测跨模型族与规模的替换,在低误报率下保持回答质量。 该工作探索了 FP16 至 INT8/INT4 精度一致性及对重写的鲁棒性,代码已公开。
研究提出 HumanoidPose 框架,将视觉作为本体感觉,仅从视频恢复人形机器人全身关节配置。 该方法结合预训练人体姿态特征与机器人运动学,将人类动作重定向至 16 种人形具身,并在 3 个真实平台上将关节角误差降低 18-32%。
UNICORNS 基准揭示 3D 大语言模型在证据不足或存在错误预设时,准确率从 61.22% 骤降至 40.94%。 基于 11,387 个问题构建的基准指出,最强零样本模型在八类挑战中表现偏差,暴露推理可靠性短板。 提出的 HORN 方法通过义务感知后训练,将挑战准确率提升至 75.1%,未损害可回答问题表现。
summary_zh: ZeroDSS 提出一种零数据语义分割方法,仅利用预定义类别集合和生成式先验进行训练,无需目标域图像、掩码或文本描述。 该方法通过 LLM 引导的组合生成和扩散注意力构建合成监督分布,采用两阶段闭环训练及教师-学生框架迭代优化。