跳到正文

技术方向

多模态 最新动态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

192 条精选近 30 天 73 条共收录 4,488 条

更新

精选归档 · 第 2 页

11月10日周二第 21–40 条
  1. 美团技术团队80

    美团正式开源 1.6 万亿参数 LongCat-2.5:多模态模型在国产算力上实现高效推理

    美团正式以 MIT 协议开源 LongCat-2.5,该原生多模态模型总参数 1.6 万亿、每个 token 激活约 480 亿参数并支持一百万上下文,面向长程智能体任务在代码开发、Visual Coding 与专业办公场景中端到端交付能力明显提升。

    推荐理由:原文详细披露了1.6万亿参数多模态模型在国产算力下的W4A4量化策略与训练细节,展示了在显存受限场景下落地万亿模型的具体工程路径。

  2. 量子位65

    千问办公2.0实测:Team Agent 重构编辑部协作流程

    量子位编辑部实测发现,千问办公2.0通过引入 Team Agent 模式,实现了跨钉钉群聊的项目信息自动归拢、待办任务生成及多端同步。该版本重构了云端自动化引擎,支持在 Word、PPT 及钉钉文档上进行人机共创改稿。相比个人 Agent,其核心价值在于将 AI 深度嵌入团队协作流,解决信息搬运与重复解释问题。

    推荐理由:文章通过编辑部实测展示了千问办公2.0如何串联跨群信息与任务流,为判断团队级Agent的实际落点提供了具体参考。

11月9日周一
  1. IT之家78

    谷歌推出 TPU 8tx 和 TPU 8i Max 挑战英伟达

    谷歌推出 TPU 8tx 和 TPU 8i Max 两款 TPU,面向机密计算和超长上下文窗口场景,以拓展 AI 芯片市场。两款产品基于现有芯片重新配置,分别适配政府、金融等受监管客户及药物研发、编程应用;TPU 8tx 将与 AMD 芯片协同工作。

    推荐理由:谷歌加快芯片迭代并推出专业版本,原文补充了与英伟达的对比、客户结构以及供应链布局。

  2. 量子位81

    腾讯混元Hy4发布:原生视觉与Agent能力升级

    腾讯混元Hy4正式发布,引入原生视觉与计算机操作(CUA)能力,幻觉率降至7.2%。实测中,Hy4自主完成3D机械键盘交互、游乐园建模、PPT生成及复杂科研推理任务,目前已在WorkBuddy等平台上线。

    推荐理由:实测展示了Hy4在3D交互、长程Agent及科研推理中的细节,并提供了WorkBuddy入口,帮助评估其落地能力。

11月8日周日
  1. 机器之心71

    SuperMimic 大幅降低人形机器人全身控制训练成本

    UC Berkeley 发布 SuperMimic 工作,提出基于单一可微世界模型的全身控制架构,将 12.9 万段人体动作跟踪策略的训练成本从 128 张 GPU 运行 7 天压缩至单张 GPU 运行约 3 小时。在包含 129,514 段动作的测试中,SuperMimic 的归一化回报率和失败率均优于英伟达的 SONIC 检查点,该论文已被 CoRL 2026 接收为 Oral。

    推荐理由:文章通过算力消耗量级的鲜明对比,揭示了单一可微世界模型对传统强化学习路线的替代价值。

11月7日周六
  1. 量子位68

    魔芯科技发布MoWorld 2.0:十余种物理要素融入世界模型

    魔芯科技发布MoWorld 2.0,将重力、弹力、光照等十余种物理要素融入模型,并输出为3D/4D高斯资产。其在华为昇腾NPU上的实时视频推理速度推至70 FPS,推理成本最低为同规模GPU方案的30%,并已进入手机端侧设备。

    推荐理由:原文给出了物理建模和性能指标,读者可以据此判断世界模型如何进入下游任务。

11月6日周五
  1. 百灵大模型77

    Ling-3.2-flash 正式发布:支持视觉反馈与异常自适应

    百灵大模型官方发布 Ling-3.2-flash,该模型总参数 560B,单步激活 25B,原生融入视觉感知与空间理解能力。Ling-3.2-flash 具备视觉反馈自检和异常自适应恢复能力,能对照渲染结果调整代码并根据报错信息继续执行任务。

    推荐理由:官方明确了560B参数下的视觉自检机制,用户可据此评估其在异常恢复场景下的工程落地可行性。

  2. Latent Space85

    Thinking Machines 发布 Inkling 2 Small 模型

    Thinking Machines 发布 Inkling 2 Small,这是一款 594B 总参数量 / 17B 激活量的多模态 MoE 模型,采用 NVFP4 原生精度在 GB300 集群上耗时 68 小时完成预训练。

    推荐理由:原文给出训练参数与评测结果,读者可据此判断该模型对西方开源生态与微调工作流的影响。

  3. Hugging Face Blog77

    NVIDIA 发布 Cosmos 3 开放权重模型用于交互式世界仿真

    NVIDIA 在 Hugging Face 上发布四个 Cosmos 3 Nano 开放权重模型,包括 Transfer-Auto、Sim-Auto、Sim-Transfer 和 Sim-Bimanual,支持多传感器驾驶仿真与双臂机器人交互。模型采用 OpenMDW1.1 许可证,提供商业与非商业用途权利,并附带分阶段后训练配方。

    推荐理由:NVIDIA 发布四个 Cosmos 3 开放权重模型,提供从驾驶到机器人交互仿真的完整工作流,读者可评估其开源生态价值。

11月5日周四
  1. Hacker News AI76

    Claude Opus 4.8 使用 Python 自动化分析个人 MRI 影像数据

    作者使用 Claude Code 驱动 Claude Opus 4.8 分析足部 MRI 的 DICOM 原始数据,生成了包含标注图像的独立分析报告。Claude 在 45 分钟内自主安装了 Python 库,编写脚本提取像素数据、识别序列类型并修正图像标注错误,最终输出了一份比医疗机构报告更详尽的 10 页 PDF 文件,证实了该模型在复杂医学影像多模态任务中的自主工程能力。

    推荐理由:展示了Claude Opus 4.8通过自主编写Python代码处理DICOM图像并生成标注PDF报告的完整过程。

  2. Hugging Face Blog70

    Dharma-AI 发布 Dharma Field Extractor:2B 参数文档字段抽取模型

    Dharma-AI 发布 Dharma Field Extractor,这是一个 2B 参数文档字段抽取模型,能从任意文档类型提取指定字段并输出结构化 JSON,其性能在测试中优于所有前沿 LLM,且成本大幅降低。该模型基于 DharmaOCR-LITE v1.1,通过 43,384 个训练样本上的 LoRA 适配器微调,支持开放式(无 schema)和 Schema 导向两种请求模式。

    推荐理由:Dharma-AI 在官方开源平台上发布了 2B 参数字段抽取模型,给出了相对前沿大模型的 F1 差距和自托管成本区间。

  3. 机器之心79

    百度发布具身世界模型 Apollo World,实现无人车虚拟闭环交互测试

    百度 Apollo 披露具身世界模型 Apollo World,支持无人车在虚拟城市中与 AI 智能体驱动的参与者进行实时交互,日虚拟路测里程可达 10 万公里。该模型通过因果自回归多模态生成技术,实现全订单流程推演及环境动态切换,与 Waymo World Model 形成差异化竞争,旨在降低规模化部署成本。

    推荐理由:揭示了百度 Apollo World 在虚拟环境中的交互式测试机制,通过对比 Waymo 展示了其在长程任务推演上的差异。

11月4日周三
  1. 腾讯混元92

    腾讯混元 Hy4 正式版发布

    腾讯混元 Hy4 正式发布,首次引入视觉与电脑操作能力,金融综合表现及内部科研评测位居开源第一。官方计划开源模型权重,已在腾讯云等渠道上线,API 价格与预览版保持一致。

    推荐理由:原版在金融众测与科研任务上取得开源第一,并展示了从代码到生物建模的跨领域生产力落地。

  2. 量子位71

    招商局狮子山实验室发布「驭物™ Lion-ER-35B-A3B」具身推理模型

    招商局狮子山人工智能实验室发布具身推理视觉语言模型「驭物™ Lion-ER-35B-A3B」,该模型采用 MoE 架构,总参数 35B 但每个 Token 仅激活约 3B 参数。模型在十项主流具身相关基准上全部指标上涨,等权综合均分达到 65.29,多项核心能力超越更大参数量模型。权重已在 Hugging Face 开源,兼容 Transformers、vLLM 和 SGLang 等框架。

    推荐理由:展示了能力牵引的数据引擎方法,读者可了解其如何在低激活参数下提升具身推理能力。

  3. 机器之心68

    Comma 常驻智能体实现长期记忆与任务调度机制

    Comma 通过常驻主会话、Jev 维护共享事实清单及 Lean 证明的 eBPF 监控程序实现跨会话记忆与任务分配。文章指出该产品在 DeepSeek 发表 Super-agent 设计前半年发布,并对比了其与 Claude Tag 的功能差异及团队版的信息流控制机制。

    推荐理由:机器之心梳理了 Comma 的时间线与技术细节,读者可以了解它是如何将长期记忆、任务调度和权限控制结合进常驻智能体系统的。

  4. 机器之心66

    Anthropic开源FlashProve,为大模型提供可验证的身份证明

    Anthropic开源FlashProve系统,利用零知识密码学让服务商在不公开权重的情况下,证明某回答由指定模型生成。该系统在400B参数MoE模型上测试显示,单张H100 GPU每秒可生成约110个Token的推理证明,证明文件大小约为19MB;验证端则可通过CPU完成。目前该系统为研究原型,主要支持整数模型与贪心解码,且证明生成成本约为普通推理的70至95倍。

    推荐理由:该研究将零知识证明应用于LLM身份验证,在400B参数MoE模型上实现约110 Token/s的证明生成,并开源了验证器与形式化证明。

  5. IT之家77

    国行 Apple 智能与 Siri 在 iOS 27.3 开发者预览版上线

    苹果面向 iPhone 发布 iOS 27.3 开发者预览版,国行 Apple 智能与 Siri 如期上线,接入阿里巴巴千问,支持在系统内直接调用文本与图像理解能力。首批开放实时翻译(集成于信息、FaceTime 及电话 App)、写作工具(改写、校对、摘要)、视觉智能(摄像头物体识别)及照片消除功能,兼容 iPhone 15 Pro 及更新机型。

    推荐理由:国行 Apple 智能功能随 iOS 27.3 开发者预览版上线,接入千问,覆盖实时翻译、写作工具与视觉智能等基础高频场景。

  6. Hacker News AI91

    LLMjacking:限制被盗 AI 密钥开销的 AWS、Google Cloud 和 Azure 设置

    Google 威胁团队称,被盗云与 AI 密钥攻击者单日可产生超 10 万美元、部分达 100 万美元模型账单费用。文章将建议落实为三家云的具体设置,指出 AWS Bedrock 调用日志与 Google Data Access 日志默认关闭,需手动开启,并核验了 LiteLLM CVE 的公开记录,提供了检测与配额限制方法。

    推荐理由:该解读基于官方文档整理了 AWS、Google Cloud 和 Azure 限制盗用 AI 密钥开销的具体设置与日志开关。

11月3日周二
  1. arXiv · AI63

    ReClaim 利用全国医疗索赔数据构建医疗基础模型

    ReClaim 是基于 MarketScan 数据库 438 亿条索赔记录构建的医疗基础模型,在超过 1000 种疾病的预测中平均 ROC-AUC 达到 0.769。该模型在预测下一年度支出和识别高需求高成本受保人方面均优于梯度提升模型,且其表征作为协变量时能改善随机对照试验基准下的效应估计。

    推荐理由:原文给出了438亿条医疗索赔数据训练基础模型的方法,读者可据此理解其在真实世界疾病预测中的表现。

  2. 量子位77

    Orilo 发布纯语音 Personal Agent,主打晨间场景与低延迟交互

    Orilo 发布了一款纯语音 Personal Agent,核心功能为 AI 晨间简报、长尾信息跟踪及跨应用任务闭环。其技术架构拆分为低延迟前端语音模型与后端高推理能力 Agent,解决实时对话卡顿问题,在 Full-Duplex-Bench 中被测用户打断后重新开口速度为 1.08 秒,快于 GPT Realtime 和 Gemini Live。产品目前仅支持英文交互。

    推荐理由:作者基于两周实测,分析了Orilo如何通过语音优先和双层架构解决传统Agent交互延迟高、低频使用的痛点。