跳到正文

技术方向

多模态 最新动态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

192 条精选近 30 天 73 条共收录 4,488 条

更新

精选归档 · 第 3 页

11月3日周二第 41–60 条
  1. 美团技术团队85

    美团正式发布 LongCat-2.5:面向智能体任务的原生多模态模型

    美团正式发布面向长程智能体任务的原生多模态模型 LongCat-2.5,总参数量 1.6 万亿,每个 token 激活约 480 亿参数。模型在 2.0 基础上通过长序列训练、大规模长程强化学习提升复杂代码库开发与完整项目构建能力,并具备将视觉信号表示为多层级离散 token 的原生视觉理解能力,支持 Visual Coding、创意设计和 3D 等任务。

    推荐理由:美团给出了 LongCat-2.5 在 1.6 万亿参数规模下的工程化方案,读者可据此了解长程智能体多模态模型的训练与推理路径。

  2. Hacker News LLM83

    巴西柔道 LLM 教练构建实录:RAG、重排器与 7B 模型微调

    Max DeMarzi 分享用 3 万段视频素材构建巴西柔道专用 LLM 教练的完整流程。先通过 ASR 修复和上下文检索头清洗数据,建跨学派同义词知识图谱;再用 CLIP 加 Qwen2.5-VL 把 861 个无声示范片段变成可检索文本块。

    推荐理由:给出了用视频与知识库构建领域 LLM 教练的完整技术路径,含数据清洗、检索重排与模型微调的可复现步骤。

11月2日周一
  1. 量子位70

    商汤发布多模态智能体模型日日新 SenseNova 6.8 Flash

    商汤科技发布多模态智能体模型日日新 SenseNova 6.8 Flash,主打委派智能,当前限时免费。官方评测显示该模型在 TeamBench 和 DataAnalysis2.0 上位列第一,在 BEAM 128K 上与 GPT 6 Luna 并列第一。

    推荐理由:文章展示了模型在生成网页、PPT及海报上的直接交付能力,读者可了解其委派智能特性及长期记忆机制在办公场景中的应用。

  2. Hacker News AI76

    Retake 上线 AI 视频重拍工具,支持编辑转录文本以匹配视频

    Retake 上线了一款 AI 视频重拍工具,支持将 MP4、MOV 或 WebM 格式的视频转录为类似文档的可编辑文本。用户通过删除或改写台词,工具会自动剪辑对应的视频片段,并在重新生成语音时同步调整唇形以匹配口型。

    推荐理由:Retake 将视频转录为可编辑文档,改写台词后自动同步唇形,展示了一种降低重拍视频门槛的新交互方式。

  3. 蚂蚁开源63

    ZwZ2:基于单图证据连接训练的多模态推理框架

    上海交通大学等团队提出 EvidenceConnect 框架,通过 20.4K 条单图合成数据训练 ZwZ2-4B、9B 和 27B 模型,使其在 25 个基准上平均准确率分别达 54.79%、56.59% 和 60.51%,均超各自基座模型。

    推荐理由:团队用 20.4K 条单图合成数据训练 ZwZ2 系列模型,在 25 个基准上全面超过基座,并展示了向多图与 Agent 任务迁移的能力。

  4. 机器之心75

    模思智能发布全双工实时交互系统 MOSS-Live

    模思智能发布全双工实时交互系统 MOSS-Live,支持在说话的同时持续倾听,并能通过工具调用处理后台任务。

    推荐理由:模思智能发布全双工系统MOSS-Live,其在停顿抢话率和无关语音误接话率等指标上显著领先竞品,为实时语音智能体开发提供了可迁移的架构参考。

10月31日周六
  1. 千问大模型93

    阿里巴巴与Apple达成合作,将千问集成至Apple智能

    阿里巴巴与Apple达成合作,千问将集成至Apple智能,支持Siri问答、系统级写作及视觉识别功能,该功能将于12月随iOS 27.3面向中国用户推出,用户数据不会被用于模型训练。

    推荐理由:阿里确认千问接入Apple智能及iOS 27.3,明确了中国用户通过Siri调用多模态能力的入口路径与隐私边界。

  2. 36氪72

    ScienceVision 3D 评测:GPT-6 仅 0.53 分,Claude 也没及格

    ScienceVision 发布了一项包含 250 道题的跨学科 3D 科学理解评测,考察模型在生物、化学、医学影像、CAD 等领域的观察与推理能力,最高分仅 0.53(GPT-6 Astra 搭配 Codex)。

    推荐理由:原文指出科学3D评测的空白地带,并展示了不同模型在5个学科下的测试表现,读者可借此理解模型观察与推理能力边界。

10月30日周五
  1. 机器之心81

    启元 PrimeSim 世界模型发布,在 EWMBench 和 WorldSimProbe 榜单登顶

    启元具身研究中心发布 PrimeSim,这是一款基于预训练视频生成模型的世界模型仿真器,在 EWMBench 综合得分 6.09 位列第一,并在 WorldSimProbe 三项指标中夺冠。其技术路径包含中训练与后训练两阶段,支持跨本体迁移和超长时序推演,单卡 A100 推理速度达 10.12 FPS,相关权重与代码即将开源。

    推荐理由:原文展示了将视频生成模型改造为机器人仿真器的完整技术路径与量化指标,为具身智能训练提供了可复现的工程参考。

  2. 月之暗面 Kimi65

    Kimi 官方教程:如何结合外部工具制作 3D 作品

    Kimi 官方教程说明如何基于 Kimi K3.1 Pro 与 3D 制作工具制作网页、建筑、小游戏和预告片。教程区分参数化建模和网格化建模,并介绍 kimi.com 的 3D Make、Kimi Work、Kimi Code 和 Kimi API 四类入口,以及 Blender、Unreal Engine、Unity、Godot、Tripo、Meshy 等工具。

    推荐理由:文章将官方宣发的 3D 演示拆解为可复用步骤,并指出不同入口与外部工具在复杂场景制作中的分工。

  3. arXiv · AI62

    Disparity Laundering: 临床多智能体系统中缺乏公平性的共识

    研究发现临床大语言模型组成的多智能体团队无法消除偏见,所有配置都会导致对黑人患者的分诊差异。通过采用整合所有观点的多样化集成方法,无需重新训练即可将差异降低67%至94%,而单模型、单输出的现有审计方法无法发现这种被“洗白”的偏见。

    推荐理由:研究揭示了临床多智能体系统无法消除偏见,通过整合多元视角可将差异降低67%至94%,为系统审计提供了新方向。

10月29日周四
  1. Hugging Face Blog91

    Mistral Large 4 (Le Chonk) 上线 Hugging Face:多模态 MoE 开放权重模型

    Mistral Large 4(代号 Le Chonk)是一款由 Mistral 发布的 1T 总参、49B 激活参的多模态 MoE 开放权重模型,支持 1M 上下文窗口,并已在 Hugging Face 开源部署。

    推荐理由:Mistral Large 4 侧重网络安全与多模态编码能力,Hugging Face 给出了具体推理部署细节与微调路径。

10月28日周三
  1. Hacker News AI83

    Meta 发布 Muse Realtime Avatar:图像变实时互动角色

    Meta 发布 Muse Realtime Avatar,将任意参考图像转化为能实时说话的 AI 角色。该技术与 Muse Realtime Voice 共享语音 token 流,使表情、手势与语音同步,并支持无限实时视频生成。

    推荐理由:该发布把 Muse Realtime Voice 接入 Diffusion Transformer,实现 25 FPS 的 448x768 实时视频生成,并将推理优化降至 870 毫秒延迟。

  2. Hugging Face Blog87

    NVIDIA 开源 Nemotron 3.5 Transcribe 与 Granary v2,支持提示词驱动的多语言语音转录与微调

    NVIDIA 在 Hugging Face 与 ModelScope 开源 Nemotron 3.5 Transcribe 模型及 Granary v2 数据处理管线,将多语言语音转录、说话人归属与音频问答功能整合在同一权重中。

    推荐理由:模型集成转录、说话人归属与音频问答,配套开源数据管线,读者可据此判断如何将其适配到特定领域场景。

  3. 机器之心72

    Meta 提出 World-T³ 视频世界模型:测试时训练解决长时记忆遗忘并实现单卡实时生成

    Meta 等机构提出 World-T³ 相机可控视频世界模型,利用测试时训练将历史观测按相机位姿写入快速权重,实现长时记忆持久化。在重访基准测试中,该方法将重访 PSNR 从最强基线的 13.52 dB 提升至 18.31 dB,绝对旋转误差降至 1.075°。

    推荐理由:论文提出了将相机位姿记忆写入快速权重的测试时训练方案,单卡实现 20.6 FPS 实时长时生成。

  4. arXiv · NLP70

    EmbeddingGemma 2 发布:统一高效的开源多模态嵌入模型

    EmbeddingGemma 2 是一个开源的多模态嵌入模型,能在统一空间中表示文本、图像、音频和视频。该模型在多种嵌入基准测试中优于专业模型及体积大两到十二倍的模型,支持选择性加载模态编码器、调整视觉 token 预算及量化权重,模型已在 HuggingFace 和 LiteRT 上发布。

    推荐理由:新模型在基准测试中展现出跨模态优势,其可裁剪架构为资源受限场景的部署提供了参考。

  5. 量子位77

    百度开源文心Unlimited OCR 2:峰值KV缓存占用降至1.77GB,识别《指环王》884页仅需43分钟

    百度正式发布并开源文心Unlimited OCR 2。该模型峰值KV缓存占用从47GB降至1.77GB,减少约96%,单步解码速度达到Full Attention的7.0倍。实测在884页英文版《指环王》上,耗时约42分56秒完成解析,在MarathonDocBench和MPDocBench均取得最高分,项目已在GitHub和Hugging Face开放。

    推荐理由:原文通过实测《指环王》和引用技术报告,展示了该模型在超长文档处理中如何将显存占用降低至常规方案极小比例的工程细节。

  6. Hugging Face Blog77

    Liquid AI 发布开源多模态模型族 LFM3

    Liquid AI 发布新一代开源 Liquid Foundation Model(LFM3),将文本、视觉、音频、omni 和决策任务放入同一 2B 级底座,所有模型都可在单卡上微调并部署到边缘设备。

    推荐理由:Liquid AI把六种模态压进2B级开源权重,并用同一底座和单卡微调路径解释它如何落到边缘部署。

  7. Google DeepMind81

    Google DeepMind 发布世界模型 Genie 4

    Google DeepMind 发布新一代世界模型 Genie 4,这是首个能实时生成原生音频和交互式对话的世界模型,支持用户通过自然语言实时调整场景。Genie 4 依托 Gemini 模型家族实现物理规律仿真和复杂事件推理,目前作为研究预览版本向可信测试者开放,未来将面向 Project Genie 用户和 Gemini API 合作伙伴推出。

    推荐理由:原文展示了Genie 4如何将Gemini的推理能力与实时音视频生成结合,帮助读者理解世界模型在机器人训练和交互体验中的具体落点。

10月27日周二
  1. 机器之心67

    讯飞输入法16.0发布:推出意图成稿与个性化AI键盘

    科大讯飞发布讯飞输入法16.0,核心升级“意图成稿”功能,允许用户通过提供相关材料并表达意图,由系统自动生成适合场景的成稿。新版本推出个性化AI键盘,整合了任务级信息卡、长程习惯记忆及30万个用户共创表达技能,并基于Spark-ASR-2.0语音识别模型,将方言识别准确率提升至91%,使语音输入能够处理复杂的跨应用内容组织任务。

    推荐理由:讯飞输入法16.0推出意图成稿功能,通过多模态上下文与AI键盘整合,将语音交互从忠实记录推向内容组织。