小米 MiMo Code V0.1.0 发布并开源
小米发布并开源终端 AI 编程助手 MiMo Code V0.1.0,内置限时免费的多模态模型 MiMo-V2.5,并采用 MIT 协议开放。
推荐理由:原文给出了 MiMo Code 的专属 Harness、Compose 模式以及在相同模型下对比 Claude Code 的基准分数,可据此理解其协同优化思路。
技术方向
AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。
27 条精选近 30 天 14 条共收录 280 条
小米发布并开源终端 AI 编程助手 MiMo Code V0.1.0,内置限时免费的多模态模型 MiMo-V2.5,并采用 MIT 协议开放。
推荐理由:原文给出了 MiMo Code 的专属 Harness、Compose 模式以及在相同模型下对比 Claude Code 的基准分数,可据此理解其协同优化思路。
OpenAI 发布高级语音到语音模型 gpt-realtime 及 Realtime API 更新。新能力包括 MCP server 支持、图像输入以及 SIP 电话呼叫支持。
推荐理由:OpenAI 发布 gpt-realtime 模型,新增图像输入与 SIP 电话支持,扩展了实时语音交互的技术边界。
Hugging Face 发布专为 Python 设计实时通信库 FastRTC,简化实时音视频 AI 应用开发。该库内置语音检测、轮替控制和 WebRTC Gradio 界面,支持通过 FastAPI 自定义部署,并提供免费电话接入功能,开发者可结合 Moonshine、Kokoro 等模型快速构建实时语音应用。
推荐理由:为 Python 开发者提供开箱即用的实时音视频通信库,降低 WebRTC 工程门槛,并内置 Gradio 界面和电话接入功能。
Hugging Face 演示了如何使用推测解码(Speculative Decoding)在保持模型输出不变的前提下,将 Whisper 语音转写推理速度提升约 2 倍。
推荐理由:原文提供了数学保证输出不变的 2 倍加速原理和 Python 实操,读者可直接复用到现有语音转写流程。
OpenAI 发布 ChatGPT 的 iOS 应用,支持对话同步、语音输入,并集成了最新的模型改进。
推荐理由:原文说明 ChatGPT iOS 应用同步对话和语音输入,方便读者了解移动端功能更新。
Hugging Face 在 Transformers 库中实现了微软研发的 SpeechT5 语音模型,支持 TTS、ASR 和语音转换。该模型利用统一的 Transformer 架构,通过在混合数据上预训练并结合不同的前馈层和反向网络来执行多项任务。
推荐理由:通过预训练统一模型架构,展示了语音与文本模态如何共享 Transformer 骨干实现多任务处理。
OpenAI 训练并开源了名为 Whisper 的神经网络,其在英语语音识别上具备接近人类水平的鲁棒性和精度。
推荐理由:官方开源了具备类人鲁棒性和精度的英语语音识别模型。