MatMoE: 用于高效推理的混合精度动态混合专家马特洛什卡框架
MatMoE 是一种针对高效 MoE 推理的动态混合精度量化框架。 其算法通过 Matryoshka MoE PTQ 和动态比特位分配,在满足延迟约束的同时,将精度提升了 4.0% 至 18.3%。 相比静态方法,MatMoE 在 Raspberry Pi 5 等边缘设备上实现了 1.3 至 3.7 倍的推理加速。
MatMoE 是一种针对高效 MoE 推理的动态混合精度量化框架。 其算法通过 Matryoshka MoE PTQ 和动态比特位分配,在满足延迟约束的同时,将精度提升了 4.0% 至 18.3%。 相比静态方法,MatMoE 在 Raspberry Pi 5 等边缘设备上实现了 1.3 至 3.7 倍的推理加速。
TADA 是一款支持跨内存技术泛化的 DNN 加速器性能与能量估算器,其设计空间探索吞吐量比仿真器提升超过 10^4 倍。 该模型在 21 条未见过的技术曲线上预测能量与延迟的平均绝对百分比误差分别为 1.5-4.4% 和 0.7-1.2%,支持 SRAM 及 ReRAM 等多种存储类型。 该研究已被 2027 年 ASPDAC 会议接收。
针对视障与分心行人需求,一款 Android 应用利用重训练 YOLOv8 检测 18 类城市障碍物,实现低延迟实时预警。 通过剪枝、量化及早退出分支,配合 Android NNAPI,中等手机推理延迟由 3.2 秒降至 0.39-0.48 秒,推荐配置在 0.42-0.48 秒内保持 0.81 召回率,且无需专用传感器。
针对端侧视觉语言模型(VLM)在持续感知场景下的能耗,研究重审了视觉预填充(visual-prefill)的能量结论。 在 Jetson AGX Thor 和 Orin 上剖析 9 款 VLM 的 4,508 条记录,发现单次输出 token 解码成本随模型规模单调增长,而视觉预填充成本主要受视觉编码器架构效率主导。
端侧多模态智能体面临注意力结构不整除与KV缓存随轮次膨胀两大部署错配问题。PARC通过一阶泰勒重要度进行结构化剪枝,使注意力维度可被核心数整除,并按时效性重组KV缓存,让历史图像移出持久缓存。在七核部署下,该方法将视觉编码器延迟降低11.4%,解码吞吐量提升23.8%,每堆内存峰值降低12.7%。任务感知恢复训练恢复了98.7%的动作类型准确率差距。
论文提出 SE2 范式,利用 LLM 推理能力实现边缘 AI 应用开发的自适应工作流。 通过将开发分解为检索、推理、编码、测试四个原子操作,智能体可动态选择下一步骤。 实验显示,该方法生成的程序准确率比最先进基线高出 26%,资源消耗降低 28%。
Trail 提出一种完全本地化的智能家庭控制框架,通过分层类型化决策替代开放生成,确保动作有效性并支持置信度弃选。在扩展的 HomeBench 数据集上,Trail 在 Trek-Robust 测试中达到 85.3% 准确率,显著优于微调 Qwen3.5-4B 基线的 69.8%。 该框架引入结构化记忆模块处理多轮交互,解决 75.6% 依赖前序轮次的请求,远超基线模型的 42.5%。
该研究通过72种压缩配置评估了量化、剪枝与恢复技术在2.7B-7B参数模型上的交互影响。INT8量化在内存减少40-45%的情况下几乎无损,而NF4量化结合L1幅度剪枝导致模型崩溃。LoRA微调可将剪枝后的困惑度降低高达97%。
Apple Watch 的 Audio Intelligence 功能随 iOS 27.3 开始 beta 测试,支持开发者。该功能包含检测关键声音、识别歌曲、回放对话和记录笔记四项 opt-in 特性。
北京大学孙仲团队在Nature旗下期刊发表综述论文,正式定义现代模拟计算,指出其核心在于利用阻变存储器(RRAM)执行矩阵计算,区别于传统CMOS电路。团队实测表明,通过位切片技术,模拟矩阵计算方案在FP32精度下吞吐量达NVIDIA H100的1000倍,能效约为其100倍,且支持在28纳米成熟制程制造。
高通宣布高通 AI Hub 面向中国开发者开放,助力加速开发终端侧生成式 AI 与智能体 AI。平台集成 Models、Workbench 与 GenieX 框架,提供超 230 个预优化模型库及云托管设备调优环境。 开发者可通过示例应用、参考代码与设备农场资源,将模型集成至应用中并获取技术支持。
PhoneUse 允许 Claude Code 等 AI 智能体通过 MCP 或 API 控制真实 iPhone 15 Pro,执行应用操作、读取 SMS 及通过设备完整性检查。
爱信(Aisin)宣布与东北大学合作,开发全球首款集成 STT-MRAM 的 16nm 工艺 AI SoC。该芯片集成 32MB 嵌入式 MRAM,支持近内存计算,开机无需外部 DRAM。 采用 8/16 位混合乘法架构,通过 Tiny YOLOv3 实现片上目标检测。系统启动耗时缩短至 65.7ms,AI 处理速度提升 10.16 倍,单帧能耗仅为传统方案的 1/50。
高通宣布第一代高带宽计算(HBC)技术已在美国圣迭戈实验室完成硬件验证,验证了其完整读写能力和近存计算能力。该 HBC 采用多层 LPDDR 垂直堆叠,AI250 加速卡计划 2027 年上半年出样,将提供 133 TB/s 的有效内存带宽,相比采用 LPDDR5X 的 AI200 提升 18 倍。
PaidinToken 推出开源 LLM Token 定价工具及本地 GPU VRAM 计算器,涵盖 16 种主流硬件配置。 支持 NVIDIA RTX 3060 至 5090 及苹果硅芯片,提供各显卡最大推荐模型参数、量化精度及 Ollama 部署命令。 帮助用户确认本地硬件运行 LLM 的可行性,避免盲目下载模型权重。
LLM on Anything 收录在复古计算机、游戏机、手持设备及微控制器上本地运行语言模型的项目,核心规则是推理必须在设备本地完成。
美团 LongCat 团队发布面向长程智能体任务的原生多模态模型 LongCat-2.5,总参数量为 1.6 万亿,每个 Token 激活约 480 亿参数。
同一新闻,精选展示《美团正式发布 LongCat-2.5:面向智能体任务的原生多模态模型》
DiffuSpace 发布开源扩散语言模型 Clover-35B-A3B-Preview,在 SWE-bench Verified 等智能体编程评测中达到或超过同规模自回归模型,同时实现 680 tokens/s 的更快生成速度。模型通过引入块扩散与双向 GDN 架构解决历史记忆复用问题,并已在 16GB 显存设备上实现 INT4 量化部署。
推荐理由:作为首个在Agent任务上超过同规模自回归模型的开源扩散语言模型,Clover 35B证明了并行生成速度与高性能可以共存。
缺少文章内容,无法生成摘要。
Meta 将资源重点转向可穿戴设备和 AI 业务,降低消费级 VR 硬件及元宇宙优先级。 Reality Labs 第三季度营收为 4.43 亿美元,同比下降 6%,主要因 Quest 头显销量减少。 Meta 首席财务官表示公司并未完全放弃 VR,但现阶段优先实现超级智能,扎克伯格仍看好其长期潜力。
bringYourOwnBrain 发布开源权重本地 AI 平台,通过 WebGPU 和 WASM 在浏览器内运行 Qwen2.5 模型,实现 100% 本地推理且无云成本。 该 SDK 基于 Apache 2.0 协议开源,支持 Apple Silicon、Nvidia 及 AMD 硬件加速,若 WebGPU 不可用则自动回退至 CPU,开发者可将其嵌入商用或非商用游戏。
小米开源AI硬件HachimoDock,硬件自制成本约150元,集成个性化桌宠、语音操控Agent、智能家居联动与自定义组件创作功能。该软件源码已在GitHub公开,用户可复刻并基于此进行二次开发。
推荐理由:小米以约150元硬件成本开源HachimoDock,展示语音指挥Agent与智能家居联动能力,为低成本AI硬件创作提供可复刻方案。
Blaize 的 Graph Streaming Processor (GSP) 在边缘端以 16 TOPS 性能、7W 功耗运行 AI 图,支持自动驾驶与工业检测。
三星预计 2027 年 8nm 及以下制程产能利用率有望突破 100%,需求增速超产能扩张。 2nm 制程项目预计同比增长 1 倍以上,主要受 AI/HPC 客户驱动,三星正考虑在韩美建厂以扩产。 先进制程需求激增推动产能布局,强化全球 AI/HPC 芯片供应能力。
提出一种基于学习的自适应 B-spline 节点放置方法,用于近似常微分方程生成的轨迹。神经网络从系统初始条件映射到局部变化特征量,构建非均匀节点分布以近似均衡局部误差指示器。该方法在满足规定精度下减少了所需控制点数量,适用于非线性四旋翼系统的实时轨迹近似。
提出SACQ量化框架,在1.5 bits下LIBERO成功率达93.85%,内存降低4.83倍。 结合结构感知码本与动作感知混合比特分配,配合INT8激活量化后速度提升1.51倍。
4B参数混合智能体Mage-VL-Cowork在OSWorld-Verified基准测试中得分达66.0%,实现同级参数规模的最优性能。 Mage-CUA-Forge合成293,806个桌面与Web任务,并降低82.6%的单任务开销;通过五阶段渐进课程完成训练。 该成果将前沿边界推向端侧智能领域。
研究针对胸前佩戴 UWB 标签导致的穿主非视距(WNLOS)现象,对比了现有及设备端的 ML 分类器与 UWB 无线电链路指标(LI)分类器,并提出了利用两者互补性的新型混合分类方案。
针对 HiFloat4 层级 BFP 格式缺乏有效校准方法的问题,论文提出 HiGPTQ、HiAutoRound 和 HiFlatQuant 三种校准方案。 这三种方法均显著优于直接 HiF4 转换,将 HiF4 与 BF16 的精度差距缩小至 1% 以内,且在各类模型和下游任务中性能优于 NVFP4 格式。 解决低精度量化带来的精度下降问题,进一步降低 LLM 部署的计算成本。
论文提出 LanG 2.0,一种通过结构性保障而非模型精度提供安全保证的 Agentic 系统,用于安全运营中心。 该系统将战役关联精度从 18.75% 提升至 51.81%,规则接受度达 98.33%。
研究者提出亚层切片方案,目标让 500 MB 至 1 GB 内存的设备参与 AI 模型推理。该方案基于 MoE 架构的专家级分片与 MLA 技术的 KV 缓存压缩,通过稀疏计算降低通信开销。目前仍处于架构设计阶段,实际部署需进一步基准测试验证可行性。
作者在 Commodore 64 上实现了基于概率 PCA 的算法,生成 8x8 复古游戏 sprite。 使用 Python 训练模型,参数经简化逻辑转为 BASIC 代码,无需外部库。 在 C64 上生成图像耗时约 20 分钟(94 次迭代),8x8 图像扩大至 64x64 显示。
Gnosh.ai 在 AMD Ryzen AI Max+ 395 上运行 Qwen3.8 27B 完成 Go 项目重命名任务,通过功能性上下文管理避免传统摘要压缩。 在 262K token 的真实运行中,该方案无需生成摘要或滑动窗口,请求处理量仅为常规对话的 1/8;普通 Agent 摘要操作需约 6 分钟 GPU 时间,而 Gnosh 的 mem 块更新仅耗时 47ms。
阿里旗下千问 AI 眼镜今日迎来 OTA 升级,新增通话翻译与媒体翻译功能。 通话翻译支持跨国实时交流,媒体翻译可同步显示海外播客、外语影视的译文。 升级还优化了嘈杂环境下的语音识别,提升同声传译的准确性与及时性。
9to5Mac 专栏指出,若开源权重模型成为企业工作的一部分,Mac 的价格将不再重要。 该观点基于假设场景而非部署数据,认为相比不断增长的 Token 账单,Apple Silicon 硬件成本可能显得“几乎免费”。 这反映了企业关于 AI 工作负载部署地点的日益增长的问题。
云端语言模型提供商存在结构性缺陷,他们试图剥离 LLM 带来的收益却拒绝承担相应法律责任。 GPT 等模型会静默修改用户请求,且服务商可能随意更改规则,导致企业因依赖 2-3 家巨头而面临业务中断风险。 模型仅在本地部署时才能保持一致性与可靠性,避免被突然审查或停用。
小米发布并开源轻量级文档理解模型 Xiaomi-OCR-0,参数量仅为 0.8B,融合文档解析、关键信息抽取与视觉问答能力。该模型在 OmniDocBench v1.6 基准得分 96.83,位列 1B 以下模型第一;在真实场景评测 Real5-OmniDocBench 中得分 95.24,排名第一。
XHEART 推出旗舰智驾芯片 X7 Ultra,该芯片专为大模型定制,大模型算力达 700 TOPS,基于量产 Transformer 模型实测计算利用率达 98.7%。X7 系列已量产 8 个月,累计出货超 20 万颗,搭载 10 款量产车型并获 40 余款车型订单。公司计划启动下一代 X9 研发,其大模型算力目标为 3000 TOPS,面向 L4 自动驾驶场景。
ContextuAI 发布开源项目 Hey Spark,支持在本地笔记本上运行实时语音助手。其唤醒词、语音识别和合成全在本地 CPU 完成,后台“大脑”可自由接入 Claude、OpenAI 或本地模型。助手通过 MCP 协议连接 GitHub、邮件等工具,对变更类操作强制需语音确认,并支持 macOS 和 Windows 桌面端。
Android 应用 NichiHab 利用 Gemini 2.0 Flash 实时验证任务完成情况,通过 Accessibility Service 阻断干扰应用以强制专注。 该应用采用 Hard Mode 限制卸载和设置访问,任务完成后解锁屏幕时间。隐私方面照片处理后即销毁,且基于 Kotlin 和 C++ 开发。