SpecRelay 通过异步流水线与路由优化边缘-云推测解码吞吐量
SpecRelay 提出边缘-云 LLM 推理系统,通过异步验证和 Latency-Aware Router 优化 RTT 开销。 在 250 ms 额外往返延迟且精度匹配的情况下,相比同步基线,SpecRelay 在 SPROUT 和 OlympiadBench 上实现 1.95x 和 1.55x 吞吐量提升,同时仅将 47% 和 39% 的查询发送至云端。
SpecRelay 提出边缘-云 LLM 推理系统,通过异步验证和 Latency-Aware Router 优化 RTT 开销。 在 250 ms 额外往返延迟且精度匹配的情况下,相比同步基线,SpecRelay 在 SPROUT 和 OlympiadBench 上实现 1.95x 和 1.55x 吞吐量提升,同时仅将 47% 和 39% 的查询发送至云端。
端侧处方识别管线的生产召回率仅为 8%,其中手写处方识别率为 0%。引入 2B 参数视觉语言模型与旋转裁剪技术后,总召回率升至 67%,手写识别率提升至 20/45,且未产生不安全输出。 单张照片推理耗时从 12 秒增至 61 秒,内存占用约 1.9 GB。旋转裁剪主要改善读数准确性,而新模型大幅提升召回率。OCR 置信度门控成为主要瓶颈。
该论文提出以家庭本地服务器为核心的设计导向综述框架,梳理了生成式 AI 在全屋智能服务中的应用架构。 框架识别出本地服务器的九项职责,生成模型负责感知与意图理解,确定性验证及授权租约限制动作风险。 现有基准测试依赖虚拟环境,无法替代真实部署评估;本地部署本身不必然更安全。
NVIDIA 发布了 Nemotron 3.5 Bolt E4B 4GB,这是一个基于 Gemma-4-E4B-it 后训练优化的开放高效小语言模型,专为快速本地语音助手、交互角色及嵌入式端侧场景设计。
推荐理由:展示了该小模型在21项基准中取得最高平均准确率及最低输出token数,并量化了推理加速指标。
该研究发布整合量化语言模型与本地知识库的离线 Android 母婴健康助手,在 6GB 手机上实现 14.3s 中位延迟。对比显示 Gemma 4 E2B 响应质量更高,150 条响应均分 3.80/4;Qwen3.5 0.8B 生成更快且内存占用更低。
研究定义“词表税”为未用 token 占模型字节比例,测得 Gemma 4 E2B 中达 1.93 GB。 通过合并闭包与裁剪证书修复 BPE 分词器,中位移除 89.7% 行且预测保持。 该方法以开源 Python 包及 41 种语言数据集形式发布。
摘要:FETTUCCINE 是一种移动端脑电转文本框架,在商用设备上实现 370 倍实时吞吐量,将词错误率降至 4.39%。 该模型利用自动语音识别技术,支持微调以应对神经非平稳性,并通过梯度显著性图定位关键神经特征。 这是首次在移动设备上实现脑电转文本解码,为便携式神经假体通信提供了新方案。
在 Agilex 5 FPGA 上实现的 3.69 亿参数 Gated DeltaNet 模型 Tile 证明,递归状态分页并非解码瓶颈。该 Tile 处理单个 369 亿参数层,状态分页仅占总计算量的 11.2%,而权重加载限制了性能。
Superfluid 是开源 LLM 服务器,用于本地设备上的 LLM 推理,支持单设备多智能体共享模型及跨设备集群服务。
推荐理由:原文给出了具体硬件下的延迟改善和吞吐数据,读者可据此评估分布式本地推理在实际混合算力场景中的可行性。
一项针对 Qwen2.5-Coder 在 MacBook Air M2 上的评估表明,在 1 至 2 GB 文件大小区间,选择 q4_K_M 格式优于大模型低精度选项。 测试显示 3B 模型在 2 GB 档位的正确性与能耗表现均达前沿水平,而 7B-q2_K 在 3 GB 档位能耗增加但无显著正确率提升。 该研究为本地部署代码助手提供了基于 Ollama 文件大小的具体选型指南。
研究人员扩展 Halide 语言,将算法与值表示分离,为量化张量生成 347 个内核。 这些内核覆盖 38 个 GGML 缺失的权重激活对,代码量比 GGML 和 KleidiAI 少 3.7 倍。 在 Apple M3 Max 上,内核速度达到 GGML 专用内核的至少 95%。
A$^3$ 是一种自适应音频智能体框架,将流水线阶段部署在边缘服务器,并在设备保留完整回退智能体,通过链路感知截止时间决定何时放弃服务器。在 Jetson 设备与 RTX A4500 服务器上,A$^3$ 在链路正常时性能与纯服务器智能体持平,在 AGX 全断网时响应所有请求,且在模拟断网中优于百分位对冲策略。
端侧强化学习运行时 RL$^{\mathrm{RT}}$ 解决设备上 Actor 与 Learner 共享 GPU 导致的策略漂移或停顿问题。 该系统通过刷新边界和感知松弛的 GPU 许可,在 Jetson 板上将 16.8 M 参数策略的截止时间错过率控制在 1% 以下,而传统设计高达 85 至 100%。
在 4-bit 量化端侧模型(Llama-3.2-3B 和 Qwen2.5-3B)上,四种幻觉检测器的排名发生反转(Spearman rho 为 -0.80),且便宜的词汇基线与采样方法无统计显著差异。
Hugging Face 发布 llama.cpp 与 ggml 的 v1.0.0 库版本,确立以重大版本标记 API 和 ABI 不兼容的语义版本规则。该引擎支持跨平台本地多模态 LLM 推理,覆盖 150 多种模型架构及主流推测解码方法,并扩展至 Linux、macOS、Windows、Android、iOS 等发行渠道。
研究验证使用 Qwen3-0.6B 和 Qwen3-1.7B 的 8-bit 与低精度副本分歧进行错误检测。在 8,398 道选择题中,0.6B 模型 AUROC 达 0.684,但 1.7B 模型增益不显著。 发现该信号并非量化特有,重排序额外推理路径比单纯增加 8-bit 推理更优,且无法有效替代路由至更大模型。
该研究提出基于NVIDIA Tesla T4硬件的多模态RAG优化框架,将7B模型VRAM占用降至8.37 GB,实现12-16 GB显卡部署。 采用NF4量化保持长上下文稳定性(81 ms/tok延迟),结合Florence-2视觉集成仅增加430 MB VRAM开销;结构化提示词使延迟降低47%,数学推理准确率从35.0%恢复至92.0%。
研究提出流式评估协议 Costream,用于评估穿戴式跌倒检测器在连续传感器流中的表现。 该协议通过聚合窗口级分数生成时间置信度图并发出带时间戳的事件。实验显示,流式评估在 20 个模型窗口配置中有 6 个选出了与预分段评估不同的最优方法,并揭示了误报率等部署相关指标。
该研究提出一种基于智能手机声学信号的非侵入式呼吸相位检测框架,采用混合 CNN-Transformer 架构捕捉呼吸循环结构。在独立未见测试集上,3 类模型实现 76.94% 帧级准确率、Cohen's Kappa 0.65 及 99.2% 呼气检测效率。端到端 ONNX 部署支持低于 20 毫秒延迟的端侧推理,实现隐私保护下的实时监测。
metalSPARSE 是 Apple GPU 上首个 2:4 半结构化稀疏 GEMV 内核,采用 Metal 编写融合解码器。在 Qwen2.5-1.5B 模型上,8 GB M2 设备解码速度比 PyTorch-MPS 快 3.6 倍,16 GB M4 设备比 MLX 快 1.52 倍。
研究人员提出 Metal Sandbox 基础设施,通过跨节点命令级调度优化 Apple Silicon 上 GPU 编码智能体的执行效率。 在 4 台 Mac mini M4 节点上,集中需求下命令吞吐量提升 1.68 至 2.05 倍;动态调度使平均工具等待时间降低 18.8%。 该项目已与 Harbor 集成,并在 GitHub 开源。
Mobile AI Factory 是一个智能体系统,可为特定任务和手机构建微调、量化的小型语言模型(SLM)。 该系统在10项任务和4款Android手机上评估,其端侧模型在5项任务上超过两个五-shot前沿模型最多0.34,且比穷举训练节省19倍GPU时间。 代码已开源。
EngineAgent 通过层级感知引擎索引和预验证工作流,实现了跨层协调的端侧 LLM 模型启用。该系统在 12 项任务中,使用两种底层 LLM 均达到 75% 的端到端成功率,远超最强编码智能体基线的 33.3%,并降低了平均任务时间和 API 成本。
Swanada 开源 16 kHz 流式 ASR 系统,共享 INT8 Conformer 编码器配合 12 个热插拔线性 CTC 头,移动端存储降至 25.85 MB。 Studio 级 17 层模型 WER 5.43%,Mobile 级 14 层模型 WER 18.56%;TTFT 中位 30.6 ms。 覆盖古典梵文及十种印度语言,消除云端延迟与音频保留成本。
Qwen3-0.6B 模型通过监控熵值或 margin 触发权重精度从 4-bit 升级至 8-bit 的自适应解码,在 GSM8K 测试中 15% 升级预算下捕获 94% 的 top-2 翻转。
针对车联网中视觉 Transformer 模型部署难题,提出联合选择模型分区点、每层量化位宽及执行放置的框架,最小化计算与通信能耗。 该框架被建模为混合整数线性规划问题(MILP),在 Jetson Orin 系列节点上评估,通过 OPV2V 驱动的多流工作负载测试。
summary_zh: eegdash-corpus-v0 发布了 77 个可再分发数据集,包含 7,272 名受试者的 14,075 小时 200 Hz EEG 数据,并通过 Hugging Face 提供 Zarr 存储访问。
提出 FedBNN 联邦感知二值化框架,在异构数据下实现与全精度模型相当的精度。 该方法利用全局模型信息引导局部二值化,相比全精度模型在 FLOPs 上节省最高 58 倍,内存节省 32 倍。 为资源受限边缘设备提供了预测性能与部署效率的实用平衡方案。
HandsOnAid 在 Pixel 7 Pro 手机上实现离线急救响应,4-bit 微调 Gemma 2B 模型首次生成文本耗时 6.86 秒。 该模型经 QLoRA 在 5,550 条急救问答上微调,检索增强版得分 2.51/5,高于基础模型的 2.34 分。
提出PSL-RGHA框架,通过参考梯度半空间对齐机制缓解客户端训练发散。 结合参考梯度渐进构建与梯度半空间对齐两个组件,近似全局下降方向并限制冲突。实验证明其在多种设置下优于现有基线模型。
研究提出 Deep Personalization 框架,通过 Observer Agent 持续观察桌面活动并适配干预时机,利用隐式反馈提升主动 Agent 的个性化支持效果。
Tether AI 发布 BotPsy,一款基于 Qwen3.5-0.8B 构建的 0.8B 参数端侧智能体模型,采用 Apache 2.0 协议开源。通过在 BFCL v4 等六项工具调用基准上取得领先成绩(平均 45.0 分),并在推理 token 效率上较基座模型提升约 3 倍,该模型在低中难度任务场景中展现出优于 1.2B 以下规模模型的表现力。
推荐理由:0.8B 端侧模型通过蒸馏与两轮 RL 训练,在工具调用和多轮 Agent 基准上超越 2.5 倍参数量的模型,展示了小参数智能体路径。
研究提出 HiFloat4 格式及 Rollout-ResQ 方法,实现首次端到端 FP4 强化学习后训练,Qwen2.5-3B 模型精度差距从 3.59% 缩至 1.39%。
HARENA 是一个具备公开排行榜的活基准,评估了 16 种神经架构在智能手机、智能手表和微控制器等 29 个数据集上的性能与部署成本。 在测试中,CNN-HAR 整体领先,但有 8 种架构与其平均宏观 F1 分数差距在 2.5 点以内,而计算成本存在数量级差异。
研究者提出 LAD-TS 任务调度方法,结合潜在动作扩散网络与深度强化学习,在边缘网络中优化 AIGC 服务延迟。 该系统原型 DEdgeAI 显示,相比最先进方法,服务延迟减少 7.36%–18.11%;相比代表性商业平台,延迟减少 34.07%–94.96%。
LO-World 提出统一 4D 世界模型,在共享 BEV 潜在空间内同时预测 3D 语义占用和 LiDAR 点云。该模型将占用预测 IoU 提升 10.9%,LiDAR Chamfer Distance 降低 30.1%,单张 RTX 4090 上实现超 25 FPS 实时吞吐。
PhysDNet 在 Seeing Through Fog 基准上性能优于竞品 1.67 dB,计算量降低 5.2 倍,恢复 54.9% 的雾致检测损失。 该轻量架构融合近红外图像与稀疏 LiDAR 深度,通过物理约束双头目标进行训练,在 L/M/S 变体中以低于 4 瓦功耗运行。 模型被 NeurIPS 2026 接收,支持在固定功能 NPU 上部署。
生成式语音模型削弱了移动语音交互的生物特征认证安全性。 MoBiMark 提出一种实时移动端生物语音水印系统,通过超声波探测结合动态水印,实现实时说话人身份认证与篡改检测。 在四款智能手机 50 名用户测试中,系统平均准确率达 99.79%,且对语音质量影响可忽略。
该研究提出一种受神经活动同步启发的多层脉冲神经网络局部学习框架。各层使用局部计算的梯度更新权重,无需反向传播,显著降低了计算复杂度、训练延迟和能耗。模型在 MNIST 数据集上达到 97.78% 的分类准确率。 在加性高斯噪声和椒盐噪声测试中,模型在不同噪声水平下均表现出稳健性能,证明了其在低功耗边缘设备上的应用潜力。
RoadState-VLM 通过自回归状态估计生成结构化车道级语义,核心模型在真实数据集上平均准确率达 94.33%。 系统引入 Geo-CoT 机制及级联路由流程,将常规案例分发至轻量模型。 自 2025 年 3 月部署以来,已覆盖 360 余个城市,使生产总成本降低 30%。