AutoTailor: 面向多样化边缘设备的自动化高效自适应模型部署
AutoTailor 是首个实现边缘设备端到端 SuperNet 自适应模型部署的自动化框架。 该框架通过计算图引导编译自动将用户提供的 ML 模型转换为 SuperNets,并引入无学习延迟与准确率预测器。 相比 SOTA 方法,AutoTailor 将 SuperNet 构建代码量减少 10.8–34.5 倍,预测器剖析时间减少 2.2–11.5 倍。
AutoTailor 是首个实现边缘设备端到端 SuperNet 自适应模型部署的自动化框架。 该框架通过计算图引导编译自动将用户提供的 ML 模型转换为 SuperNets,并引入无学习延迟与准确率预测器。 相比 SOTA 方法,AutoTailor 将 SuperNet 构建代码量减少 10.8–34.5 倍,预测器剖析时间减少 2.2–11.5 倍。
ATLAS 系统利用基础模型将专家意图编译为语义评分逻辑,结合强化学习调度器优化离网野生动物监测的卫星回传资源。 在18个离网鲑鱼监测点部署超6个月,ATLAS 实现87.4%的片段选择准确率,较基线高出26.4个百分点,并在低光照期间保持近连续运行,基线此时宕机率为16.0%。
PACT 是一个利用原生 NVFP4 GEMM 加速冻结投影的 LoRA 微调系统,旨在降低消费者显卡上的计算与内存约束。 在 16GB RTX 5080 上评估显示,该系统通过复用量化 RMSNorm 输出、保存 NVFP4 激活值用于反向传播,并离线使用 GPTQ 校准冻结权重,实现了比现有方法更低的内存占用和更快的微调速度,且保持具有竞争力的准确率。
该系统将冻结权重矩阵乘积移至手机 NPU,保持训练图和 LoRA 适配器在 CPU 运行。 输入梯度内核复用常驻权重瓦片,通过基于梯度敏感度的精度选择和行级范围保护保持 FP16 输出精度。 在两款 Qualcomm Snapdragon 平台上使用 Qwen 和 Llama 模型验证,支持夜间个性化微调。
EdgeKernelBench 结合统一 IR 部署框架与分层基准,针对边缘异构硬件进行 LLM Kernel 生成评估。在单次生成尝试中,最佳模型 Correct@1 达 64.5%,但 Fast@1.0 仅 25.5%。 由此推出的分层优化智能体 LEKA,在子集评测中 Fast@1.0 达 43.5%,显著优于直接生成的 13.0% 和 Claude Code 的 26.1%。
提出名为 TideKV 的在线 GPU 缓存构建架构,通过层感知延迟驱逐保留全提示 KV,同时显著降低峰值内存占用。 在 A100 上 64K 推理时,构建期临时内存占用降低 83.89%;在 RTX 4090 上 128K prefill 时首 token 延迟仅增加 1.06%。
低精度智能体调用 BF16 模型作为回退时,其价值取决于挽救与损害任务数的差值。 实验基于 Qwen3 智能体在 tau2-bench 进行,模拟 4-bit 权重下,单次动作替换的净收益接近零。 仅当替换动作及后续执行时,部分场景出现正向收益,需结合同精度参照评估。
该研究提出一种硬件感知的多目标结构化剪枝框架,在 37.5% 和 50% 剪枝率下,其常识推理任务性能优于现有方法,同时显著降低推理成本。 该方法采用两阶段策略:粗粒度阶段移除整个 Attention 和 MLP 块,细粒度阶段通过并行贝叶斯优化在时延约束下搜索最佳逐层剪枝比例。
PAAC 提出隐私感知的智能体设备云协同框架,将规划器-执行器分解对齐至设备云边界,使角色专业化本身成为隐私机制。 云代理处理保留敏感值推理角色的类型化占位符,设备代理识别敏感片段并蒸馏执行结果,确定性注册表执行替换。 在三个智能体基准测试中,PAAC 提升平均准确率 15-36%,降低平均泄露 2-6 倍,并在 17 个额外基准中保持一致性改进。
summary_zh: 研究指出,小模型在受计算限制下的效率常被单一内存指标掩盖,实际性能受 Tokenizer 覆盖率制约。 TinyLlama-1.1B 在 Odia 等脚本中未覆盖任何码点,导致 93.6% 的 Token 退化为原始字节,而 MuRIL 以更少参数实现零 UNK 率。
Muse Glimmer 是一个基于 Apache 2.0 许可开源的 300 亿参数因果语言模型,专为消费级硬件设计,集成了多模态感知、多步推理与工具调用功能。模型经过 4-bit 量化优化可在单 GPU 上本地运行,无需云端基础设施,在同量级模型中实现了 agentic benchmark 的领先性能,并支持超过 100 种语言的训练数据。
推荐理由:Muse Glimmer 作为 30B 参数模型实现了本地智能体功能,为消费级硬件部署多模态推理模型提供了新路径。
Qoder 推出 Phone Use 插件,用户通过数据线将 iPhone 连接至 Mac,即可让 AI 直接查看并操作手机界面,完成打开 App、点击、滑动、输入等任务,安卓系统即将支持。该功能要求 Qoder 版本不低于 0.4.5,iOS 版本不低于 16,并需在手机端开启开发者模式。
推荐理由:原文给出了连接手机的操作路径和三类典型场景,读者可以据此判断它能覆盖哪些日常自动化任务。
面壁智能正式发布大监督智能体,由MiniCPM系列模型驱动,提供风险、内控、合规、审计、纪检“五位一体”监督能力。 该智能体拥有50+监督技能,覆盖九大业务域,具备7×24预警巡航及端侧离线可用特性。 旨在解决覆盖难等痛点,通过AI原生底座助力企业构建“大监督”格局。
PFP-BNNs 通过单次确定性前向传播替代采样,在嵌入式 ARM CPU 上实现最高 4200 倍推理加速。 该方案基于 TVM 编译器库,在 Dirty-MNIST 数据集上,其精度、不确定性估计及 OOD 检测性能均匹配 SVI-BNNs。 结合代码生成实现 BNN 在资源受限系统的高效部署,已被 ACM TACO 接收。
LeanTTA 提出了一种无反向传播且无状态的量化测试时自适应框架,专为资源受限的边缘设备设计。 该方法通过动态更新归一化统计量实现自适应,结合部分自适应与量化模块融合,ResNet18 模型峰值内存占用仅为 11.2MB,误差降低 15.7%。 LeanTTA 在传感器模态验证中显著优于现有最先进方法,解决了边缘部署中数据有限与环境多变导致的准确性与效率平衡难题。
研究人员开发 ECG-SDI 框架,利用单导联心电图实现连续睡眠深度分析。在 12,392 份多导睡眠图数据中,非 REM 阶段相关系数达 0.848,REM 分类 AUROC 为 0.977。 识别出的睡眠异常亚型全因死亡风险较高(调整 HR 1.20)。CPAP 使用后浅层睡眠负担下降 16.0%,支持居家监测应用。
通过通道回放剪枝和 4 位整数推理,该系统在 0.72M 参数下实现了 95.2% 的识别准确率。 检测器基于 YOLOv5n/YOLOv8n 压缩,剪枝移除 60.3% 参数;识别器使用 W4A8 量化仅占 12.1KB 内存。 在 Jetson AGX Orin 上运行速度达 94 帧/秒,满足汽车嵌入式系统能效约束。
提出 SRCoT 模块化架构,在 Apple M4 128GB 本地设备运行,将生成组织为闭环检索-反思-修正流程。 该架构分离环境状态与持久知识,利用 BM25 检索提供上下文,并生成缺失信息标记及声明-证据映射以支持决策。 研究显示其具备报告级可检查性与本地执行能力,但存在来源分配错误等局限,属于需人工审查的研究概念验证。
1. HydraLLM 提出基于 MQA 的弹性架构,通过激活注意力头数量控制模型宽度,覆盖比仅 FFN 弹性架构更广的参数配置范围。 2. 静态到弹性转换管线支持知识蒸馏;75% 头激活时 TriviaQA 准确率超基线 2.2 点,50% 激活时多模态 CLIPScore 接近 7 倍大的 Gemma 3 4B。 3. 25% 激活时 token 生成吞吐量比全宽度配置提升 75.3%。
FederatedBytes 通过无分词器字节级处理文本与图像,结合线性注意力机制,在联邦学习中显著降低内存与通信开销。 模型在多语言和多模态情绪分析任务(Multilingual Amazon Reviews 和 ScienceQA 数据集)中,准确率超过 ByT5 和 LSTM 等可比模型,同时大幅减少资源消耗。
Sigma-Delta采样器将随机采样与退火步骤嵌入一阶噪声整形循环,推动量化噪声移出低频适应带,使离散权重更新沿崎岖损失景观中的平滑下降轨迹执行。 在CIFAR-10上,13M参数三值模型精度距全精度不足1%;在MatMul-free语言模型(2.7B参数)上,该方法优于直通估计器基线。 与标准量化感知训练相比,该框架降低训练内存占用超50%,速度提升一个数量级,适用于设备端大模型训练与微调。
研究以冻结的16 MB 512-bit词表替代Gemma 3 270M的可训练嵌入层,整体模型压缩至46 MB。 该方案训练后性能在LAMBADA和PIQA等基准上不劣于基线,稀有词处理优于学习式嵌入。 结合三元BitNet架构,模型在笔记本CPU上实现615-740 tokens/秒生成,内存占用仅为基线的七分之一。
NVIDIA RTX Spark笔记本电脑正式发售,带来NVIDIA Blackwell RTX图形功能、最高128GB统一内存和完整NVIDIA AI平台,以紧凑的高端Windows PC形态提供本地AI、内容创作和游戏功能。
独立开发者开源端侧实时同传系统 VoxWeft,基于 VoxCPM2 在 Apple Silicon 实现本地闭环。M3 Ultra 流式 TTS 首次出声延迟 124–168 毫秒,M2 端到端延迟约 2.5 秒。
Kimi Work 是月之暗面推出的本地 AI Agent,可读取本地文件、操作浏览器及常用软件工具。本文从下载安装开始,手把手指导用户完成基础任务并解锁进阶能力,旨在帮助找到更适合自己的 AI 协作方式。
在五个基准上,使用 LoRA 进行少样本个性化会导致越界拒识 AUROC 平均下降 0.055–0.258,同时保留范围内准确性。 部分性能下降源于置信度评分器的校准偏移,嵌入边缘收缩是真实影响源;使用 Mahalanobis 距离替代 softmax 置信度评分可恢复 5 个数据集中的 3 个,且无准确性损失。
研究提出 FAME 平台,利用 FPGA 硬件直接实现近似乘法器,取代传统 CPU/GPU 上的 LUT 仿真。在 ResNet-18 和 MobileNetV2 模型的 ImageNet 测试中,相比 LUT 方法,评估速度最高提升 3.47 倍。
ANEForge是绕过CoreML直接编程Apple Neural Engine(ANE)的Python包。它通过58个融合算子将惰性张量图编译为单一ANE程序,并支持推理、训练及稀疏权重流式处理。
该研究提出系统化方法,将量化神经网络的函数组合自动转换为多阈值表示,扩展支持非单调函数及多维细粒度阈值。 该方法集成于基于 ONNX 的编译器基础设施,并在 FINN 框架中通过扩展二分搜索算子进行实验验证,量化支持非单调性与细粒度阈值的硬件开销,同时展示了其在量化感知训练中的应用前景。
HyCo 在 Galaxy S26 Ultra 上通过 LTE/5G 实现移动-云推测解码,将服务器 GPU 时间每输出 token 降低 38.6% (Spec-Bench) 和 29.2% (32K-token 摘要)。
该研究指出单向矩阵混淆的“解确定性质”(SDP)漏洞,使 GroupCover 和 ArrowCloak 的保护效果降至可忽略水平,攻击准确率超过全遮蔽黑盒基线的 2.4 倍。
基站在无线下行链路中通过模拟RF计算向边缘设备多播编码神经网络权重的波形,在资源受限设备端实现低功耗AI推理。 在MU-MIMO多用户场景中,联合波束成形优化数据与AI流共享频谱,基于WMMSE算法求解。 3GPP信道数值结果显示,融合AI流导致聚合数据速率相对降低低于5%。
论文提出基于模型间分歧的弱到强路由方法,无需真值监督即可决定何时调用强模型。 该方法在智能体和单轮任务中有效平衡路由成本与准确率,分歧路由性能超越直接预测正确性的方法。
提出SL1ESN,通过平滑L1正则化增强Echo State Networks读出层稀疏性,支持集中式训练与二阶联邦聚合。 在7个基准测试中,集中式设置读出层稀疏度达77%-95%,联邦设置达75%-95%;前5个基准精度差距均不超过0.7个点(集中式)或1.6个点(联邦式),联邦更新仅需几轮收敛。 结果证明稀疏读出能显著压缩模型存储、推理成本及服务器-客户端广播开销,适用于边缘计算与物联网部署。
summary_zh: PocketTSLM 在消费级智能手机上部署了 OpenTSLM SoftPrompt,通过注入编码后的时间序列嵌入替代文本 Token 化,实现完全端侧推理且不传输健康数据。
研究提出 Fractional PoT(FPoT)量化方法,通过基于√2 的分数网格实现 4-bit 无乘法器 LLM 推理。 该方法结合校准时网格对齐与 1 加法器√2 近似,在 Llama-3-8B 模型上使零样本常识推理性能较 PoT 基线提升 8.72%。 FPoT 已获 NeurIPS 2026 接收,可与其他先进 PTQ 方法集成,展现出框架无关的适用性。
研究人员提出 CogDrift-4D,一种用于轻度认知障碍(MCI)检测的分层 4D Transformer 框架。 该模型基于 18 个月的多模态交互数据,通过双层级行为疲劳建模捕捉认知衰退轨迹。 在结构化语言交互评测中,MCI 检测分类准确率达到 0.733,F1 分数为 0.716,表现优于高级基线。
该工作提出一种去中心化控制器,为每个 HVAC 区域分配独立主动推理智能体,通过最小化期望自由能进行规划并在线学习。 在 EnergyPlus 模拟中,15 个智能体部署于 Raspberry Pi 5,p95 延迟 442 ms,建筑峰值功率 88.3 kW,较基线降低 3%-17%,需求电费降低 33 kW。
研究人员在 6U 立方星上成功部署了基于 NVIDIA Jetson TX2 NX GPU 的热分割模型,实现了模型在太空中的训练、推理及利用该模型对月球进行闭环姿态控制。 研究采用 ROS 2 Foxy 作为数据传输中间件并集成开源文件系统,在约一年内完成了 12 项实验,验证了现代学习管道在低地球轨道约束下的可靠性。 该成果展示了商业硬件与开源软件组合在自主航天系统中的应用潜力。
1.2B 参数韩语模型经词表裁剪与量化后体积仅 803MiB,性能达云端 SOTA 模型的 94%,能耗为 CPU 的 23%。 方案兼容 Qualcomm 与 Apple NPU,已实现生产级部署,兼顾隐私与低算力约束。