单步世界模型中最近邻匹配法的候选数量分析:基于冻结 DINO Token 的随机码本视角
单步世界模型采用冻结 DINOv2/v3 补丁 Token,其最近邻匹配目标(IMLE)在性能上优于扩散模型。实验表明,m=16 的候选数量在预测覆盖率上超过 50 步流匹配,且推理延迟仅为其 1/30。
单步世界模型采用冻结 DINOv2/v3 补丁 Token,其最近邻匹配目标(IMLE)在性能上优于扩散模型。实验表明,m=16 的候选数量在预测覆盖率上超过 50 步流匹配,且推理延迟仅为其 1/30。
ConvLUT 提出可映射至查找表(LUT)的完全展开卷积架构,实现低于 50 ns 的超低延迟推理。 在 CIFAR-10 上,其延迟比非逻辑实现降低至少 8844 倍,测试准确率比现有 MLP 风格模型高至少 20 个百分点。
论文提出联合优化内存、计算与卸载的方案,以解决边缘智能中 DNN 推理的内存瓶颈。 将能耗最小化建模为混合整数非线性规划,通过坐标下降算法实现近优性能,能耗最高降低 16.1%。
GARP 平台在 Godot 引擎中实现实时生成式智能体,全程运行于本地硬件,无云端依赖。 系统采用 3B 参数开源模型,通过 50+ 候选动作筛选至 3-8 个,结合 JSON schema 约束响应与多层缓存策略。 在九场景评测中,27 次运行里 25 次通过日志检查,验证了本地实时推理的可行性。
MNN-Pocket-0.3B 开源发布,这是专为端侧部署设计的 3 亿参数稠密语言模型。 该模型支持 32K 上下文,INT4 部署体积仅 173MB,在 iPad Pro M5 上解码吞吐量达 466 tokens/s。 基于约 4.1 万亿中英文 token 预训练,其在同类开源模型中表现领先,并优于部分 0.5B 参数模型。
Hibana 是针对统一内存设备设计的推理引擎,通过模型手术、统一内存管理和自适应推测解码协同优化,支持本地多智能体负载。 在单台 DGX Spark 上运行 125B 参数的 Qwen 和 Nemotron 模型时,Hibana 每小时可完成比 vLLM、NVIDIA Flare、TensorFold 等框架多 3.4 倍的智能体任务,解码吞吐量提升高达 3.9 倍。代码已开源。
Embedded Arena 框架利用 LLM 智能体在真实硬件反馈下迭代优化边缘模型。Claude Opus 4.7 等前沿模型在无硬件反馈时部署成功率为 0%。 该框架实现 3 次迭代内成功部署,视觉模型压缩 250 倍且准确率损失小于 3.3%。 应用于鹿类检测相机和儿童语音追踪穿戴设备,支持太阳能供电商业 MCU。
AirFM-DDA 提出了一种在时延-多普勒-角度(DDA)域处理无线信道状态信息的基础模型,通过重参数化解耦多径分量。模型采用基于窗口的注意力机制,将训练和推理成本降低近一个数量级。在信道预测和波束预测任务中,实现零样本跨场景泛化,性能优于最强基线。
论文提出 ZeroQAT 框架,通过前向传播梯度估算消除反向传播,支持 LLM 权重与激活的端到端量化感知训练(QAT),显著降低内存与计算开销。 ZeroQAT 允许在单张 8GB GPU 上以 2-4 bit 极低位宽微调 13B 模型,并实现 6.7B 模型在 OnePlus 12 智能手机上的端侧微调。
研究提出可解释的健康年龄指标 CHA 及基于 220 万 person-weeks 数据预训练的 SensorWM 模型,实现个性化 12 周健康计划生成。 模型在盲测中优于传统方案:认证教练对整体质量(71.4%)和预期依从性(71.0%)的偏好度显著提升,且 99.2% 的计划符合临床安全标准。 该框架通过闭环整合轨迹预测与反事实推理,为系统性改善心脏代谢健康提供可扩展路径。
大语言模型因高资源需求限制其边缘设备部署。 最近的软件优化和专用硬件创新使得在边缘设备部署LLM成为可能,带来本地数据处理、成本节约和低延迟等优势。 本文综述了使LLM边缘部署可行的最新技术。
NVIDIA 开源 AI Aerial 和 Sionna 软件全球开发者采用量增长 10 倍,下载量超 100 万次,8000 多家机构正在使用。 在多项实验中,语义通信将机器人任务完成时间缩短 52.6%,神经网络接收机上行吞吐量提升最高 60%,模拟运行时间从 3 小时降至 10-20 分钟。
豆包工作宣布个人订阅功能取消 5 小时额度限制,支持短时间内集中使用。 付费用户后续可不定期领取额度重置卡,周额度与其他使用规则继续以相应套餐标准为准。
NXP MCXN947 微控制器实现了支持实时语音交互的关键词识别(KWS)系统。 该系统结合 MFCC 特征提取与 CNN 分类器,经量化感知训练(QAT)优化后,模型大小为 30.58 KB,准确率达 97.06%,NPU 推理比纯 CPU 快 59 倍。 此方案证实了嵌入式平台运行高效、低功耗语音接口的可行性。
LeanStream 提出推测-精化流式框架,在移动与嵌入式端侧实现高效 LLM 推理。 相比既有端侧系统,内存占用降低 4.8×–7.5×,token 生成吞吐提升 1.6×–2.1×;代码已开源。 论文被 ACM MobiCom 2026 接收。
研究团队提出钾离子通道调节 LIF(KvLIF)神经元模型,通过在静态图像和神经形态数据集上的广泛评估,证实其在分类准确性和鲁棒性方面优于现有 LIF 模型。 KvLIF 引入辅助电导状态,结合膜电位和脉冲历史自适应调节神经元兴奋性和重置动态,从而扩展响应范围并抑制噪声引起的脉冲。 该设计在保持生物合理性的同时兼顾计算效率,适用于低功耗神经形态部署场景。
Gradium 于两周前推出并开源了小型端侧文本转语音模型 Phonon,该模型无需服务器与网络即可运行。目前 Phonon 提供约 65 MB 和 75 MB 两种尺寸,支持英、法、德、西、葡五种语言,并内置 100 多种预设音色。
推荐理由:展示了高性能TTS模型在端侧落地时的架构平衡策略,以及通过多语言支持与流式响应技术实现的质量跃升。
研究者提出持续先验补偿框架(CPC)及增强版 CPC++,以解决人类动作预测中短期预测受长期预测干扰的问题。 该框架将预测任务划分为多个子任务并分阶段训练,通过引入可学习的先验补偿因子(PCF)及细粒度先验补偿因子(FGPCF)来显式衡量和缓解先验知识遗忘。 在三个基准数据集及 PGBIG、siMLPe 等主流模型上的实验证实了该方法的有效性与灵活性,相关成果已被 IEEE TPAMI 接收。
该 AMD LLM 训练系统利用 TDM、转置加载及 SDMA/RDMA 指令实现数据移动与计算重叠,消除等待瓶颈。 kernel 级测试中 TDM 平均加速 1.88 倍,转置加载加速 1.19 倍;通信重叠下 SDMA 和 RDMA 分别实现 1.16 倍和 1.33 倍加速。 这是首个利用所有 GPU 数据流水特性的 AMD LLM 训练系统,相关实现已集成到开源框架和库中。
研究者给出了一个闭式条件,用于判断在何种情况下基于置信度信号的 LLM 分层级联比将查询全部路由至中心节点更具价值。 该条件通过引入架构成本比 $\kappa$ 来区分本地计算成本,并划定了存在可行阈值区间(信号下限与完美信号上限)的条件。 当本地计算为沉没成本时,级联的可行性变得无条件,信号质量决定了最终收益;这一发现为现有的分层系统提供了设计依据。
研究团队通过微调 Qwen 3.5 27B 实现被动抑郁监测,在 422 名用户上取得 MAE 3.98 和临床阈值 AUC 0.88。 模型结合 3,111 个真值标签与伪标签扩展至 5,524 名用户,Pearson 相关系数达 0.67,覆盖了从 PHQ-9 分数 3 到 24 的全谱系严重程度。 该结果支持无需自报问卷的被动抑郁监测。
turing-unlock 解锁 RTX 2080 Ti 驱动层 FP16 矩阵乘法限制,cuBLAS 吞吐量升至 91.4 TFLOPS。 实测 75.7M 参数模型稳态吞吐量提升 11.8%(6,480 至 7,246 tok/s),耗时减少 9.0%。 解锁效果随模型矩阵尺寸单调增加,不改变最终模型质量指标。
Dharma-AI 发布 Dharma Field Extractor,这是一个 2B 参数文档字段抽取模型,能从任意文档类型提取指定字段并输出结构化 JSON,其性能在测试中优于所有前沿 LLM,且成本大幅降低。该模型基于 DharmaOCR-LITE v1.1,通过 43,384 个训练样本上的 LoRA 适配器微调,支持开放式(无 schema)和 Schema 导向两种请求模式。
推荐理由:Dharma-AI 在官方开源平台上发布了 2B 参数字段抽取模型,给出了相对前沿大模型的 F1 差距和自托管成本区间。
面壁智能成为首家通过“端侧AI模型性能测试”的企业,其自主研发的MiniCPM 5-1B模型同时通过了“端侧AI模型安全测试”。 性能测试覆盖推理时延、吞吐量等7大维度共22项指标;安全测试涵盖6类项目,实测18项全部合格。 中国信息通信研究院及中国泰尔实验室出具报告确认检验通过,为端侧模型选型提供参考。
边缘AI与TinyML在精准农业部署中日益关键,微控制器(如ESP32、STM32)为主要终端,近50%研究采用量化降低精度。 结构化剪枝、硬件感知神经架构搜索及跨层协同优化应用有限;资源数据(如Flash、峰值RAM、MAC次数)报告不一致,限制可复现性。 普遍存在推理-训练不对称性:推理趋向本地设备,模型训练与生命周期管理仍保持集中式处理。
summary_zh: SAMBA 提出基于 Mamba 的 U 型编解码自监督框架,用于长上下文 EEG 信号建模。 采用多头差分 Mamba 模块抑制冗余,并通过三维欧氏空间嵌入解决电极布局差异。
EC-MobiLLM 采用服务器辅助边微调范式和非阻塞异步协作,解决异构移动设备 LLM 微调中的资源开销与同步聚合瓶颈。 实验显示其计算开销降低至少 95.2%,通信成本降低 93.2%,收敛速度比现有方法快 5.1 倍,且保持稳健的微调性能。 该设计支持跨异构骨干对齐,已被 NeurIPS 2026 接收,验证了其在实际 LLM 适配中的有效性。
Eco-MobiLLM 是一种部署于移动设备的高效 LLM 微调方法,通过服务器辅助侧调优显著降低通信与计算负担。该方法利用激活捷径仅传输参与损失计算的 tokens,并引入两阶段训练范式让服务器复用历史激活,避免移动设备对重复样本的多次前向计算,从而加速收敛。
研究提出 Born Transformer,将注意力建模为 Born 测量,使词贡献积分梯度证据无四舍六入误差,精度达 $10^{-11}$。 在 e-SNLI 任务中,该模型约 98k 参数达到 76.98% 测试准确率,与同规模 Softmax Transformer 相当;其权重可精确编译为光电子光学和量子电路。
Aero-VPA 在 PX4 仿真中完成首次闭环评估,DAgger 策略成功率峰值 21.1%。 配合 15 秒深度记忆地图免运维护栏,成功率升至 52.2%,崩溃率降至 22.2%。 72.6 MB 策略代码与数据集已开源。
一项研究发现,改进版蓄能计算异常检测方法 MDRS 在 MLPerf Tiny 基准测试中性能优于参考自编码器,且计算资源需求更低。 该方法通过优化预处理器,在 NUCLEO-F401RE 微控制器上实现了 0.869 的 ROC AUC,模型大小 24 KB,单次推理能耗 24 uJ,延迟 0.32 ms。
MobileSpec 系统通过仅使用前向传播和 RLVR 训练轻量级 LLM 专家模型,解决了设备内存限制问题,无需反向传播。 其核心算法 FuRA-S 通过更新预训练权重的块谱坐标(列块奇异值)实现高效训练,且能适配 INT4 模型。 1-5 MB 的专家模型可更新 0.015-0.05% 参数,将手机使用智能体的成功率从 6-23% 提升至 89-100%。
Qwen3.5-0.8B 配合低秩适配器在 Sketchpad 框架中实现了任意长度算术的精确计算,所有 2,446 个视图测试均通过。该模型在浏览器运行,解决了 200/200 预注册问题及长位数加减乘除运算,表现优于 GPT-6.1 Sol。 代码采用 Apache 2.0 许可证开源,符号运行时支持多项式求解与因式分解,适配器门控可恢复基础模型功能。
针对金融 System-1 决策模型,研究发现窄域微调会导致通用决策能力下降 9-45 个百分点。 实验覆盖 K2-Horizon 和 Qwen3.5/3.8 两个模型族,规模从 0.8B 到 32B;在现实标签问题上,所有模型准确率仅在 0.37-0.38 之间,未表现出超越基线的优势。
作者提出了领域特定超级智能 (DSS) 的替代路径,旨在应对推理模型高算力消耗及单体模型扩展面临的物理瓶颈。 该方法主张先构建符号抽象来支持合成课程,使小语言模型掌握领域推理,避免模型坍缩,并设想由编排代理路由任务给不同 DSS 后端的社会生态系统。 此范式将能力与规模解耦,推动智能从能源密集的数据中心向设备端专家迁移,实现可持续的经济赋能。
summary_zh: Mobile AI 2026 挑战赛要求开发者设计可在高通和 Arm 智能手机 GPU 上运行的快速 RGB 照片增强模型。
Mobile AI 2026 挑战要求在移动端 GPU 上从 RAW 数据重建 RGB 图像。参赛模型需在骁龙 8 Elite Gen 5 和天玑 9500 芯片上运行,基于 FujiFilm UltraISP 数据集进行训练。 头部方案在 Adreno 和 Mali GPU 上重建 500 万像素图像耗时均低于 100 毫秒,实现了高性能计算摄影算法在资源受限移动硬件上的有效部署。
该空间记忆系统使光学透视 AR 眼镜能回忆物理交互,双摄像头原型通过分层视觉获取与源链接存储实现分阶段检索。 在 131.35 秒自我中心重放中,获取策略从 648 个监测观测中选出 6 个 RGB 视图,特征提取在 97.7% 的观测上运行,并识别频繁本地推理为剩余成本。 系统为持久 AR 辅助提供了实用的获取到回忆架构,明确界定捕获证据、索引解释与历史主张边界。
该研究构建了一台集成轻量级语言模型与视觉语言模型的自动化评估流水线,用于分析学生报告。在低资源环境下,纯文本评估准确率最高可达 97%,富文本评估最高 94%。 流水线在 105 名学生两份学期数据上验证,性能媲美甚至超越大模型,并支持本地部署。它提供开源解决方案,帮助资源受限的教育机构在不依赖云服务的情况下实现辅助评分。
MedPsy 是专为边缘设备设计的小型医疗 LLM 模型族,包含 1.7B 和 4B 两个版本。 通过合成医疗数据流水线、基于 235B 教师模型的 CoT 目标,以及四阶段后训练策略(两阶段 SFT 和两阶段含难例挖掘的 RL)优化模型。