跳到正文
11月17日周二
  1. arXiv · NLP23

    端侧处方识别器误差溯源:基于 270M 语言模型与 2B 视觉语言模型的冻结重放研究

    端侧处方识别管线的生产召回率仅为 8%,其中手写处方识别率为 0%。引入 2B 参数视觉语言模型与旋转裁剪技术后,总召回率升至 67%,手写识别率提升至 20/45,且未产生不安全输出。 单张照片推理耗时从 12 秒增至 61 秒,内存占用约 1.9 GB。旋转裁剪主要改善读数准确性,而新模型大幅提升召回率。OCR 置信度门控成为主要瓶颈。

  2. arXiv · NLP35

    基于生成式 AI 的全屋智能服务架构:边缘模型、记忆管理与家居应用

    该论文提出以家庭本地服务器为核心的设计导向综述框架,梳理了生成式 AI 在全屋智能服务中的应用架构。 框架识别出本地服务器的九项职责,生成模型负责感知与意图理解,确定性验证及授权租约限制动作风险。 现有基准测试依赖虚拟环境,无法替代真实部署评估;本地部署本身不必然更安全。

  3. arXiv · NLP67

    Nemotron 3.5 Bolt E4B 4GB:面向快速对话智能体的开放高效小语言模型

    NVIDIA 发布了 Nemotron 3.5 Bolt E4B 4GB,这是一个基于 Gemma-4-E4B-it 后训练优化的开放高效小语言模型,专为快速本地语音助手、交互角色及嵌入式端侧场景设计。

    推荐理由:展示了该小模型在21项基准中取得最高平均准确率及最低输出token数,并量化了推理加速指标。

11月16日周一
  1. arXiv · ML47

    标题:FETTUCCINE:移动端高效脑电转文本解码框架

    摘要:FETTUCCINE 是一种移动端脑电转文本框架,在商用设备上实现 370 倍实时吞吐量,将词错误率降至 4.39%。 该模型利用自动语音识别技术,支持微调以应对神经非平稳性,并通过梯度显著性图定位关键神经特征。 这是首次在移动设备上实现脑电转文本解码,为便携式神经假体通信提供了新方案。

  2. arXiv · ML37

    按文件大小与单任务能耗选择量化代码 LLM

    一项针对 Qwen2.5-Coder 在 MacBook Air M2 上的评估表明,在 1 至 2 GB 文件大小区间,选择 q4_K_M 格式优于大模型低精度选项。 测试显示 3B 模型在 2 GB 档位的正确性与能耗表现均达前沿水平,而 7B-q2_K 在 3 GB 档位能耗增加但无显著正确率提升。 该研究为本地部署代码助手提供了基于 Ollama 文件大小的具体选型指南。

  3. arXiv · AI23

    A$^3$:面向协同边缘计算的自适应音频智能体框架

    A$^3$ 是一种自适应音频智能体框架,将流水线阶段部署在边缘服务器,并在设备保留完整回退智能体,通过链路感知截止时间决定何时放弃服务器。在 Jetson 设备与 RTX A4500 服务器上,A$^3$ 在链路正常时性能与纯服务器智能体持平,在 AGX 全断网时响应所有请求,且在模拟断网中优于百分位对冲策略。

  4. arXiv · ML21

    RL$^{\mathrm{RT}}$:端侧强化学习运行时

    端侧强化学习运行时 RL$^{\mathrm{RT}}$ 解决设备上 Actor 与 Learner 共享 GPU 导致的策略漂移或停顿问题。 该系统通过刷新边界和感知松弛的 GPU 许可,在 Jetson 板上将 16.8 M 参数策略的截止时间错过率控制在 1% 以下,而传统设计高达 85 至 100%。

11月13日周五
  1. arXiv · ML21

    Costream:一种面向可穿戴跌倒检测的流式评估协议

    研究提出流式评估协议 Costream,用于评估穿戴式跌倒检测器在连续传感器流中的表现。 该协议通过聚合窗口级分数生成时间置信度图并发出带时间戳的事件。实验显示,流式评估在 20 个模型窗口配置中有 6 个选出了与预分段评估不同的最优方法,并揭示了误报率等部署相关指标。

  2. arXiv · ML24

    智能手机声学呼吸相位检测:基于混合 CNN-Transformer 的非侵入式框架

    该研究提出一种基于智能手机声学信号的非侵入式呼吸相位检测框架,采用混合 CNN-Transformer 架构捕捉呼吸循环结构。在独立未见测试集上,3 类模型实现 76.94% 帧级准确率、Cohen's Kappa 0.65 及 99.2% 呼气检测效率。端到端 ONNX 部署支持低于 20 毫秒延迟的端侧推理,实现隐私保护下的实时监测。

11月11日周三
  1. Hugging Face Blog68

    Tether AI 发布 BotPsy:0.8B 参数端侧智能体模型

    Tether AI 发布 BotPsy,一款基于 Qwen3.5-0.8B 构建的 0.8B 参数端侧智能体模型,采用 Apache 2.0 协议开源。通过在 BFCL v4 等六项工具调用基准上取得领先成绩(平均 45.0 分),并在推理 token 效率上较基座模型提升约 3 倍,该模型在低中难度任务场景中展现出优于 1.2B 以下规模模型的表现力。

    推荐理由:0.8B 端侧模型通过蒸馏与两轮 RL 训练,在工具调用和多轮 Agent 基准上超越 2.5 倍参数量的模型,展示了小参数智能体路径。

11月10日周二
  1. arXiv · AI20

    基于神经活动同步的多层脉冲神经网络局部学习架构

    该研究提出一种受神经活动同步启发的多层脉冲神经网络局部学习框架。各层使用局部计算的梯度更新权重,无需反向传播,显著降低了计算复杂度、训练延迟和能耗。模型在 MNIST 数据集上达到 97.78% 的分类准确率。 在加性高斯噪声和椒盐噪声测试中,模型在不同噪声水平下均表现出稳健性能,证明了其在低功耗边缘设备上的应用潜力。