跳到正文
10月28日周三
  1. arXiv · ML22

    FedHQ 提出混合运行时量化以优化联邦学习

    FedHQ 提出一种混合量化框架,根据客户端硬件和数据特征动态分配 PTQ 或 QAT 策略。 在三个图像分类数据集实验中,FedHQ 相比 FedAQT 实现最高 2.47 倍的训练加速,且比 FedFQ 准确度高出最多 11.15 个百分点。 该框架通过硬件速度估计和数据分布指标进行全局初始化,并经基于训练的细粒度调整优化,平衡了训练效率与模型精度。

  2. arXiv · ML27

    基于昆虫嗅觉系统的边缘在线气体分类神经网络

    受昆虫嗅觉系统启发,研究提出一种稀疏高维二进制表示的轻量神经网络架构。该网络仅使用数千神经元和亚毫瓦功耗,能基于传感器瞬态响应在线分类单气体和二元混合物。 实验表明,该架构在气体混合物分类上优于线性支持向量机,并与优化后的非线性支持向量机性能相当。 网络仅依赖二进制权重和赫布本地学习,适合超低功耗神经形态处理器,已在TEXEL芯片上以74.6%的准确率完成危险化学品检测验证。

  3. arXiv · ML33

    CRISP:面向边缘服务器高效 MoE 推理的剪枝与调度协同设计

    CRISP 框架通过协同设计剪枝和运行时调度,在记忆受限的边缘平台上提升 MoE 推理效率。 该框架利用专家组合的频率偏差和不对称性,按重要性重排神经元,并对热点、温点和冷点组合执行差异化调度,实现专家加载与计算重叠。 在 Mixtral-8x7B 和 DeepSeek-MoE-16B 上,相同内存预算下吞吐量提升最高达 2.1 倍,精度损失控制在 3.6% 以内。

  4. arXiv · AI26

    基于生成重放(EB-Gen)解决 Hopfield 网络持续学习中的灾难性遗忘

    提出一种能量生成重放方法(EB-Gen),用于解决 Hopfield 网络持续学习中的灾难性遗忘。该方法利用冻结模型生成伪数据进行复习,无需外部数据缓冲。在 Split MNIST 和 Split CIFAR10 基准上,平均准确率分别达到 75% 和 64%。该方法可在保持均衡传播(EqProp)优势的前提下提升稳定性。 ```

  5. arXiv · AI32

    LearnPrunerV2:面向视觉-语言模型的可学习渐进式 Token 剪枝

    该论文提出 LearnPrunerV2,通过引入可学习模块与影子 token,解决现有 Token 剪枝中判据不可靠及调度僵化的问题,在 LLaVA-v1.5 上剪枝 77.8% 视觉 token 仍保留 99.8% 性能。模型通过 Budget-Deterministic Pruning 建立硬件友好的固定每层预算调度,并在多个基准测试中持续超越先前最先进方法。

  6. arXiv · AI33

    Learning to Formalize: 构建候选项生成器,弥合开放任务与快速决策模型间的差距

    研究提出小型候选形式化器,通过离线教师生成列表构建显式验证候选项,冻结决策模型据此选择。 在CALVIN-D测试中,DeepSeek V4 Flash pose候选项成功率达46.5%,对比通用动作的11%;本地部署模型在1,011个验证标注中,使用微调形式化器成功率52.6%,无则为11.8%,端到端延迟2.09秒。

  7. arXiv · ML24

    云边协同多模态临床筛查系统:在资源受限农村环境中的诊断性能评估

    针对带宽受限与算力不足的资源匮乏地区,云边协同架构利用边缘轻量化模型与云端 LLM 实现多模态临床筛查。 在 20 个多模态病例、500 kbps-5 Mbps 网络条件下,系统实现 98-99% 诊断工具召回率、92-96% 精确率,且 token 成本降低 4-15 倍。 该设计优于纯云端基线,在部署限制下显著提升了多模态数据整合效率与事实依据可靠性。

  8. arXiv · ML22

    Tsetlin Machine 训练中的推理延迟感知策略

    针对 Tsetlin Machine 的 T 与 s 训练超参数,提出将准确率作为约束的定向搜索策略,通过增大 s 降低推理延迟。 基于 gem5 模拟器和 ARM 处理器测试,在保持基准准确率的前提下,该方法在六个数据集上将推理延迟最多降低 16.34%,部分数据集准确率仅下降 0.06%。 该策略所需配置评估次数远少于穷举网格搜索,显著提升了训练效率。

  9. arXiv · ML24

    条件扩散模型生成 DVL 与惯性信号用于水下导航

    该研究提出条件扩散框架,通过生成合成 DVL 与惯性信号替代真实海试数据,解决自主水下车辆(AUV)深度学习训练数据获取成本高的问题。 模型基于 Elucidated 扩散架构,以三个逐通道运动描述符为条件,在 13 条真实轨迹上验证生成信号的 Pearson 相关系数达 0.72 至 0.997,且可泛化至未训练轨迹。

  10. arXiv · ML31

    误差扩散替代隐变量权重:在极少比特抖动状态下训练二值化语言模型

    研究者提出误差扩散(ED)优化器,将二值化语言模型训练状态从 97 bit/权重 压缩至 3-9 bit/权重。 ED 利用 2-8 bit 残差缓冲区替代隐变量权重,在字符级 Transformer 上收敛性能达到参考基准的 98.3%-95%。 该方法使二值模型在 275 MB 内存预算下实现设备上适配,摆脱了对高精度隐变量副本的依赖。

  11. arXiv · AI28

    VitalAgent:基于可穿戴生理数据反应性与主动性监测的工具增强型智能体框架

    VitalAgent 提出了一种基于 ECG/PPG 信号的 mHealth 工具增强型智能体框架,支持反应性问答与主动性监测。 该框架构建了纵向生理记忆,并引入了 VitalBench 基准(含 1,862 个问答对和 90.2 小时连续记录)。 实验显示其反应性评估比基线提升超 25 分,能实现长期生理信号预警,获 NeurIPS 2026 工作坊接收。

  12. arXiv · AI20

    AIPC:用于 PyTorch 项目部署的证据引导智能体工作流

    AIPC 结合结构化 Skills 与工具链证据,实现 PyTorch 项目在高通 NPU 上的自动部署与优化。 在两个优化案例中,Whisper-Small 有 6/7 次运行达标(对照组 0/6),YOLO-Worldv2 实现 2.791 倍端到端加速(对照组 1.599 倍),部分运行无需人工干预。 该方法将模型适配、构建、执行、精度修复与性能优化整合为单一部署流程。

  13. arXiv · AI21

    SPARTA:面向长上下文边缘推理的稀疏三值 LLM 加速器

    研究者提出 SPARTA 稀疏三值 LLM 加速器,专为长上下文边缘推理设计,通过统一数据通路和自适应注意力引擎解决内存带宽瓶颈。 该系统在 1.58-bit 三值权重下,将 KV 缓存流量较全注意力减少 4.1-4.8 倍,较现有稀疏注意力方案减少 1.3-1.5 倍,支持预填充与解码阶段的异构稀疏性优化。

  14. arXiv · AI22

    累积感知量化:DNN 在电压标称下的误差适应方法

    针对 DNN 部署中电压标称带来的能效挑战,提出基于累积感知量化与混合精度修剪的硬件-软件协同设计方法。在 2nm 工艺节点上,该方案在低压下将能耗降低 39%,能耗延迟乘积降低 23%,且精度损失控制在 1% 以内。该工作已被 ICCAD '26 会议接收,为提升边缘设备能效提供了新路径。

  15. arXiv · AI21

    边缘离线生成式 AI 的信任机制:连通性状态框架与树莓派 5 实证研究

    研究在树莓派 5 上评估离线 RAG 信任机制,提出 C0-C4 连通性状态框架。检索评分门控检测知识缺口 AUROC 达 0.97;3B 模型以不到一半时延和能耗达到与 7B 模型相同的正确率。 已签名有毒数据包可通过所有包检查,导致 30 道原本正确问题正确率降至零,现有机制未能确立证据真实性。

  16. arXiv · AI31

    HobbyLM:低成本构建稀疏混合专家(MoE)模型家族

    HobbyLM 是一个由多名作者在数百至数千美元预算内训练的稀疏 MoE 小模型家族,核心包括 500M 参数架构(169M 激活)与 333M 参数的图像生成模型。模型采用细粒度专家与辅助损失自由的负载均衡,支持多模态推理;HobbyLM-1B 在 7 项基准测试中平均得分 47.5。该系列在笔记本电脑 CPU 上通过自研 Rust 引擎运行,展示了低成本 AI 模型的可行性。

  17. Hugging Face Blog77

    Liquid AI 发布开源多模态模型族 LFM3

    Liquid AI 发布新一代开源 Liquid Foundation Model(LFM3),将文本、视觉、音频、omni 和决策任务放入同一 2B 级底座,所有模型都可在单卡上微调并部署到边缘设备。

    推荐理由:Liquid AI把六种模态压进2B级开源权重,并用同一底座和单卡微调路径解释它如何落到边缘部署。

10月27日周二
  1. arXiv · NLP20

    事后嵌入对齐改进压缩Transformer性能

    提出Alignment Adapter (AlAd)框架,通过事后对齐压缩模型的token embedding与参考模型以提升下游任务性能。 AlAd是一个置于压缩模型最终层后的小型前馈网络,可读取相邻token窗口利用局部上下文。使用BERT-base作为参考,在POS标注、NER和抽取式问答任务上,AlAd能改善四个BERT压缩变体表现,且联合微调效果优于冻结模型。

  2. arXiv · NLP40

    拒答选项衡量什么:蒸馏小型语言模型中的拒答丢失、采样波动与选项捕获

    研究揭示蒸馏小型语言模型拒答评估的三个机制:拒答丢失、采样波动及选项捕获。 重采样显示10%-27%的拒答转为刻板印象答案;仅条件于已提交答案可防止误判公平性。 学生模型在科学问题中捕获拒答选项达95%,自由形式评估证实多选遗漏并非刻板化主要位置。

  3. arXiv · NLP21

    EdgeDeID:一款在无真实患者数据训练下实现的 0.6B 本地临床去标识模型

    EdgeDeID 是一个 0.6B 参数的本地运行临床去标识模型,完全使用合成数据训练,无需真实患者文本参与。 在 100 条合成临床笔记的基准测试中,该模型达到 0.994 micro-F1,99% 的笔记无遗漏标识符;对比八款现成系统中最强者的 0.857 F1 和 12% 遗漏率表现更优,量化后仅需 615 MB CPU 内存。

10月26日周一
  1. arXiv · ML24

    利用边缘计算实现 LLM 训练民主化:挑战、系统与未来之路

    论文提出基于云托管参数服务器和 gRPC 的统一系统架构,支持异构客户端在地理分布式环境中进行 LLM 预训练和微调。 系统在 GPT-2 Medium 和 Llama3-1B 模型上完成了跨多个大学站点的实际实验,验证了其在连接不稳定和硬件异构条件下的稳定收敛能力。 研究还指出了未来需解决的开放问题,包括前沿模型支持、弹性容错、自适应压缩及隐私信任等,以推动分布式 LLM 训练的普及。

  2. arXiv · AI39

    MoE-SpAc 实现边缘异构场景下基于推测激活效用的 MoE 推理加速

    MoE-SpAc 提出基于推测解码的 MoE 推理框架,在七个基准测试中将 TPS 提升 42%,并比标准基线快 4.04 倍。该框架通过推测效用估计器、异构负载均衡器和异步执行引擎,将推测解码转化为内存管理的前瞻传感器,统一预取与驱逐过程。论文代码已开源,旨在解决边缘设备内存受限与 I/O 瓶颈问题。

  3. arXiv · AI27

    SEVI:安全证据型现实世界强化学习框架

    SEVI 提出一种可靠性感知安全干预框架,用于现实世界策略学习。该框架引入证据安全评估器,在单次前向传播中估算约束违反风险与认知不确定性。 在线学习时,若动作预测不安全或证据不足,SEVI 将其覆盖为离线训练的低风险恢复策略。 在模拟操作和 USB 插入任务中,SEVI 实现了最高的任务成功率和最低的不安全事件计数,相比基线减少 13.4% 至 57.1% 的不安全事件。

10月24日周六
10月23日周五
  1. Qoder43

    Qoder 完成 iPhone Duo 适配

    Qoder 已完成对 iPhone Duo 的适配,利用其分屏多任务功能,实现左侧与 Agent 对话、右侧查看结果的工作台模式。 支持外屏单手查看任务进度与确认,合上手机后任务不中断,展开后可从上次进度继续。