跳到正文
11月19日周四
  1. Hacker News AI85

    Architect Labs发布Frostbite:AI自主设计并验证的通用CPU架构

    Architect Labs发布基于AI自主设计与验证的通用CPU架构Frostbite。其基于interaction nets,在7nm工艺下,对比同面积传统超标量CPU实现4.59x perf/W。团队计划后续开放RTL与ISA,并搭建FPGA软件运行环境。

    推荐理由:原文展示了AI自主设计通用CPU的完整闭环,提供了4.59倍能效对比基准和后续开放计划。

  2. arXiv · ML26

    MoMoVL:面向端侧稀疏激活视觉-语言模型的模态感知自适应压缩

    针对 MoE 视觉-语言模型(VLM)在端侧部署面临的内存挑战,MoMoVL 提出了模态感知自适应压缩框架,将推理资源需求控制在端侧预算内。 该框架联合利用专家激活特征与模态量化敏感度指导位宽分配,相比均匀精度基线减少内存占用最高达 15.44%,且精度下降温和。 MoMoVL 在精度-压缩权衡上优于最先进混合精度基线,代码和数据已公开,论文被 WSDM 2027 接收。

  3. arXiv · ML27

    基于 PIES 保护机制的二值 Transformer 近似内存可靠性研究

    研究提出 PIES 方案以极低开销保护二值 Transformer 权重,恢复 BER 高达 10% 时的精度损失。 PIES 利用 Transformer 行列置换不变性对关键权重分组保护,开销远低于传统纠错;代码已在 GitHub 开源。 研究确认了在资源受限边缘设备上使用近似内存和激进电压缩放运行二值 Transformer 的可行性。

  4. arXiv · NLP20

    大语言模型与小语言模型协同机制综述

    大语言模型(LLMs)与小语言模型(SLMs)的协同是平衡性能与部署效率的关键范式。 综述梳理了管道、路由、蒸馏等交互机制,并指出在边缘设备上应用时面临的系统开销、模型一致性及隐私等挑战。 该方向被视为推动下一代实用化、普适性人工智能发展的关键驱动力。

11月18日周三
  1. arXiv · NLP41

    研究揭示 4-bit 量化对聊天模型安全行为的影响取决于特定舍入误差

    预注册研究显示,4-bit 量化导致 Qwen2.5-3B 和 Llama-3.2-3B 的拒答行为出现相反偏移,且该变化取决于特定舍入误差而非比特数或似然。 Llama-3.2-3B 在越狱攻击下的顺从率降低 10.3 分,其半幅误差下顺从率仍降 5.8 分,而随机或高斯扰动平均影响接近零。 每个量化构建必须与其原始版本对比,因为 4-bit 量化下的拒答行为无法由通用指标预测。

  2. arXiv · ML21

    Q-LocalAdam:面向边缘联邦学习的内存高效客户端自适应优化器

    Q-LocalAdam 是一种分布感知的优化器,通过分块线性量化动量状态和对数空间量化方差状态,在边缘设备上显著降低优化器状态的内存占用。 它使用去量化后的方差下限来维持数值稳定性,使得模型收敛效果接近全精度训练。 在人类活动、视觉和语言任务上的实验表明,该方法在减少峰值驻留内存的同时,仅引入适度的延迟开销。

  3. arXiv · ML26

    在笔记本 iGPU 上用 SFT 和 QLoRA 微调 Gemma 4 边缘模型生成 MATLAB 信号处理代码

    研究人员使用 SFT 和 QLoRA 微调 Gemma 4 边缘模型 E2B 和 E4B,生成 MATLAB 信号处理代码,通过 OpenVINO 部署 8-bit int8 模型。 基于 66 个示例训练,E2B 和 E4B 在 11 个子任务上的通过率分别提升至 37/66 和 47/66,适配器主要修正 DSP 惯例错误,但生成速度成本增加 17-19%。

  4. arXiv · ML23

    降低观测频率下学习式与运动学轨迹预测对比研究

    在Argoverse 2数据集上,将观测频率从10Hz降至1Hz时,专用LSTM预测器的平均位移误差增加20.3%。 该模型在直线和转弯场景下仍比最优运动学模型准确24-30%,但在行人预测中不如匀速模型;10Hz模型配合插值在2Hz以下误差显著增加。 研究验证了低频率下学习式预测器仍保有优势,但精度随频率降低而下降。

  5. arXiv · ML23

    WM-Quant 发布面向 JEPA 世界模型的滚动感知训练后量化框架

    WM-Quant 提出首个专为 JEPA 世界模型设计的训练后量化框架,在 W4A4 低位宽下使规划成功率接近全精度性能。 该方法包含早期编码器精度保持、控制路径保留及滚动感知缩放组件,通过联合校准整个滚动序列的激活范围,解决了自回归 MPC 推理中量化误差逐步累积导致动作排序近随机的核心痛点。

  6. arXiv · ML25

    AdaFlowLite:面向异步移动端多模态数据的非阻塞推理框架

    AdaFlowLite 通过机会性推理和分层模态亲和度矩阵,实现了异步移动端多模态数据的实时非阻塞推理,支持多种模态和下游任务而无需重新训练。 该方法采用多模态轻量级 Swin Transformer(MMLST),将推理延迟最高降低 80.4%,准确率最高提升 62.1%,能耗接近降低 50%,并可用于增强 LLM 处理异步数据的预处理性能。

11月17日周二
  1. LessWrong · All Posts51

    大语言模型规划智能体中的涌现与条件性失对齐

    研究微调Qwen3.6 27B发现,基于有害文本微调的模型能稳定生成失对齐计划,而从有害行动到文本的迁移仅在特定设置及伴随失对齐解释时发生。研究表明行动学到的危害可跨具身环境转移,仅基于文本输出评估模型会遗漏相关风险,因此评估需基于各部署环境下的实际行动。

  2. arXiv · AI23

    研究揭示端侧小语言模型存在信任与伦理缺口及利用风险

    首项针对端侧小语言模型(SLMs)信任与伦理影响的研究表明,相较于云端模型,端侧 SLMs 可信度显著更低且缺乏伦理保障。 研究通过评估发现端侧 SLMs 更容易生成刻板印象、不公平及有害内容,且无需越狱即可通过 Open Knowledge 攻击利用其风险。 这些漏洞可被用于制造社会伤害、非法活动及虚假信息,突显了端侧部署在隐私之外的安全隐患。

  3. arXiv · AI26

    BioSync:用于多模态可穿戴数字生物标志物的 Transformer 融合架构

    BioSync 提出紧凑型 Transformer 跨模态融合架构,参数仅 1,119,INT8 量化后内存占用 1.3 kB。 该模型在 11 种合成生理机制和 5 个真实数据集上测试,最坏情况遗憾值为 0.034,优于 0.048-0.107 的基线。 研究实证了紧凑 Transformer 融合在连续可穿戴部署中的优势及简单基线仍具竞争力的场景。

  4. arXiv · ML21

    基于跨被试先验的少试次运动想象 EEG 潜结构影响模型 MAP 估计

    针对少试次下不稳定问题,研究提出潜结构影响模型的最大后验估计器。 利用35名被试的PhysioNet数据推导共轭先验,并在70名留出被试上验证,当先验强度 $\lambda=1$ 时,61名被试的对数似然显著优于极大似然估计。 该先验将联合转移矩阵误差降低61%,但未提升解码准确率,表明当前数据主要依赖跨被试共享结构。

  5. arXiv · AI20

    面向可穿戴设备的临床人群睡眠分期:基于过渡感知蒸馏的 SleepGPT 框架

    针对临床人群睡眠特征差异,提出标签高效的 teacher-student 框架用于可穿戴设备实时睡眠分期。 核心模型 SleepGPT 含 136M 参数,仅用 25% 标注数据指导 31k 参数因果 CNN-GRU(122 KB);引入 Gcv-TAD 过渡感知蒸馏损失。 在 10 折交叉验证中,Gcv-TAD 将每患者 macro F1 平均提升 3.2 至 7.6 点,效果接近全标签训练。

  6. arXiv · ML42

    CECAR:缓存与专家协同感知路由加速MoE LLM端侧推理

    CECAR通过联合考虑专家路由与缓存管理,在16GB显存的消费级GPU上运行Qwen3-30B-A3B模型,实现12.5 tokens/s的推理速度。 该系统利用ML-based缓存策略预测专家重用距离,优先调度距离较短的专家,非驻留专家从SSD获取,较传统MoE推理提速4.5倍,超越完全驻留DRAM基线。 论文已被NeurIPS 2026接收,代码已开源。

  7. arXiv · AI36

    UbiHearo:为听障用户带来场景感知声音引导的移动智能体

    UbiHearo 是面向听障(DHH)用户的移动听觉助手智能体,通过神经符号设计实现感知-推理-行动闭环。 其核心机制包括感知阈值节能感知、无提示词的分阶段场景理解,以及基于轻量级决策边界更新的人机协同个性化引导。 该方案在智能手机与车载系统中评估,实现了精度、延迟与能耗的有利权衡。