跳到正文
10月28日周三
  1. Hacker News LLM63

    Show HN: 追踪 LLM API 请求到 GPU 及其返回的可视化讲解

    该仓库发布了一套可视化讲解系统,追踪一次 LLM API 请求从代码到 GPU 再返回的全流程,并展示各环节耗时。项目包含完整视频(4K,5分18秒)、2D 与 3D 宣传片及短视频,使用 Playwright 在 headless Chromium 中逐帧捕获网页,3D 版本通过 SwiftShader 软件渲染 WebGL 以保证跨机器帧一致性。

  2. arXiv · ML24

    云边协同多模态临床筛查系统:在资源受限农村环境中的诊断性能评估

    针对带宽受限与算力不足的资源匮乏地区,云边协同架构利用边缘轻量化模型与云端 LLM 实现多模态临床筛查。 在 20 个多模态病例、500 kbps-5 Mbps 网络条件下,系统实现 98-99% 诊断工具召回率、92-96% 精确率,且 token 成本降低 4-15 倍。 该设计优于纯云端基线,在部署限制下显著提升了多模态数据整合效率与事实依据可靠性。

  3. arXiv · ML21

    自由形式 RFIC 无源器件端到端神经建模:预测电磁响应与设计性能

    团队提出一种端到端神经框架,用于预测自由形式 RFIC 无源器件在可变频率和电路上下文下的电磁响应及下游设计性能。 该框架结合频率条件神经仿真器与电路条件神经求解器,输出包含显式电磁响应和互补响应的神经电磁响应。 在由专家设计轮廓和随机路径合成的大规模数据集上,21M 参数模型在几乎所有目标上达到 R²>0.98,评估速度比传统电磁仿真快数个数量级,代码已开源。

  4. arXiv · ML28

    BellowsKV 跨层 KV 缓存压缩方法

    研究者提出无需训练的 BellowsKV 方法,通过映射相邻层隐藏状态到单一潜变量实现 KV 缓存跨层共享。 在 Llama-3.1-8B、Mistral-7B 和 Qwen2.5-7B 上,BellowsKV-Quant 在 3.6 倍压缩比下保留约 99% 全缓存准确率,13-14 倍压缩下保留 97-98%。 该方法解决了高压缩率下跨层共享缓存精度急剧下降的瓶颈。

  5. arXiv · ML23

    FedSEAM:基于子空间专家共识合并的大语言模型联邦持续学习框架

    FedSEAM 提出一种大语言模型联邦持续学习框架,通过子空间兼容性测试选择性共享专家内容,并在服务器端执行共识方向的子空间专家共识合并以保留客户端特有特征。 该框架利用 Qwen3-4B 和 Llama-3.2-3B 在 TRACE 基准上进行评估,引入路由漂移与合并擦除防护机制,其中一种防护能精确保留选定子空间内的历史任务参数。

  6. arXiv · AI33

    面向医学影像非监督域适应的实用算法选择:无标签准则

    提出一种无标签准则,联合选择非监督域适应的算法与超参数,在无目标域标签情况下辅助临床部署。 方法利用多个无标签信号提名各算法模型,跨算法聚合形成参考预测,依据预测一致性选出最优候选模型。 在4项脑MRI与4项胸部X光数据集的7种临床迁移场景下,选择性能优于其他方法。

  7. arXiv · AI30

    LEO星座中的分布式训练、协同推理与LLM适配:低轨卫星智能综述

    该论文提供首个联合覆盖LEO卫星分布式训练、协同推理及LLM在轨适配的综述,旨在解决AI算力受限下的卫星智能化部署难题。 文中详细阐述了联邦学习与分割学习如何实现星地协同训练,以及多种协同推理架构满足实时服务需求,同时探讨LLM在轨服务的资源感知机制。 这项研究构建了太空原生AI技术的实施路线图,为克服卫星网络动态拓扑与SWaP约束提供了设计原则。

  8. arXiv · AI20

    AIPC:用于 PyTorch 项目部署的证据引导智能体工作流

    AIPC 结合结构化 Skills 与工具链证据,实现 PyTorch 项目在高通 NPU 上的自动部署与优化。 在两个优化案例中,Whisper-Small 有 6/7 次运行达标(对照组 0/6),YOLO-Worldv2 实现 2.791 倍端到端加速(对照组 1.599 倍),部分运行无需人工干预。 该方法将模型适配、构建、执行、精度修复与性能优化整合为单一部署流程。

  9. arXiv · AI23

    基于 ROI 与 VaR 的 LLM 在 SOC 部署的经济评估模型

    论文建立经济模型评估大语言模型在 SOC 中的 ROI,通过蒙特卡洛模拟计算盈亏边界与 Value at Risk。 该模型平衡由准确率驱动的生产力增益与 API、自托管及错误修复成本。分析表明多数配置不具备盈利性,盈利仅限于高准确率、低不确定性部署。 为机构提供了量化依据,支撑基于证据的采用决策。

  10. IT之家23

    部分微软 Edge 用户反馈侧边栏 Copilot 无法使用,官方称迁移需几天

    多名 Microsoft Edge 浏览器用户反馈无法打开侧边栏 Copilot,页面提示“你的 Copilot 正在迁移到新体验”,迁移可能需要几天时间。 受影响用户在迁移完成前只能改用网页版 Copilot,多位用户报告类似情况,但微软尚未发布公开说明或给出迁移结束的具体时间表。

  11. IT之家42

    SambaNova SN50 RDU 芯片加入 Oracle OCI 云服务

    SambaNova 的 AI 推理芯片 SN50 RDU 将加入 Oracle 的 OCI 云服务。 Oracle 正在构建多样化的 AI 算力组合,除 NVIDIA、AMD 芯片外,已上线 Positron Atlas 芯片,并成为首家提供 Google TPU 的外部超大规模企业,未来还将导入 Cerebras 晶圆级芯片及支持英特尔至强 "Diamond Rapids" 处理器。

  12. Hacker News AI28

    Digitomy AI 智能蚊蝇陷阱在实验室测试中识别准确率超 98%

    USF 初创公司 Digitomy 开发的 AI 智能蚊蝇陷阱在实验室测试中识别蚊种准确率超过 98%,能有效监测登革热等虫媒传染病。 该系统通过摄像头拍摄粘板上的蚊子,利用 AI 和云计算实时监测病原体携带蚊种,大幅缩短传统人工显微镜鉴定需 2-3 天的周期。 技术团队正与蚊子防治区合作开展实地验证,并准备将 AI 识别系统授权给制造商,以加速商业化落地。

  13. Hacker News AI63

    AI 搜索原理详解:索引、检索与重排序

    文章利用十个来自不同工具的笔记作为合成数据集,对比了文本搜索、嵌入搜索和带重排器的嵌入搜索三种策略。文本搜索仅匹配关键词,会遗漏语义相同但用词不同的记录;嵌入搜索通过向量相似度匹配语义,能发现未包含查询词的文档,但可能因相关性不足将次要结果排在前面。