如何在 Chrome 扩展中使用 Transformers.js
Hugging Face 团队通过构建基于 Gemma 4 E2B 的浏览器助手示例,分享了在 Chrome 扩展 Manifest V3 中集成 Transformers.js 的实践经验。
推荐理由:文章拆解了 Manifest V3 约束下使用 Transformers.js 的架构细节,读者可复用其后台推理与消息通信设计。
Hugging Face 团队通过构建基于 Gemma 4 E2B 的浏览器助手示例,分享了在 Chrome 扩展 Manifest V3 中集成 Transformers.js 的实践经验。
推荐理由:文章拆解了 Manifest V3 约束下使用 Transformers.js 的架构细节,读者可复用其后台推理与消息通信设计。
Hugging Face 博客提供框架用于计算单日 10 亿次以上分类或嵌入任务的推理成本。案例显示在 nvidia-L4 硬件上处理 10 亿次分类请求成本为 $253.82,嵌入为 $409.44,视觉嵌入高达 $44,496.51。通过调整 INFINITY_BATCH_SIZE 和 VUs 等参数并水平扩展 GPU 副本,可优化高吞吐量下的成本效率。
教程演示如何使用 Transformers.js 在浏览器中完全本地运行 ML 网页游戏 Doodle Dash。该游戏基于 Google Quick, Draw! 数据集微调了 5.6M 参数的 apple/mobilevit-small 模型,通过 Web Workers 实现每秒 60 次以上的实时推理预测。