跳到正文
arXiv · AI· Saad Ahmed Bazaz, Talha Amjad, Abdurrehman Subhani, Sohaib Ahmed Bazaz, Abdullah Aamir·· 14 天前AI 评分28

小型软件公司混合部署自托管 AI 与商业智能体的实践

Create Your Own Work Stack: Deploying Self-hosted AI and Tooling in a Tech Startup

AI 导读

小型软件公司 Grayhat Developers 采用混合架构部署 AI,本地开源模型处理低复杂度任务,商业智能体负责复杂任务。 原每月约 $325 的商业 AI 成本涉及超 25.93 亿 token,约 30-40% 的工作量属于协调类任务。 迁移协调任务至本地模型后,预计可减少 27-36% 的整体商业 AI 使用量,集中配置的部署方式显著提升了采纳率。

来源:arXiv · AI · arxiv.org