arXiv · AI· Michael Blum, Mark Silberstein, Yaniv David·· 10 天前AI 评分28
OrigaMI: 集成可解释性应用的 LLM 服务系统
OrigaMI: An LLM Serving System with First-Class Interpretability Apps
AI 导读
OrigaMI 将机制可解释性应用作为 LLM 服务系统的一级组件,实现简化开发、高效执行与灵活部署。 其通过 Python DSL 简化访问模型内部状态,利用 FlashInspect 内核高效获取注意力分数,并支持运行时动态激活。 OrigaMI 执行开销比现有框架低两个数量级,动态激活速度提升 1000 倍,使可解释性应用在生产环境部署成为可能。
来源:arXiv · AI · arxiv.org