arXiv · NLP· Juan Wisznia, Santiago Luis Groba Alonso, Mat\'ias G\'omez Taddeo, Gonzalo Zabaleta, Joaqu\'in Cullen, Luciano Del Corro·· 10 天前AI 评分28
智能体推理成本模型:思考与记忆的汇率
Think or Remember: The Exchange Rate of Agentic Inference
AI 导读
智能体推理的每次调用都需重发不断增长的转录,但成本由客户端和服务端两个交易方共同决定,而非模型本身。 该研究定义了精确匹配实测引擎的成本模型:每处理一个token计费为$c$,每对一个注意力对计费为$\beta$。
来源:arXiv · NLP · arxiv.org