跳到正文
arXiv · NLP· Caroline Gans Combe (INSEEC)·· 10 天前AI 评分20

边际效用、矩阵分解与 KV 缓存:一个用于主权地理挖掘推理的统一信息经济学框架

Marginal utility, matrix factorization, and the Key-Value (KV) cache: a unified information-economic framework for sovereign geo-mining inference

AI 导读

建立联系边际效用、矩阵分解与 Transformer 语言模型 Key-Value 缓存的理论框架,在地理挖掘文档信息提取中,11.2M 参数分类器实现 90% 一级准确率。 该框架通过统一分配规则优化内存预算下的缓存管理,支持分层 TIES 模型合并与 LoRA 微调,诊断出均匀密度合并导致的退化解,需校准密度消除。

来源:arXiv · NLP · arxiv.org