arXiv · ML· Yunied Puig, Amit Kumar Jaiswal·· 2026-10-08AI 评分29
OrBIT 模型提出结构引导嵌入压缩框架,在 GPT-2 上实现 37.9 倍压缩率,且在 7B 模型上超过 23 倍压缩。
OrBIT: Structure-Guided Embedding Compression
AI 导读
OrBIT 通过学习轨道动力学发现编码几何结构,利用全局重构残差分配编码预算,并通过冗余重叠图表允许局部误差相互补偿。最终编译后的紧凑解码器中,学习到的结构决定存储内容和容量分配。 该方法在多个 LLM 嵌入表中展现出与量化和低秩方法竞争性的率失真性能,为语言模型的高效存储提供了新思路。
来源:arXiv · ML · arxiv.org