arXiv · AI· Baha Rababah, Shahzeb Qamar, Lorenz Sparrenberg, Rafet Sifa, Murat Kantarcioglu, Carson K. Leung, Cuneyt Gurcan Akcora·· 17 天前AI 评分20
TopoQuant:用于表征量化大语言模型行为变化的拓扑框架
TopoQuant: Topological Framework to Characterize Behavioral Shifts in Quantized Large Language Models
AI 导读
TopoQuant 提出了一种拓扑框架,利用拓扑数据分析量化自注意力权重的结构漂移与量化大语言模型行为变化之间的关联。 该框架在四个大语言模型家族的多级量化测试中显示,拓扑漂移在4位以下精度时急剧增加,并与注意力一致性下降紧密相关。 基于拓扑特征的轻量级机器学习模型可实现高达0.85的R²分数,无需运行昂贵的下游任务即可高效检测量化导致的性能退化。
来源:arXiv · AI · arxiv.org