arXiv · NLP· Piotr Wilam·· 11 天前AI 评分31
校准概念画像:将模型神经元的读取转化为测量
Calibrated concept profiles: making the reading of a model's neurons a measurement
AI 导读
提出校准概念画像方法,将模型神经元激活读取转化为具有单位和噪声指标的测量。在 OpenCoder-1.5B 模型上实现,跟踪跨越 2 万亿训练 token 的检查点,计算每个神经元的一个数值,提供比较的偶然水平基准。 该方法发布代码和数据集 AtlasOpenCoder v1,确保读取可重复、可比较,避免跨研究无法转移的问题。
来源:arXiv · NLP · arxiv.org