跳到正文
arXiv · ML· Omar Ramadan·· 3 天前AI 评分21

PBit1:一个可编程 P-Bit 对应一个参数——预训练网络的有限控制表示

PBit1: One Programmable P-Bit per Parameter - A Finite-Control Representation of Pretrained Networks

AI 导读

PBit1 将预训练网络每个参数映射为一个可编程 p-bit,12-bit 指令设定其概率,通过共享仿射范围映射至权重域,并以时间观测重建权重用于推理。 在 GPT-2、DistilBERT 和 LFM3-1.7B 上,转换所有可学习标量且无微调,困惑度分别增加约 0.66% 和 0.26%,DistilBERT 准确率从 87.51% 变为 87.49%。

来源:arXiv · ML · arxiv.org