arXiv · NLP· Shuochen Chang, Qingyang Liu, Shaobo Wang, Bingjie Gao, Qianli Ma, Haonan Zhao, Yibo Miao, Yulin Sun, Zelin Peng, Jiangtong Li, Li Niu·· 17 天前AI 评分28
DLR:通过渲染压缩实现可解释的离散潜在推理
Why Struggle with Continuous Latents? Interpretable Discrete Latent Reasoning via Rendered Compression
AI 导读
研究提出离散潜在推理(DLR),首个将连续潜在状态转化为显式离散 token 的方法,解决了传统方法训练不稳定且轨迹不可解释的问题。 受基于渲染的压缩启发,DLR 将思维链文本渲染为图像并提取视觉特征,通过基于聚类的微调构建离散潜在词汇。
来源:arXiv · NLP · arxiv.org