arXiv · NLP· Arslan Bisharat, Mujtaba Nazari, Khushboo Bhadauria, Brian Ortiz, Eric Spencer, Beatriz Santos, TaiNing Wang, George K. Thiruvathukal, Konstantin Laufer, Mohammed Abuhamad·· 16 小时前AI 评分25
ALIAS：评估LLM编写TLA+规格的性能与记忆效应
ALIAS: Evaluating Performance and Memorization in LLM-Written TLA+ Specifications
AI 导读
在TLA+基准测试中，标识符重命名导致Claude Opus 4.8正确率从28%降至18%，GPT-5从9%降至7%。 行为评分法将Opus 4.8的降幅缩小至约3个百分点，GPT-5无降幅；微调模型在未见任务上的性能损失在1.3至4.9个百分点之间。 研究揭示低分混合了记忆效应、基于名称的评分偏差及新名称带来的成本。
来源：arXiv · NLP · arxiv.org