arXiv · NLP· Tapan Parikh·· 7 天前AI 评分20
跨厂商与版本模型行为低成本评估方法
Low-Cost Assays for Measuring Model Behavior Across Vendors and Releases
AI 导读
研究者提出一种简单、廉价且可复制的模型行为评估框架,单次实验成本低至每个模型几美元。 该方法在四年来的前沿及开源实验室模型发布上运行,通过精确匹配、LLM 评审代码本及仪器化环境三种方式读取结果。 研究识别出模型行为的收敛性、对特定提示的抗性、随代际变化的立场坚持特性,以及编码智能体在不同运行环境下的账户一致性差异。
来源:arXiv · NLP · arxiv.org