arXiv · AI· Shradha Agarwal, Deepak Rajbhar, Tariq J·· 23 小时前AI 评分43
LinAlg-Bench：揭示 LLM 数学推理结构性故障模式的前瞻性基准
LinAlg-Bench: A Forensic Benchmark Revealing Structural Failure Modes in LLM Mathematical Reasoning
AI 导读
LinAlg-Bench 发布，评估 10 个前沿 LLM 在 3x3 至 5x5 线性代数计算上的表现，发现模型在 4x4 规模存在行为阈值。 基准包含 660 道 SymPy 验证题目及 6,600 条模型输出，通过自动化流程将 1,156 个错误归类为十种主要标签。 研究表明，模型故障非随机而是受算法类型与维度约束，且 4x4 以上主要失败模式转为“计算放弃”与“幻觉编造”，而非执行错误。
来源：arXiv · AI · arxiv.org