苹果的量度员 Mehrdad Farajtabar 等东说念主最近发表了一篇论文，对大型讲话模子 (LLM) 的推理才智冷漠了明锐的质疑，他以为，LLM 的“推理” 才智twitter 露出，其实仅仅复杂的模式匹配，性命垂死！

论文作家量度了包括 Llama、Phi、Gemma、Mistral 等开源模子，以及 GPT-4o 和 o1 系列等闭源模子。需要指出的是，在 OpenAI 发布 GSM8K 的三年里，模子的性能有了显赫普及，从 GPT-3 (175B) 的 35% 普及到了当今 30 亿参数模子的 85% 以上，更大的模子甚而跳跃了 95%。但 Farajtabar 以为，这并不行解释 LLM 的推理才智的确提高了

探花黑丝

为了测试 LLM 的数学推理才智的极限，Farajtabar 和他的团队拓荒了一个名为 twitter 露出GSM-Symbolic 的新器具，它不错根据 GSM8K 测试集创建绮丽模板，从而大要生成多量实例并盘算可控现实。他们生成了 50 个独到的 GSM-Symbolic 纠合，这些纠合骨子上就像 GSM8K 示例，但具有不同的值和称呼

GSM8K 是 “Grade School Math 8K” 的缩写，是一个用来评估数学问题处治才智的数据集。这个数据集主要包含小学级别的数学题目（大致 8，000 说念题目），不竭用于覆按和测试机器学习模子，杰出是在当然讲话处理界限的模子若那边理和处治数学问题

现实效能，令东说念主大跌眼镜：

1.现时 GSM8K 的准确率并不可靠！ 不同模子在 GSM8K 上的发达各异弘大，举例 Llama 8B 的得分在 70% 到 80% 之间，Phi-3 的得分在 75% 到 90% 之间，等等。关于大多数模子，在 GSM-Symbolic 上的平均性能低于在 GSM8K 上的平均性能

2.所谓的 LLM 推理才智性命垂死！ LLM 对专闻明词和数字的革新额外敏锐，这诠释它们并莫得着实富厚数学成见。就像一个小学生，若是咱们仅仅革新了数学测试题中的东说念主名，他的分数就会下降 10% 吗？赫然不会

3.跟着问题难度的增多 (M1 → Symbolic → P1 → P2)。引入了 GSM-Symbolic 的三个新变体来量度模子作为：删除一个分句（GSM-M1）、增多一个分句（GSM-P1）或增多两个分句（GSM-P2），模子的性能下降，方差高潮， 这意味着模子的可靠性越来越差

4.引入 GSM-NoOp 后，模子性能断崖式着落！ GSM-NoOp 是在 GSM-Symbolic 的基础上，添加了一个看似联系但不影响举座推理的子句。统共模子，包括 o1 模子，齐发达出了显赫的性能下降。这诠释，即使是顽强的 o1 模子，也无法着实富厚数学问题的逻辑结构

5.即使是 OpenAI 的 o1 系列模子，也无法饱和幸免这些问题。 o1-preview 固然有所改良，但仍然会犯一些初级失误，举例无法富厚“当今”和“前年”的分袂，这可能是因为覆按数据中包含了“通货膨大”的模式，模子仅仅浮浅地效法了这种模式

Farajtabar 以为，

LLM 的这些发达，更好地解释是复杂的模式匹配，而不是着实的逻辑推理。 即使咱们增多数据、参数和运筹帷幄量，或者使用更好的覆按数据，也仅仅取得了“更好的模式匹配器”，而不是“更好的推理器”

Denny Zhou (谷歌 DeepMind 的 LLM 推理团队肃肃东说念主) 也参与了参议，他指出：

“这项责任的一个要道发现是：向 GSM8k 问题添加不联系的高低文会导致 LLM 无法处治这些问题，正如咱们在 ICML 2023 年的论文‘大型讲话模子很容易被不联系的高低文散布留神力’ 中所解释的那样。指示构建的各异在我看来仍然很酷好酷好。”

Yuandong Tian (Meta AI 的量度科学家总监) 也抒发了他的不雅点：

“中枢问题是：1️⃣凭借咱们的界限常识，咱们不错构建权重，使 LLM 在特定问题中进行风雅的推理；2️⃣然则，梯度下降可能无法学习到这么的权重；3️⃣咱们仍然依赖梯度下降，因为它为好多界限带来了魅力——若是它在其他界限变得愚蠢，咱们也窝囊为力。”

论断

总的来说，这篇论文量度效能莫得在包括 Llama、Phi、Gemma 和 Mistral 等开源模子，以及最近的 OpenAI GPT-4o 和 o1 系列等伊始闭源模子在内的讲话模子中，找到任何时势推理的把柄。他们的作为不错用复杂的模式匹配来更好地解释——如斯脆弱，以至于更更称呼齐会使效能改换约 10%！咱们不错扩展数据、参数和运筹帷幄量——或者为 Phi-4、Llama-4、GPT-5 使用更好的覆按数据。但这可能只会产生“更好的模式匹配器”，而不是“更好的推理器”

本文作家：opencat，著述起原：AI寒武纪，原文标题：《AI 推理才智大“翻车”！苹果最新论文：LLM仅仅复杂的模式匹配，而不是着实的逻辑推理》。

 

 

 

风险指示及免责条件 市集有风险，投资需严慎。本文不组成个东说念主投资建议，也未谈判到个别用户稀奇的投资宗旨、财务气象或需要。用户应试虑本文中的任何意见、不雅点或论断是否稳妥其特定气象。据此投资，拖累风景。