开源 LLM，用于在最多 200B 个数学文本标记上进行训练的数学LLM。Llemma 34B 的性能接近 Google 的 Minerva 62B，尽管其参数只有一半。使用Proof-Pile-2，一种混合科学论文、包含数学内容的网络数据和数学代码，从而产生Llemma。在MATH基准测试中，Llemma在等参数基础上优于所有已知的开放基模型，以及未发布的Minerva模型套件。此外，Llemma能够在无需进一步微调的情况下进行工具使用和形式定理证明。
