LLaMA：开放且高效的基础语言模型

我们介绍了LLaMA，一组参数规模从7B到65B不等的基础语言模型。我们在万亿级的标记上训练模型，展示了仅使用公开可用的数据集即可训练达到最先进水平的模型，而无需依赖专有且不可访问的数据集。特别地，LLaMA-13B在大多数基准测试中优于GPT-3（175B），而LLaMA-65B则与最佳模型Chinchilla-70B和PaLM-540B竞争力相当。我们将所有模型向研究社区开放。