Toolformer：语言模型可以自学使用工具

语言模型（LMs）展现了通过少量示例或文本指令解决新任务的非凡能力，尤其是在大规模时。矛盾的是，它们在基础功能上却表现不佳，如算术或事实查询，而这正是更简单、更小模型的优势。本文展示了语言模型如何通过简单的API自学使用外部工具，实现两者优势兼得。我们提出了Toolformer，一种训练模型自主决定调用哪些API、何时调用、传递何种参数及如何将结果最佳地融合到未来的标记预测中的方法。该过程为自监督方式，仅需为每个API提供少量演示。我们整合了一系列工具，包括计算器、问答系统、两个不同的搜索引擎、翻译系统和日历。Toolformer在多种下游任务中实现了显著提升的零样本表现，常常与更大模型的表现持平，同时不牺牲核心的语言建模能力。