大型语言模型的文化契合性研究

语言与文化之间错综复杂的关系长期以来一直是语言人类学领域的探索主题。作为集体人类知识库的大型语言模型（LLMs）提出了一个关键问题：这些模型是否真正体现了不同文化所采用的多样化知识？我们的研究表明，这些模型在两个维度上表现出更强的文化契合性——首先，当以特定文化的主导语言作为提示时，其次，当使用该文化所采用的精炼语言混合进行预训练时。我们通过模拟社会学调查来量化文化契合性，将模型的回答与实际调查参与者的回答进行比较作为参考。具体而言，我们通过使用真实受访者的身份和调查问题，分别以阿拉伯语和英语不同的预训练数据混合对模型进行提示，复现了在埃及和美国各地区执行的一项调查。进一步分析显示，对于代表性不足的人群以及涉及社会价值等文化敏感话题，契合度失调更为明显。最后，我们引入了“人类学提示”，这是一种利用人类学推理来增强文化契合性的创新方法。本研究强调了构建更为平衡的多语言预训练数据集的重要性，以更好地代表人类经验的多样性和不同文化的多元性，这对跨语言迁移主题具有诸多启示。