解锁自然数据集中的上下文学习，超越语言建模

大型语言模型（LLMs）展现了上下文学习（ICL）能力，使模型能够仅基于上下文中提供的示例执行新任务，而无需更新模型权重。虽然ICL在自然语言任务和领域中提供了快速适应能力，但其在文本之外的模态中的出现不那么直接。在本工作中，我们系统性地揭示了支持自回归模型及多种模态中ICL出现的LLM中存在的特性，促进了ICL所需机制的学习。我们确定训练数据序列中的精确标记重复是ICL的重要因素。这种重复进一步提高了ICL性能的稳定性，减少了短暂性。此外，我们强调训练任务难度对于ICL出现的重要性。最后，通过应用我们对ICL出现的新见解，我们为各种视觉数据集和更具挑战性的脑电图分类任务解锁了ICL能力。