注意力驱动推理：释放大型语言模型的潜力

大型语言模型（LLMs）展现了卓越的能力，但其推理能力及其底层机制仍然知之甚少。我们提出了一种通过优化注意力机制来增强LLMs推理的新方法，无需额外训练数据。我们发现非语义标记导致的注意力分布效率低下，并提出一种算法重新平衡偏斜分布，使模型能够抽象更细致的知识。我们的实验表明，尤其是在非理工科问题上，推理能力显著提升。我们深入探讨了注意力模式在LLMs推理中的作用，并提出一种增强这些能力的方法，为更加强大和多功能的语言模型铺平了道路。