突破注意力瓶颈

基于注意力的transformer已成为许多深度学习领域的标准架构，主要由于其能够建模长距离依赖并处理可变长度输入序列。然而，注意力机制的平方复杂度是transformer架构中的一个显著瓶颈。该算法在解码器中仅为单向，并且在参数过剩的仅解码器模型中趋于静态模式。我通过开发一个生成函数作为注意力或激活的替代方案来解决这个问题。它仍具有自回归特性，通过将每个token与前一个进行比较。在使用nanoGPT的测试环境中，这产生了更小的损失且模型更小。通过引入平均上下文向量，损失进一步下降。该注意力替代概念在https://gitlab.com/Bachstelze/causalgeneration 下以GNU AGPL v3许可证发布。