تتعلم الشبكات العصبية ذات الذاكرة الطويلة القصيرة (LSTM) لغات خالية من السياق وبسيطة تعتمد على السياق

أظهرت الأبحاث السابقة حول تعلم اللغات النظامية من تسلسلات تدريب نموذجية أن ذاكرة المدى الطويل والقصير (LSTM) تتفوق على الشبكات العصبية التقليدية المتكررة (RNNs). نُظهر تفوق أداء LSTM في معايير اللغات الخالية من السياق للشبكات المتكررة، ونبين أنه يعمل بشكل أفضل حتى من البُنى الصلبة سابقة التصميم أو المتخصصة للغاية. حسب علمنا، تعتبر متغيرات LSTM أول الشبكات المتكررة التي تتعلم أيضًا لغة بسيطة تعتمد على السياق، وهي a(n)b(n)c(n).