लॉन्ग शॉर्ट-टर्म मेमोरी

पुनरावर्ती बैकप्रोपेगेशन द्वारा लंबे समय अंतराल के दौरान जानकारी संग्रहीत करना सीखना बहुत समय लेता है, मुख्य रूप से अपर्याप्त, कम होती हुई त्रुटि बैकफ्लो के कारण। हम संक्षेप में होक्रेइटर (1991) के इस समस्या के विश्लेषण की समीक्षा करते हैं, फिर इसे एक नए, कुशल, ग्रेडिएंट आधारित विधि जिसे लॉन्ग शॉर्ट-टर्म मेमोरी (LSTM) कहा जाता है, के परिचय द्वारा संबोधित करते हैं। जहाँ यह नुकसान न पहुँचाए, वहां ग्रेडिएंट को ट्रंकेट करते हुए, LSTM न्यूनतम समय विलंबों को जो 1000 से अधिक द्विआधारी समय चरणों के होते हैं, पुल करने के लिए सीख सकता है, विशेष इकाइयों के भीतर स्थिर त्रुटि प्रवाह को स्थिर त्रुटि कैरौसेलों के माध्यम से लागू करके। गुणात्मक द्वार इकाइयाँ स्थिर त्रुटि प्रवाह तक पहुँच खोलने और बंद करने का सीखती हैं। LSTM स्थान और समय में स्थानीय है; इसका प्रति समय चरण और भार पर गणनात्मक जटिलता O.1 है। हमारे कृत्रिम डेटा के साथ प्रयोगों में स्थानीय, वितरित, वास्तविक-मूल्य और शोरयुक्त पैटर्न प्रतिनिधित्व शामिल हैं। रीयल-टाइम पुनरावर्ती सीखने, समय के माध्यम से बैकप्रोपेगेशन, पुनरावर्ती कैस्केड कोरिलेशन, एलमन नेट्स, और न्यूरल अनुक्रम खंडन के साथ तुलना में, LSTM कई अधिक सफल रन की ओर ले जाता है, और बहुत तेजी से सीखता है। LSTM जटिल, कृत्रिम लंबे समय विलंब कार्यों को भी हल करता है जिन्हें पहले के पुनरावर्ती नेटवर्क एल्गोरिदम ने कभी हल नहीं किया था।