Überwindung des katastrophalen Vergessens in neuronalen Netzen

Die Fähigkeit, Aufgaben nacheinander zu erlernen, ist entscheidend für die Entwicklung künstlicher Intelligenz. Bis jetzt waren neuronale Netze dazu nicht in der Lage, und es wurde weithin angenommen, dass katastrophales Vergessen eine unvermeidliche Eigenschaft von konnektionistischen Modellen ist. Wir zeigen, dass es möglich ist, diese Einschränkung zu überwinden und Netze zu trainieren, die Fachwissen in Aufgaben bewahren können, die sie lange nicht durchlaufen haben. Unser Ansatz erinnert sich an alte Aufgaben, indem das Lernen der für diese Aufgaben wichtigen Gewichte selektiv verlangsamt wird. Wir demonstrieren, dass unser Ansatz skalierbar und effektiv ist, indem wir eine Reihe von Klassifizierungsaufgaben basierend auf einem handschriftlichen Zifferndatensatz lösen und mehrere Atari 2600 Spiele nacheinander erlernen.