Gold-Standard AGI: Was es ist und wie man es baut (einschließlich einer implementierungsneutralen Lösung des äußeren AGI-Superalignment-Problems)

Die Art und Weise, wie sich KI (und insbesondere agentische superintelligente AGI) in den kommenden Jahrzehnten entwickelt, wird das Schicksal der gesamten Menschheit für alle Ewigkeit bestimmen. Um den Nettovorteil von AGI für die gesamte Menschheit zu maximieren, ohne eine Teilmenge zu bevorzugen, stellen wir uns eine Gold-Standard AGI vor, die maximal ausgerichtet (maximally-aligned) und maximal validiert ist. Die erste dieser Eigenschaften — Alignment — wird traditionell in äußeres Alignment (outer alignment) (wie definieren wir ein finales Ziel FGG, das korrekt angibt, was wir wollen?) und inneres Alignment (inner alignment) (wie bauen wir einen Agenten G, der FGG für immer wie beabsichtigt verfolgt?) unterteilt. Dieses Papier präsentiert eine vollständige und fundamentale Theorie der AGI, die in einer implementierungsneutralen Lösung des äußeren AGI-Alignment-Problems gipfelt, falls G superintelligent ist (daher „Superalignment“). Angesichts der tiefgreifenden Relevanz des AGI-Alignment-Problems für die AGI-Governance verwenden wir durchgängig einen pädagogischen Stil, damit das Papier auch für weniger technische Leser wie AGI-Politikgestalter zugänglich ist.