एडम: स्टोकास्टिक अनुकूलन के लिए एक विधि

हम एडम प्रस्तुत करते हैं, जो स्टोकास्टिक उद्देश्य कार्यों के पहले-आदेश के ग्रेडिएंट-आधारित अनुकूलन के लिए एक एल्गोरिदम है, जो निचले क्रम के क्षणों के अनुकूल अनुमानों पर आधारित है। यह विधि लागू करने में सरल है, संगणनात्मक रूप से कुशल है, कम मेमोरी की आवश्यकता होती है, ग्रेडिएंट्स के डायगोनल पुनःस्केलिंग के लिए अपरिवर्तनीय है, और डेटा और/या पैरामीटरों के संदर्भ में बड़े समस्याओं के लिए उपयुक्त है। यह विधि गैर-स्थितिशील उद्देश्य और बहुत शोर वाले और/या विरल ग्रेडिएंट्स वाली समस्याओं के लिए भी उपयुक्त है। हाइपर-पैरामीटरों की स्पष्टीकरण सहज होती है और आमतौर पर कम समायोजन की आवश्यकता होती है। संबंधित एल्गोरिदम से कुछ संबंधों पर चर्चा की गई है, जिनसे एडम प्रेरित हुआ है। हम एल्गोरिदम के सैद्धांतिक अभिसरण गुणों का विश्लेषण करते हैं और अभिसरण दर पर एक पश्चाताप सीमा प्रदान करते हैं जो ऑनलाइन उत्तल अनुकूलन रूपरेखा के तहत ज्ञात सर्वोत्तम परिणामों के तुलनीय है। प्रायोगिक परिणाम दर्शाते हैं कि एडम व्यवहार में अच्छी तरह काम करता है और अन्य स्टोकास्टिक अनुकूलन विधियों के साथ अनुकूल तुलना करता है। अंत में, हम एडम का एक रूप, AdaMax, जो अनंत मानक पर आधारित है, पर चर्चा करते हैं।