Es werden mehrere Strategien beschrieben und analysiert, um Gradientenmethoden beim Minimieren von streng konvexen Quadraten und streng konvexen Funktionen zu beschleunigen. Die vorgeschlagenen Techniken konzentrieren sich darauf, die traditionelle optimale Schrittgröße, die mit Gradientenmethoden, einschließlich der Methode des steilsten Abstiegs (SD) und der Methode der minimalen Residuen (MR), verbunden ist, zu entspannen. Eine solche Entspannung vermeidet den bekannten negativen Zickzack-Effekt und ermöglicht es den Iterationen, sich im gesamten Raum zu bewegen, was wiederum impliziert, dass die Suchrichtung von Zeit zu Zeit einem Eigenvektor der zugrunde liegenden Hessischen Matrix näherkommt. Die vorgeschlagenen Beschleunigungen basieren dann darauf, die Eigenschaften der Lanczos-Methode zu nutzen, sobald eine Suchrichtung, die einem Eigenvektor nahekommt, identifiziert wurde, um die Konvergenz zum globalen Minimierer zu beschleunigen. Nach der Analyse der vorgeschlagenen Strategien veranschaulichen wir diese bei der globalen Minimierung von streng konvexen Funktionen.
Chehab et al. (Fr,) haben diese Frage untersucht.