New variant of the conjugate gradient method with practical application

Abstract

The conjugate gradient method is one of the most effective methods for solving unconstrained nonlinear optimization problems, as well as for solving large dimensional linear systems. In this dissertation, we propose a new conjugate gradient method, characterized by an improved descent direction and a new WYL-type parameter, denoted YHS, followed by a comprehensive theoretical study. We carried out a comparative study, through numerical tests, between the new method and existing methods, namely HS, WYL, and SFA, using Wolfe's inexact line search. The results obtained show that the new method outperforms the considered methods in terms of performance and efficiency. ============================================================================================================= La méthode du gradient conjugué est l'une des méthodes les plus efficaces pour résoudre les problèmes d'optimisation non linéaires sans contraintes, ainsi que pour résoudre des systèmes linéaires de grande dimension. Dans ce mémoire, nous proposons une nouvelle variante de la méthode de gradient conjugué, caractérisée par une direction de descente améliorée et un nouveau paramètre, noté YHS, de type WYL, suivie par une étude théorique complète. Nous avons fait une étude comparative, à travers des tests numériques entre la nouvelle méthode et des méthodes existantes, à savoir HS, WYL et SFA, en utilisant la règle de recherche linéaire inexacte de Wolfe. Les résultats obtenus montrent que la nouvelle méthode surpasse les méthodes considérées en termes de performance et d'efficacité.