Page 1 sur 1

descente de gradient

Publié : 04 juin 2019 16:24
par alchemille
Si l'on veut caluculer $ x, Ax = b $, on peut utiliser la methode du gradient en calculant $ x* = argmin_{x} 1/2 * (x^T * A * x) - b * x = argmin_{x} \phi (x) $.

En effet, en calculant le gradient par rapport a x de cette derniere expression, on tombe sur la premiere.

Je me demandais si, plutot que de minimiser $ \phi $ et faire une 'descente' de gradient, on ne pourrait pas la maximiser et faire une 'montee' de gradient?
Les deux me semblent equivalents et je me demandais si c'est vrai...

Merci beaucoup d'avance ! :D

edit: latex

Re: descente de gradient

Publié : 04 juin 2019 17:16
par matmeca_mcf1
Si A est symétrique définie positive la fonctionnelle $ x\mapsto\frac{1}{2}x^TAx-b^Tx $ admet un minimum mais pas de maximum.

Re: descente de gradient

Publié : 04 juin 2019 17:56
par alchemille
Merci pour la reponse!
Je vois que on a $ x^T A x > 0 $ du coup, mais je n'arrive pas a l'utiliser pour montrer qu'il y a un minimum et pas de maximum :?

Re: descente de gradient

Publié : 04 juin 2019 18:05
par trembleur
Tu peux dériver deux fois (Hessienne) pour montrer qu'elle est convexe, d'où ce que tu cherches. :wink:

Re: descente de gradient

Publié : 04 juin 2019 18:35
par alchemille
La derivee premiere est $ 1/2 (A + A^T)x - b $. Si l'on suppose A symetrique, la derivee seconde par rapport a x est $ A + A^T = A $.

A est donc la matrice hessienne de la fonctionnelle. Si on suppose aussi qu'elle est diagonalisable et positive, ses valeurs propres sont strictement positives. Donc la fonctionnelle passe par un minimum !

Je crois que ca joue comme ca, merci beaucoup !! :D :D :D

Re: descente de gradient

Publié : 04 juin 2019 18:53
par matmeca_mcf1
Pour les méthodes itératives, dont la méthode du gradient fait partie (elle n'est jamais utilisée en pratique, elle est juste introduite en premier pour des raisons pédagogiques), vous pouvez consulter le très complet polycopié: https://www-users.cs.umn.edu/~saad/Iter ... _2ndEd.pdf (le téléchargement est légal, c'est la page de l'auteur du livre. Il laisse libre les anciennes éditions de ce livre). C'est de niveau M1-M2, voire plus.

Re: descente de gradient

Publié : 05 juin 2019 16:26
par fakbill
Passe à 1D et tu sentiras le problème.
ax=b :)

Tu postes ça en "informatique". Dans quel cadre?
Tu veux vraiment résoudre un système linéaire? est ce que A est carrée? quelle taille? quel langage?
En fonction de tout ça tu as de bonnes et de mauvaises façons de faire.

Re: descente de gradient

Publié : 06 juin 2019 16:53
par alchemille
On a vu l'algorithme en cours mais je n'implemente rien, l'interet etait juste theorique.
Merci encore :-)

Re: descente de gradient

Publié : 16 juin 2019 20:30
par fakbill
Ok donc passe à un 1D, ax+b et constate le problème :) C'est bon?

Re: descente de gradient

Publié : 16 juin 2019 22:37
par alchemille
Oui, c'est vrai que en 1d c'est direct plus evident :P