Algorisme del gradient descendent

L'algorisme del gradient descendent és un mètode iteratiu d'optimització de primer ordre per a trobar el mínim d'una funció. S'anomena descendent perque el prenen els increments proporcionals al negatiu del gradient de la funció. Si es prenenincrements positius al gradient s'anomena gradient ascendent.

Il·lustració del gradient descendent d'una funció: els punts apunten al cercle central que és el mínim de la funció

Aquest mètode s'empra sovint com una extensió de l'algorime de retropropagació usat en l'entrenament de xarxes neuronals artificials.

Descripció

El gradient descendent es basa en el fet que si la funció multivariable $F(x)$ està definida i és derivable al voltant d'un punt $a$, llavors $F(x)$decreix de la manera més ràpida si es va des del punt $a$ en direcció del gradient negatiu de $F$en $a$, o sigui $-\nabla F(\mathbf {a} )$. Aleshores la seqüència de punts és :

$\mathbf {a} _{n+1}=\mathbf {a} _{n}-\gamma \nabla F(\mathbf {a} _{n})$

o també :

$\mathbf {x} _{n+1}=\mathbf {x} _{n}-\gamma _{n}\nabla F(\mathbf {x} _{n}),\ n\geq 0.$

i la seqüència és monotònica descendent :

$F(\mathbf {x} _{0})\geq F(\mathbf {x} _{1})\geq F(\mathbf {x} _{2})\geq \cdots ,$