Algorisme del gradient estocàstic

L'algorisme del gradient estocàstic (amb acrònim anglès SGD), també conegut per gradient descendent incremental, és un mètode iteratiu per a optimitzar una funció objectiu derivable. S'anomena estocàstic perque les mostres se seleccionen aleatòriament en comptes d'un ordre predeterminat. Va ser desenvolupat per Herbert Robbins i Sutton Monro l'any 1951.

Fig.1 Exemple de convergència amb el mètode de gradient estocàstic en un ploblema d'aprenentatge artificial.

Aplicacions

• Aprenentatge automàtic
• Regressió logística
• Model gràfic (estadística)
• Xarxa neuronal artificial