Mètodes d'aprenentatge de gradient proximal

Els mètodes d'aprenentatge de gradient proximal (divisió cap endavant cap enrere) són una àrea d'investigació en l'optimització i la teoria de l'aprenentatge estadístic que estudia algorismes per a una classe general de problemes de regularització convex on la penalització de regularització pot no ser diferenciable. Un d'aquests exemples és $\ell _{1}$ regularització (també coneguda com Lasso) de la forma

$\min _{w\in \mathbb {R} ^{d}}{\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-\langle w,x_{i}\rangle )^{2}+\lambda \|w\|_{1},\quad {\text{ on }}x_{i}\in \mathbb {R} ^{d}{\text{ i }}y_{i}\in \mathbb {R} .$

Els mètodes de gradient proximal ofereixen un marc general per resoldre problemes de regularització a partir de la teoria de l'aprenentatge estadístic amb penalitzacions que s'adapten a una aplicació de problema específica. Aquestes penalitzacions personalitzades poden ajudar a induir una certa estructura en les solucions de problemes, com ara l'esparsa (en el cas de lazo) o l'estructura de grup (en el cas de lasso de grup).

Els mètodes de gradient proximal són aplicables en una gran varietat d'escenaris per resoldre problemes d'optimització convex de la forma

$\min _{x\in {\mathcal {H}}}F(x)+R(x),$

on $F$ és convex i diferenciable amb el gradient continu de Lipschitz, $R$ és una funció semicontinua inferior convexa que possiblement no és diferenciable, i ${\mathcal {H}}$ és un conjunt, normalment un espai de Hilbert. El criteri habitual de $x$ minimitza $F(x)+R(x)$ si i només si $\nabla (F+R)(x)=0$ a la configuració convexa, diferenciable ara es substitueix per

$0\in \partial (F+R)(x),$

on $\partial \varphi$ denota el subdiferencial d'una funció convexa de valor real $\varphi$ .

Donada una funció convexa $\varphi :{\mathcal {H}}\to \mathbb {R}$ un operador important a tenir en compte és el seu operador proximal $\operatorname {prox} _{\varphi }:{\mathcal {H}}\to {\mathcal {H}}$ definit per

$\operatorname {prox} _{\varphi }(u)=\operatorname {arg} \min _{x\in {\mathcal {H}}}\varphi (x)+{\frac {1}{2}}\|u-x\|_{2}^{2},$

que està ben definit per l'estricta convexitat de la $\ell _{2}$ norma. L'operador proximal es pot veure com una generalització d'una projecció. Veiem que l'operador de proximitat és important perquè $x^{*}$ és un minimitzador del problema $\min _{x\in {\mathcal {H}}}F(x)+R(x)$ si i només si

$x^{*}=\operatorname {prox} _{\gamma R}\left(x^{*}-\gamma \nabla F(x^{*})\right),$ on $\gamma >0$ és qualsevol nombre real positiu.