Regla d'Oja

La regla d'aprenentatge d'Oja, o simplement la regla d'Oja, que porta el nom de l'informàtic finlandès Erkki Oja, és un model de com les neurones del cervell o de les xarxes neuronals artificials canvien la força de la connexió, o aprenen, amb el temps. És una modificació de la regla de Hebb estàndard (vegeu aprenentatge de Hebb) que, mitjançant la normalització multiplicativa, resol tots els problemes d'estabilitat i genera un algorisme per a l'anàlisi de components principals. Aquesta és una forma computacional d'un efecte que es creu que passa a les neurones biològiques.

Teoria

La regla d'Oja requereix una sèrie de simplificacions per derivar, però en la seva forma final és demostrablement estable, a diferència de la regla de Hebb. És un cas especial d'una sola neurona de l'algorisme de Hebb generalitzat. Tanmateix, la regla d'Oja també es pot generalitzar d'altres maneres amb diferents graus d'estabilitat i èxit.

Fórmula

Considereu un model simplificat d'una neurona $y$ que retorna una combinació lineal de les seves entrades x utilitzant pesos presinàptics w:

$\,y(\mathbf {x} )~=~\sum _{j=1}^{m}x_{j}w_{j}$

La regla d'Oja defineix el canvi en els pesos presinàptics w donada la resposta de sortida $y$ d'una neurona a les seves entrades

$\,\Delta \mathbf {w} ~=~\mathbf {w} _{n+1}-\mathbf {w} _{n}~=~\eta \,y_{n}(\mathbf {x} _{n}-y_{n}\mathbf {w} _{n}),$

on η és la taxa d'aprenentatge que també pot canviar amb el temps. Tingueu en compte que els símbols en negreta són vectors i n defineix una iteració temporal discreta. La regla també es pot fer per a iteracions contínues com

$\,{\frac {d\mathbf {w} }{dt}}~=~\eta \,y(t)(\mathbf {x} (t)-y(t)\mathbf {w} (t)).$

Generalitzacions

Recentment, en el context de l'aprenentatge associatiu, s'ha demostrat que la regla de Hebb, que és similar a la regla d'Oja, es pot generalitzar mitjançant un model semblant a Ising: La idea principal de la generalització es basa en la formulació de l'energia. funcionen com en el model Ising i després aplicant-hi l'algoritme de descens de gradient estocàstic.

Aplicacions

La regla d'Oja es va descriure originalment al document d'Oja de 1982, però el principi d'autoorganització al qual s'aplica s'atribueix per primera vegada a Alan Turing el 1952. PCA també ha tingut una llarga història d'ús abans que la regla d'Oja formalitzés el seu ús en la computació de xarxes el 1989. Així, el model es pot aplicar a qualsevol problema de mapeig autoorganitzat, en particular aquells en què l'extracció de característiques és d'interès principal. Per tant, la regla d'Oja té un lloc important en el processament de la imatge i la parla. També és útil, ja que s'expandeix fàcilment a dimensions més altes de processament, i així poden integrar múltiples sortides ràpidament. Un exemple canònic és el seu ús en visió binocular.