Màquina vectorial de rellevància

En matemàtiques, una màquina vectorial de rellevància (RVM) és una tècnica d'aprenentatge automàtic que utilitza la inferència bayesiana per obtenir solucions parsimonioses per a la regressió i la classificació probabilística. El RVM té una forma funcional idèntica a la màquina vectorial de suport, però proporciona una classificació probabilística.

En realitat és equivalent a un model de procés gaussià amb funció de covariància:

$k(\mathbf {x} ,\mathbf {x'} )=\sum _{j=1}^{N}{\frac {1}{\alpha _{j}}}\varphi (\mathbf {x} ,\mathbf {x} _{j})\varphi (\mathbf {x} ',\mathbf {x} _{j})$

on $\varphi$ és la funció del nucli (generalment gaussiana), $\alpha _{j}$ són les variàncies de l'a priori sobre el vector pes $w\sim N(0,\alpha ^{-1}I)$, i $\mathbf {x} _{1},\ldots ,\mathbf {x} _{N}$ són els vectors d'entrada del conjunt d'entrenament.

En comparació amb les màquines de vectors de suport (SVM), la formulació bayesiana de la RVM evita el conjunt de paràmetres lliures de la SVM (que normalment requereixen post-optimitzacions basades en validació creuada). Tanmateix, els RVM utilitzen un mètode d'aprenentatge semblant a la maximització de les expectatives (EM) i, per tant, corren el risc de tenir mínims locals. Això és a diferència dels algorismes estàndard basats en l'optimització mínima seqüencial (SMO) utilitzats per les SVM, que es garanteixen trobar un òptim global (del problema convex).

La màquina vectorial de rellevància va ser patentada als Estats Units per Microsoft (la patent va caducar el 4 de setembre de 2019).