Aprenentatge autònom
L'aprenentatge autònom (amb acrònim anglès SSL) fa referència a un paradigma d'aprenentatge automàtic i als mètodes corresponents per processar dades sense etiquetar per obtenir representacions útils que poden ajudar amb les tasques d'aprenentatge posteriors. El més destacat dels mètodes SSL és que no necessiten etiquetes anotades per humans, la qual cosa significa que estan dissenyats per incloure conjunts de dades que consisteixen completament en mostres de dades sense etiquetar. Aleshores, el pipeline SSL típic consisteix en senyals de supervisió d'aprenentatge (etiquetes generades automàticament) en una primera etapa, que després s'utilitzen per a alguna tasca d'aprenentatge supervisat en la segona i les etapes posteriors. Per aquest motiu, SSL es pot descriure com una forma intermèdia d'aprenentatge no supervisat i supervisat.
El mètode SSL típic es basa en una xarxa neuronal artificial o un altre model com ara una llista de decisions.[1] El model aprèn en dos passos. En primer lloc, la tasca es resol a partir d'una tasca de classificació auxiliar o pretext utilitzant pseudoetiquetes que ajuden a inicialitzar els paràmetres del model.[2][3] En segon lloc, la tasca real es realitza amb aprenentatge supervisat o no supervisat.[4][5][6] Altres tasques auxiliars inclouen la finalització de patrons a partir de patrons d'entrada emmascarats (pauses silencioses a la parla o parts d'imatge emmascarades en negre). L'aprenentatge autònom ha donat resultats prometedors en els darrers anys i ha trobat una aplicació pràctica en el processament d'àudio i Facebook i altres persones l'utilitzen per al reconeixement de veu.[7] L'atractiu principal de SSL és que la formació es pot produir amb dades de menor qualitat, en lloc de millorar els resultats finals. L'aprenentatge autònom imita més de prop la manera com els humans aprenen a classificar els objectes.[8]
Per a una tasca de classificació binària, les dades d'entrenament es poden dividir en exemples positius i exemples negatius. Els exemples positius són aquells que coincideixen amb l'objectiu. Per exemple, si esteu aprenent a identificar ocells, les dades positives d'entrenament són aquelles imatges que contenen ocells. Els exemples negatius són els que no ho fan.[9]
SSL pertany als mètodes d'aprenentatge supervisat en la mesura que l'objectiu és generar una sortida classificada a partir de l'entrada. Al mateix temps, però, no requereix l'ús explícit de parells d'entrada-sortida etiquetats. En canvi, les correlacions, les metadades incrustades a les dades o el coneixement del domini present a l'entrada s'extreuen de manera implícita i autònoma de les dades.[10] Aquests senyals de supervisió, generats a partir de les dades, es poden utilitzar per a l'entrenament.[11]
Referències modifica
- ↑ Yarowsky, David Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics [Cambridge, MA], 1995, pàg. 189–196. DOI: 10.3115/981658.981684 [Consulta: 1r novembre 2022].
- ↑ Doersch, Carl; Zisserman, Andrew 2017 IEEE International Conference on Computer Vision (ICCV), October 2017, pàg. 2070–2079. arXiv: 1708.07860. DOI: 10.1109/iccv.2017.226.
- ↑ Beyer, Lucas; Zhai, Xiaohua; Oliver, Avital; Kolesnikov, Alexander 2019 IEEE/CVF International Conference on Computer Vision (ICCV), October 2019, pàg. 1476–1485. arXiv: 1905.03670. DOI: 10.1109/iccv.2019.00156.
- ↑ Doersch, Carl; Gupta, Abhinav; Efros, Alexei A. 2015 IEEE International Conference on Computer Vision (ICCV), December 2015, pàg. 1422–1430. arXiv: 1505.05192. DOI: 10.1109/iccv.2015.167.
- ↑ Zheng, Xin; Wang, Yong; Wang, Guoyou; Liu, Jianguo Micron, 107, April 2018, pàg. 55–71. DOI: 10.1016/j.micron.2018.01.010. ISSN: 0968-4328. PMID: 29425969.
- ↑ Gidaris, Spyros; Bursuc, Andrei; Komodakis, Nikos; Perez, Patrick Perez; Cord, Matthieu 2019 IEEE/CVF International Conference on Computer Vision (ICCV), October 2019, pàg. 8058–8067. arXiv: 1906.05186. DOI: 10.1109/iccv.2019.00815.
- ↑ «Wav2vec: State-of-the-art speech recognition through self-supervision» (en anglès). ai.facebook.com. [Consulta: 9 juny 2021].
- ↑ Bouchard, Louis. «What is Self-Supervised Learning? | Will machines ever be able to learn like humans?» (en anglès). Medium, 25-11-2020. [Consulta: 9 juny 2021].
- ↑ «Demystifying a key self-supervised learning technique: Non-contrastive learning» (en anglès). ai.facebook.com. [Consulta: 5 octubre 2021].
- ↑ R., Poornima; L., Ashok Indian Journal of Dental Education, 10, 1, 2017, pàg. 47–51. DOI: 10.21088/ijde.0974.6099.10117.6. ISSN: 0974-6099.
- ↑ Bouchard, Louis. «What is Self-Supervised Learning? | Will machines ever be able to learn like humans?» (en anglès). Medium, 25-11-2020. [Consulta: 9 juny 2021].