Seguiment d'ulls

El seguiment d'ulls és un procés per mesurar la posició dels ulls i els moviments oculars quan s'està realitzant una acció determinada. S'utilitzen en la investigació sobre el sistema visual, en la psicologia, la lingüística cognitiva i en disseny de productes. Hi ha una sèrie de mètodes per mesurar el moviment de l'ull. La variant més popular utilitza imatges de vídeo del qual s'extreu la posició de l'ull. Altres mètodes utilitzen bobines de cerca o es basen en el electrooculograma.

Seguiment del moviment dels ulls en pacients amb glaucoma en un entorn de conducció

Història

Exemple de fixacions i sortides en un text. Aquest és el patró típic del moviment dels ulls en la lectura.

A la dècada de 1800, els estudis dels moviments oculars es van realitzar mitjançant l'observació directa. El 1879 a París, Louis Emile Javal va observar que la lectura no implica un suau escombrat dels ulls al llarg del text (com es suposava), sinó una sèrie de parades curtes (anomenades fixacions) i sortides ràpides. Aquesta observació va plantejar importants qüestions sobre la lectura que més tard van ser explorades durant la dècada de 1900: A quines paraules s'aturen els ulls? Quant de temps? Quan tornen de nou a les paraules que ja s'han vist?

Edmund Huey va construir el primer prototip de seguidor d'ulls amb una espècie de lent de contacte amb un forat que es col·locava als ulls del subjecte a seguir. L'objectiu estava connectat a un punter d'alumini que es movia en resposta al moviment de l'ull. Huey estudiava i quantificava regressions (només una petita proporció dels moviments sacàdics són regressions) i mostren que algunes paraules en oracions no són fixes.

El primer seguidor d'ulls no intrusiu va ser construït per Guy Thomas Buswell a Chicago. Aquest utilitza feixos de llum que es reflecteixen a l'ull i després els grava en una pel·lícula. Buswell va fer estudis sistemàtics en la lectura i la visualització d'imatges. A la dècada de 1950, Alfred L. Yarbus va realitzar una investigació de seguiment ocular important i a causa de això, el seu llibre de 1967 es va cotitzar molt alt. Va mostrar que la tasca encomanada al subjecte té una gran influència en els seus moviments oculars. També va escriure sobre la relació entre la fixació i l'interès:

Estudi realitzat per Yarbus en 1967 on es contempla que la feina encomanada influeix en el moviment dels ulls.

“Tots els registres mostren de forma concloent que el caràcter del moviment dels ulls és completament independent o pràcticament en funció del material de la imatge i com es va fer, sempre que sigui plana o quasi plana”. El patró cíclic en l'examen de les imatges “no depèn només del que es mostra a la imatge, sinó també del problema que afronta l'observador i la informació que espera obtenir de la imatge”.

“Els registres dels moviments oculars mostren que l'atenció de l'observador es porta a terme normalment només per certs elements de la imatge, els moviments dels ulls reflecteixen els processos del pensament humà, així que Yarbus va pensar que l'observador es pot seguir en certa manera amb els registres dels moviments dels ulls.

“L'atenció de l'observador és freqüentment atreta per elements que no donen informació important però que, en la seva opinió, poden fer-ho. Sovint, un observador centrarà la seva atenció en els elements que són inusuals en les circumstàncies particulars, desconegut, incomprensible, i així successivament”.

“...Al canviar els seus punts de fixació, l'ull de l'observador en diverses ocasions torna als mateixos elements de la imatge. El temps addicional és dedicat a la percepció que no es fa servir per examinar els elements secundaris però a reexaminar els elements més importants”. A la dècada de 1970, les investigacions de rastreig ocular es van expandir ràpidament. El 1980, Just i Carpenter van descriure la gran influència de l'ull i la ment com una hipòtesi, la hipòtesi de “no hi ha cap retard apreciable entre el que es fixa i el que es processa”. Si aquesta hipòtesi és correcta, quan un subjecte mira una paraula o un objecte, ell o ella també pensa (procés cognitiu), i per tant queda exactament registrat el temps de la fixació.

El 1980 es va començar a fer servir el seguiment d'ulls per resoldre preguntes relacionades amb la interacció persona-ordinador. En concret, els investigadors van estudiar com els usuaris podrien realitzar cerques en els menús de l'ordinador. A més, els ordinadors van permetre als investigadors fer servir el seguiment dels ulls a temps real, principalment per ajudar els usuaris amb discapacitat. Més recentment, es va produir un creixement de l'ús d'aquesta tecnologia per estudiar com els usuaris interaccionen amb les interfícies dels ordinadors. Els resultats d'aquestes investigacions es poden fer servir per plantejar possibles canvis en el disseny de la interfície. Una altra àrea d'investigació recent se centra en el desenvolupament web. En aquesta es pot incloure com reaccionen els usuaris als menús desplegables o saber en el qual se centren en una pàgina web perquè el desenvolupador sàpiga on col·locar un anunci. Segons Hoffman, el consens actual és que l'atenció visual sempre va una mica (de 100 a 250 ms) per davant dels ulls. Però tan aviat com es mou l'atenció a una nova posició, els ulls fan el mateix. Encara no es poden inferir processos cognitius específics des de la fixació d'un objecte determinat en una escena. Per exemple, una fixació en una cara d'una fotografia pot indicar reconeixement, gust, disgust, etc.

Tipus de seguidors

Principalment es consideren tres categories:

Mitjançant un mètode invasiu

Utilitzant quelcom adjunt a l'ull com una lent de contacte especial amb un mirall incorporat o un sensor de camp magnètic. El moviment de la unió es mesura amb el supòsit que no llisqui de manera significativa quan l'ull giri. Les mesures realitzades amb lents de contacte han aportat gravacions extremadament detallades dels moviments oculars. Les bobines magnètiques és el mètode que utilitzen per fer estudis sobre la dinàmica i la fisiologia subjacent al moviment de l'ull.

Mitjançant un mètode no invasiu

El segon tipus de seguidor seria sense necessitat que hi hagi cap mena de contacte. A través de la llum, en general llum infraroja, es reflecteix en els ulls i es capta mitjançant una càmera de vídeo o algun altre sensor òptic. La informació recollida s'analitza per extreure la rotació dels ulls i els canvis dels reflexos. Els seguidors d'ulls basats en vídeo solen utilitzar el reflex corneal (la primera imatge de Purkinje) i el centre de la pupil·la com a característiques per saber el pas del temps. Un tipus més sensible de seguidor d'ulls seria el dual-Purkinje, el qual utilitza els reflexos de la part frontal de la còrnia (la primera imatge de Purkinje) i la part posterior de la lent (quarta imatge de Purkinje) com a característiques principals. Un altre mètode que encara és més sensible és un que extreu les característiques de la imatge de l'interior de l'ull, és a dir, dels vasos sanguinis de la retina. Els mètodes òptics, especialment els basats en la gravació de vídeo són àmpliament utilitzats per al seguiment de la mirada i estan ben considerats perquè no són invasius i el cost és baix.

Mitjançant potencials elèctrics

Finalment, el tercer tipus utilitza el potencial elèctric mesurat amb elèctrodes col·locats al voltant dels ulls per detectar el moviment. Els ulls són l'origen d'un constant camp de potencial elèctric que també es pot detectar en foscor total, encara que els ulls estiguin tancats.

Pot estar modelat per generar un dipol amb el pol positiu a la còrnia i el pol negatiu a la retina. El senyal elèctric que es pot derivar a l'ús de dos parells d'elèctrodes de contacte col·locats a la pell al voltant de l'ull es diu electrooculograma (EOG). Si els ulls es mouen de la posició del centre cap a la perifèria, la retina s'acosta a un dels elèctrodes, mentre que la còrnia s'acosta a l'oposat. Aquest canvi en l'orientació dels dipols canvia conseqüentment els resultats mesurats del camp potencial elèctric del senyal EOG.

EOG és, però, una tècnica molt robusta per mesurar els moviments oculars sacàdics associats amb els canvis de la mirada i la detecció de parpelleigs. Al contrari que els seguidors d'ulls basats en vídeos, EOG permet l'enregistrament dels moviments oculars, fins i tot amb els ulls tancats, i per tant pot ser utilitzat en la investigació dels somnis. Es tracta d'un molt lleuger enfocament que, a diferència dels seguidors actuals d'ulls basats en vídeos, només necessita una potència de càlcul molt baixa i funciona sota diferents condicions d'il·luminació.

Tecnologies i tècniques

L'extensa majoria de dissenys actuals són seguidors d'ulls vídeos basats en vídeos. Una càmera enfoca un o els dos ulls i grava els seus moviments mentre l'individu mira una sèrie d'estímuls. Els seguidors d'ulls més moderns utilitzen el contrast per localitzar el centre de la pupil·la i crear un reflex a la còrnia a través de llum infra-roja i infra-roja propera no colimada. El vector entre aquestes dues característiques es pot utilitzar per computar la intersecció de la mirada amb una superfície després d'un simple calibratge individual. S'usen dos tipus generals de tècniques de seguiment d'ulls: pupil·la brillant i pupil·la fosca. La diferència entre elles es basa en la localització de la font d'il·luminació pel que fa als ulls. Si la il·luminació és coaxial amb la mirada, els ulls actuen com catadiòptrics de manera que la llum reflecteix en la retina un efecte de pupil·la brillant semblant al dels ulls vermells. En canvi, si la font d'il·luminació no és coaxial amb la mirada, la pupil·la apareix fosca, ja que el retro reflex de la retina es desvia lluny de la càmera. La tècnica de la pupil·la brillant genera un millor contrast iris/pupil·la a causa d'un seguiment d'ulls més correcte en relació a la pigmentació de l'iris i redueix significativament les interferències produïdes per les pestanyes i altres característiques ocultes. Això a més a més permet un seguiment en condicions que van des de la total foscor fins a una alta claredat. Aquestes tècniques però no són efectives per fer seguiments en exteriors, ja que es produeixen interferències en el seu monitoratge.

Les configuracions dels seguidors d'ulls varien molt; alguns es munten al cap, d'altres requereixen el cap només per ser estables (per exemple amb un recolza-barbeta), i d'altres segueixen els moviments del cap de forma remota i automàtica durant el moviment. La majoria fan servir una freqüència de mostreig d'almenys 30 Hz. Encara que 50/60 Hz és el més comú, actualment molts seguiments d'ulls basats en vídeo funcionen a 240, 350 o fins i tot 1000/1250 Hz, freqüència que es necessita per captar en detall els ràpids moviments durant la lectura o durant els estudis de neurologia.

El moviment dels ulls normalment es divideix en fixacions i sortides, quan la mirada s'atura a certa posició i quan es mou a una altra posició respectivament. Les sèries resultants de les fixacions i les sortides s'anomena scanpath. La majoria de la informació dels ulls es fa disponible durant la fixació, però no durant la sortida. Els un o dos graus centrals (la fòvea) aporta la major part de la informació; els inputs de les excentricitats més extenses (la perifèria) donen menys informació. Per tant, la localització de les fixacions al llarg del scanpath mostren quins punts d'informació dels estímuls són processats durant una sessió de seguiment d'ulls. De mitja, les fixacions duren al voltant de 200 ms durant la lectura de texts lingüístics i 350 ms durant la visió d'una escena. Preparar la sortida cap a un nou objectiu porta al voltant de 200 ms. Els scanpaths són útils per analitzar les intencions cognitives, els interessos i la prominència. Altres factors biològics (alguns tan simple com el gènere) podem afectar la qualitat del scanpath. El seguiment d'ulls en HCI (Interacció persona-ordinador) normalment investiga el scanpath amb fins d'usabilitat, o com a mètode d'input en mostres contingents amb la mirada, també anomenades interfícies basades en la mirada.

Representació de la informació

Per poder interpretar la informació que recullen els diferents tipus de seguidors d'ulls existeix una sèrie de software que creen animacions i representacions amb la finalitat de resumir gràficament el comportament visual d'un o diversos usuaris. Els més destacats serien els següents:

Representacions animades d'un punt sobre la interfície

S'utilitza quan s'examina individualment el comportament visual indicant on s'ha fixat en cada moment l'usuari, així com un petit rastre en forma de línia que indica els moviments sacàdics previs, tal y com s'observa en la imatge de sota.

Representacions estàtiques del camí o ruta sacàdica

Són molt semblants a les esmentades anteriorment amb la diferència que en aquest cas es tracta d'una representació estàtica. Això provoca que resulti més difícil interpretarles que les animades.

Mapes de color

És una representació estàtica alternativa, principalment pensada per l'anàlisi aglomerada dels patrons d'exploració visual d'un conjunt d'usuaris a diferència de les dos representacions comentades anteriorment. En aquestes representacions, les zones "calentes" o de major intensitat indiquen on s'han fixat els usuaris amb major freqüència.

Mapes de zones cegues

És una versió simplificada dels mapes de calor en els quals mostra d'una manera molt clara les zones que han estat visualment menys atingudes per l'usuari i d'altra banda, facilitant la comprensió de la informació més rellevant, és a dir, ens informa de quines zones han sigut les úniques que l'usuari no ha vist.

Aquests quatre tipus de representacions resulten molt descriptives i fàcils de comprendre per una anàlisi posterior. Gràcies a això permeten demostrar al client amb tan sols una imatge que l'usuari no explira la interfície de forma ordenada previsible com es tendeix a creure.

Seguiment d'ulls vs. seguiment de la mirada

Els seguidors d'ulls necessàriament mesuren la rotació de l'ull respecte al sistema de mesura. Si el sistema de mesura es munta al cap, com un EOG (electrooculograma), llavors es mesuren els angles dels ulls. En canvi, si el sistema de mesura es munta en una taula, com les bobines esclerals de cerca o sistemes de càmeres a control remot muntades en taula, llavors es mesuren els angles de la mirada.

En moltes aplicacions, la posició del cap es fixa fent servir una barra que es mossega, un suport pel front o quelcom semblant, perquè la posició dels ulls i la mirada siguin el mateix. En altres casos, el cap té llibertat de moviments i aquests moviments es mesuren amb sistemes com seguidors de cap magnètics o basats en vídeo. Pels seguidors que es munten en el cap, la posició i la direcció d'aquesta s'afegeix a la direcció dels ulls per determinar la direcció de la mirada. En canvi, pels sistemes muntats en taula com les bobines de cerca, la direcció del cap es resta de la direcció de la mirada per determina la direcció dels ulls.

Seguiment d'ulls en situacions pràctiques

Una gran quantitat d'investigacions han estudiat els mecanismes i la dinàmica de la rotació ocular, però l'objectiu del seguiment d'ulls és més sovint estimar la direcció de la mirada. Els usuària poden estar interessats, per exemple, en quins aspectes d'una imatge atrauen la mirada. És important tenir en compte que el seguiment d'ulls no ens informa de la direcció de la mirada exactament, més aviat mesura solament els canvis en la direcció d'aquesta. Per saber precisament a què està mirant el subjecte és necessari un cert calibratge, que correspon a que el subjecte mira a un punt o una sèrie de punts mentre el seguidor d'ulls grava el valor que correspon a cada posició de la mirada. (Fins i tot les tècniques que monitoren característiques de la retina no poden proveir d'una direcció exacte de la mirada, ja que no hi ha cap característica anatòmica específica que marqui el punt exacte en el qual l'eix visual es troba amb la retina, si tan sols existeix aquest punt de forma singular i estable). Un calibratge precís i fiable és bàsic per a obtenir resultats vàlids i repetibles de moviment d'ulls, i això pot ser un desafiament important davant de subjectes no-verbals o aquells que tenen una mirada inestable.

Cada mètode de seguiment d'ulls té els seus avantatges i inconvenients i l'elecció d'un mètode de seguiment d'ulls depèn de consideracions de cost i circumstàncies d'aplicació. Hi ha mètodes offline i procediments online com ara el Seguiment d'Atenció. Hi ha una relació directa entre el cost i la sensibilitat del sistema, així trobem que els sistemes més sensibles costen molts milers d'euros i requereixen una perícia considerable per a operar-los correctament. Avenços en tecnologies de vídeo i computació han portat al desenvolupament de sistemes de baix cost que són aplicables a múltiples usos i són relativament senzills d'utilitzar. La interpretació dels resultats, però, encara requereix un cert nivell de perícia, ja que un sistema pobrament calibrat pot produir dades tremendament errònies.

Aplicacions en el cinema

Detall del moviment d'un ull observant una pel·lícula.

La tecnologia actual desenvolupada mitjançant sistemes d'eye tracking permet analitzar de manera objectiva que està mirant l'espectador a l'hora de projectar una pel·lícula. De manera específica, es pot determinar i gravar quins elements, amb quina duració i fins i tot amb quina intensitat, una zona concreta és observada dins d'una escena.

La llum infraroja reflectida sobre l'ull és capturada per sensors que capten el moviment amb un software especialitzat. El sistema recull tots aquells moments en què l'espectador fixa la mirada en un estímul, tant de manera conscient com inconscient. Els estudis realitzats a partir de l'anàlisi de com s'observen els films, permet als creadors de l’àmbit audiovisual, conèixer a través de la mirada els comportaments cognitius amagats darrere.

Els resultats es presenten en mapes de calor que mostren tots els punts on els diferents espectadors han observat en algun punt de l'escena projectada. En els estudis realitzats en els darrers anys, tret d’excepcions, s'han determinat diversos punts en comú. A les escenes complexes i carregades d'estímuls per l'excés d'elements, els espectadors acostumen a buscar elements emocionals que reflecteixin sentiments i evocacions personals. En seqüències de diàleg, els personatges acostumen a ser observats principalment als ulls i la boca, exactament igual que a una conversa real.

Aplicacions

La varietat de disciplines que pot tractar el seguiment d'ulls i les aplicacions que li poden donar ús són moltes i en molts àmbits. Les aplicacions més conegudes serien tals com:

Publicitat per empreses: Permet fer estudis quantitatius de com la comunicació és percebuda.

Publicitat en TV i cinema: Avaluar l'impacte d'un anunci en un context neutral.

Publicitat online: Distribució de la publicitat en la web amb la jerarquia i el benefici correcte.

Dissenys d'empaquetament: Saber on es fixa realment l'usuari en l'empaquetat.

Visual Merchandising: Com situar els productes.

Diagramació de material imprès: Mostrar si el disseny acompanya a la jerarquia en la lectura que es pretén.

Disseny web: Saber on situar la informació i la publicitat en el lloc adient.

Disseny de software: Poder avaluar la interfície de l'usuari és fonamental pel bon desenvolupament del programa.

Vegeu també

• Seguiment d'objectes
• Seguiment de cares
• Visió artificial
• Interacció persona-ordinador

Bibliografia

• Adler FH & Fliegelman (1934). Influence of fixation on the visual acuity. Arch. Ophthalmology 12, 475.
• Buswell, G.T. (1922). Fundamental reading habits: A study of their development. Chicago, IL: University of Chicago Press.
• Buswell G.T. (1935). How People Look at Pictures. Chicago: Univ. Chicago Press 137–55. Hillsdale, NJ: Erlbaum
• Buswell, G.T. (1937). How adults read. Chicago, IL: University of Chicago Press.
• Carpenter, Roger H.S.; Movements of the Eyes (2nd ed.). Pion Ltd, London, 1988. ISBN 0-85086-109-8.
• Cornsweet TN, Crane HD. (1973) Accurate two-dimensional eye tracker using first and fourth Purkinje images. J Opt Soc Am. 63, 921–8.
• Cornsweet TN. (1958). New technique for the measurement of small eye movements. JOSA 48, 808–811.
• Deubel, H. & Schneider, W.X. (1996) Saccade target selection and object recognition: Evidence for a common attentional mechanism. Vision Research, 36, 1827–1837.
• Duchowski, A. T., "A Breadth-First Survey of Eye Tracking Applications", Behavior Research Methods, Instruments, & Computers (BRMIC), 34(4), novembre 2002, pp. 455–470.
• Eizenman M, Hallett PE, Frecker RC. (1985). Power spectra for ocular drift and tremor. Vision Res. 25, 1635–40
• Ferguson RD (1998). Servo tracking system utilizing phase-sensitive detection of reflectance variations. US Patent # 5,767,941
• Hammer DX, Ferguson RD, Magill JC, White MA, Elsner AE, Webb RH. (2003) Compact scanning laser ophthalmoscope with high-speed retinal tracker. Appl Opt. 42, 4621–32.
• Hoffman, J. E. (1998). Visual attention and eye movements. In H. Pashler (ed.), Attention (pp. 119–154). Hove, UK: Psychology Press.
• Holsanova, J. (forthcoming) Picture viewing and picture descriptions, Benjamins.
• Huey, E.B. (1968). The psychology and pedagogy of reading. Cambridge, MA: MIT Press. (Originally published 1908)
• Jacob, R. J. K. & Karn, K. S. (2003). Eye Tracking in Human-Computer Interaction and Usability Research: Ready to Deliver the Promises. In R. Radach, J. Hyona, & H. Deubel (eds.), The mind's eye: cognitive and applied aspects of eye movement research (pp. 573–605). Boston: North-Holland/Elsevier.
• Just MA, Carpenter PA (1980) A theory of reading: from eye fixation to comprehension. Psychol Rev 87:329–354
• Liechty,J, Pieters, R, & Wedel, M. (2003). The Representation of Local and Global Exploration Modes in Eye Movements through Bayesian Hidden Markov Models. Psychometrika, 68 (4), 519–542.
• Mulligan, JB, (1997). Recovery of Motion Parameters from Distortions in Scanned Images. Proceedings of the NASA Image Registration Workshop (IRW97), NASA Goddard Space Flight Center, MD
• Ott D & Daunicht WJ (1992). Eye movement measurement with the scanning laser ophthalmoscope. Clin. Vision Sci. 7, 551–556.
• Posner, M. I. (1980) Orienting of attention. Quarterly Journal of Experimental Psychology 32: 3–25.
• Rayner, K. (1978). Eye movements in reading and information processing. Psychological Bulletin, 85, 618–660
• Rayner, K. (1998) Eye movements in reading and information processing: 20 years of research. Psychological Bulletin, 124, 372–422.
• Riggs LA, Armington JC & Ratliff F. (1954) Motions of the retinal image during fixation. JOSA 44, 315–321.
• Riggs, L. A. & Niehl, E. W. (1960). Eye movements recorded during convergence and divergence. J Opt Soc Am 50:913–920.
• Riju Srimal, Jorn Diedrichsen, Edward B. Ryklin, and Clayton E. Curtis. Obligatory adaptation of saccade gains. J Neurophysiol. 2008 Mar;99(3):1554-8
• Robinson, D. A. A method of measuring eye movement using a scleral search coil in a magnetic field. IEEE Trans. Biomed. Eng., vol. BME-l0, pp. 137–145, 1963
• Wright, R.D., & Ward, L.M. (2008). Orienting of Attention. New York. Oxford University Press.
• Yarbus, A. L. Eye Movements and Vision. Plenum. New York. 1967 (Originally published in Russian 1962)

Enllaços externs

A Wikimedia Commons hi ha contingut multimèdia relatiu a: Seguiment d'ulls

• Eye-Tracking en Interacció Persona-Ordinador
• Eye Tracking i el marketing comercial Arxivat 2010-06-28 a Wayback Machine.
• Anàlisis d'Eye Tracking en posicionamient SEO
• Eye-Tracking en neuromarketing Arxivat 2011-11-12 a Wayback Machine.
• L'aportació del Eye tracking en el sector d'usabilitat Arxivat 2015-09-29 a Wayback Machine.