Cerca multimèdia

La cerca multimèdia permet cercar continguts en diferents formats d'arxius que inclouen text, àudio, imatge, vídeo o altres continguts multimèdia. La cerca es pot implementar mitjançant interfícies de cerca multimodal o bé interfícies de cerca per consulta que permeten mostrar els resultats no només de forma textual, sinó que enllacen a altres continguts.

Podem distingir dos metodologies dintre la cerca multimèdia:

Mètodes de cerca utilitzant les metadades associades als continguts. Cerca a través de les etiquetes en les metadades.
Mètodes de consulta mitjançant exemple. S'utilitza com a element de consulta contingut multimèdia.

Cerca utilitzant les metadades modifica

La cerca es realitza utilitzant les etiquetes (metadades) que contenen informació del contingut d'un arxiu multimèdia. La cerca és molt més senzilla, ràpida i eficaç, perquè en lloc de treballar amb material més complex com seria l'àudio, les imatges o el vídeo cerquem utilitzant el text. L'usuari es relaciona amb el programa mitjançant text.

Podem distingir tres processos que cal fer a l'hora d'utilitzar aquest mètode:

Indexació de dades (Extreure informació del contingut). Com a resultat obtenim descriptors.
Filtratge dels descriptors. (per exemple, per eliminar-ne la redundància)
Categoritzar els descriptors en classes.

Indexació de dades modifica

Les metadades que es generen en la captació de continguts (nom del fitxer, autor, data, hora, mida, geo-localització ...) normalment són insuficients per poder trobar el contingut cercat. Per això s'utilitzen tècniques d'indexació audiovisual per generar metadades de més alt nivell.

Un estàndard preparat per incorporar metadades i facilitar la recuperació de continguts és MPEG-7. Tot i que actualment el seu ús encara és reduït.

Filtratge dels descriptors modifica

Amb la indexació podem obtenir múltiples descriptors per un mateix contingut, ja que es poden utilitzar diferents criteris. Trobem diferents classes de descriptors:

Descriptors fixes: És resultat d'un procés de classificació. Pertany la classe d'interès o no.
Descriptors variables: Tenen associat un percentatge (sovint normalitzat entre 0 i 1) relacionat amb la classe d'interès.

Categoritzar els descriptors en classes modifica

S'utilitzen diferents mètodes per categoritzar els descriptors. Gairebé sempre s'utilitza ""machine learning"" per escollir el criteri.

Consulta mitjançant exemple modifica

Seguiu consulta mitjançant exemple per saber-ne més.

La consulta mitjançant exemple consisteix que a partir d'un contingut audiovisual (imatge, àudio, vídeo) es realitzi una cerca. O sigui, l'element des del qual parteix la cerca és un contingut audiovisual. En la consulta mitjançant exemple sovint s'utilitza també la indexació audiovisual però en aquest cas primer hem d'escollir quin criteri utilitzem per generar metadades amb què realitzem la consulta. Podem dividir-ho en tres blocs de procediment:

Generació de descriptors de l'objecte multimèdia amb què volem realitzar la consulta. I generació de descriptors per als objectes multimèdia que tenim a la base de dades.
Comparar els descriptors de l'objecte que cerquem amb els descriptors dels objectes de la base de dades.
Llistar els objectes trobats per ordre de màxima coincidència.

Trobem diferents classes de consulta mitjançant exemple segons el contingut: cerques de text, de vídeo, d'àudio ...

Cercadors Multimèdia modifica

Trobem diferents dues grans famílies de cercadors, en funció del contingut:

Cercadors visuals
Cercadors d'àudio

Cercadors visuals modifica

Seguiu cercador visual per saber-ne més.

Dins aquesta família hi trobem els cercadors d'imatges i els Cercadors de vídeos.

Cercadors d'imatges: Tot i que moltes vegades s'utilitza la cerca simple a les metadades per trobar-ne els continguts, cada cop més, s'intenta utilitzar mètodes d'indexació per poder realitzar cerques més acurades al que busca l'usuari, utilitzant consulta mitjançant imatge. N'és un exemple la lectura de codis QR en aplicacions de cercadors amb imatges per a mòbils.
Cercadors de vídeos: De la mateixa manera que la cerca d'imatges podem cercar vídeos a través de la cerca simple en les metadades o amb els mètodes d'indexació. Els vídeos també contenen àudio que es tracta amb cercadors d'àudio.

Cercadors d'àudio modifica

Hi ha diferents mètodes de cerca i/o reconeixement d'àudio:

Cercadors de veu: Permeten a l'usuari la possibilitat de cercar amb la seva veu. Utilitzen algorismes de reconeixement de la parla per identificar les consultes.
Cerca de música: Tot i que la majoria d'aplicacions de cerca de música treballen sobre les metadades senzilles associades (artista, nom de la cançó, àlbum...) hi ha programes de reconeixement de música. Exemples d'això són Shazam o SoundHound.

Cercadors multimèdia a internet modifica

Logotip de l'empresa Google, exemple de cercador multimèdia

A internet hi ha una enorme quantitat de contingut multimèdia, és per aquest motiu que existeix la necessitat de poder buscar continguts. Trobem molts cercadors a internet que ofereixen aquest servei. Les grans empreses especialitzades amb els motors de cerca també incorporen cerca de continguts multimèdia. Per exemple:

Google: Permet cercar imatge (Google Images), cercar vídeos(Google Video o Youtube), i realitzar cerques a partir d'àudio mitjançant tècniques de reconeixement de veu.
Yahoo!: També permet cercar imatges (yahoo images ) o cercar vídeo (yahoo video )
Bing: També permet cercar vídeos i imatges.