En reconeixement de patrons, recuperació d'informació i classificació (aprenentatge automàtic), la precisió[a] és la fracció de casos veritablement positius entre els casos seleccionats com a positius. El reclam[b] (també anomenat sensibilitat, quan es compara amb l'especificitat) és la fracció de casos veritablement positius entre els casos rellevants. Tant la precisió com el reclam són mesures de la rellevància.

Precisió i reclam

Suposem que un programa d'ordinador per a reconèixer gossos en fotografies identifica 8 gossos a una fotografia que conté 12 gossos i alguns gats. Dels 8 identificats com a gossos, 5 són realment gossos (veritables positius), mentre que la resta són gats (falsos positius). La precisió del programa és 5/8 i el reclam és 5/12. O suposem un motor de cerca que retorna 30 pàgines. D'aquestes, només 20 són rellevants, mentre que en falten 40 de rellevants per retornar. La precisió del motor és 20/30 = 2/3 i el reclam és 20/60 = 1/3. Així doncs, en aquest cas, la precisió és "quant d'útils són els resultats" i el reclam és "quant de complets són els resultats".

Definició

modifica

En contextos de recuperació d'informació, la precisió i el reclam es defineixen en termes d'un conjunt de documents recuperats (per exemple, la llista de documents produïts per un motor de cerca a una consulta) i un conjunt de documents rellevants (per exemple, la llista de tots els documents a Internet que són rellevants per un tema). Les mesures van ser definides a Kent et al. (1955).

Precisió

modifica

Al camp de la recuperació d'informació, la precisió és la fracció de documents recuperats que són rellevants per la consulta: Per exemple, per una cerca de text a un conjunt de documents, la precisió és el nombre de resultats correctes dividits pel nombre de resultats retornats.

La precisió té en compte tots els documents recuperats, però també es pot avaluar a un punt de tall n donat, considerant només els n primers resultats retornats pel sistema. Aquesta mesura s'anomena precisió a n.

La precisió s'utilitza juntament amb el reclam, el percentatge de tots els documents rellevants que són recuperats per la recerca. Les dues mesures són de vegades utilitzades juntes a la puntuació F1 (o mesura F) per tal de proporcionar una sola mesura per tot el sistema.

Observi's que el significat de precisió al camp de la recuperació d'informació difereix de la definició d'exactitud i precisió d'altres branques científiques i tecnològiques.

En el camp de la recuperació d'informació, el reclam és la fracció dels documents rellevants que són recuperats per la consulta: Per exemple, per una cerca de text a un conjunt de documents, el reclam és el nombre de resultats correctes dividits pel nombre de resultats que s'haurien d'haver retornat.

En classificació binària, el reclam s'anomena sensibilitat. Pot ser vist com la probabilitat que un document rellevant sigui recuperat per la consulta.

És trivial d'aconseguir un reclam del 100% si es retornen tots els documents en resposta a qualsevol consulta. Per això, el reclam per si sol no és una mesura prou bona, sinó que cal considerar també el nombre de documents no rellevants, calculant la precisió, per exemple.

Mesura F

modifica

Una mesura que combina la precisió i el reclam és la seva mitjana harmònica, anomenada mesura F o puntuació F equilibrada: Aquesta mesura és aproximadament la mitjana de la precisió i el reclam quan els valors són propers. Més generalment, és la mitjana harmònica de la precisió i el reclam, que és el quadrat de la mitjana geomètrica dividida per l'aritmètica. La puntuació F pot ser criticada per diverses raons en circumstàncies particulars a causa del seu biaix com a avaluació mètrica.[1]

És el cas particular   de la mesura general   (per valors reals no negatius de  ): Dues mesures   utilitzades sovint són la mesura  , que posa més de pes al reclam que a la precisió, i la mesura  , que posa més d'èmfasi a la precisió que al reclam.

La mesura   va ser derivada per van Rijsbergen (1979) de manera que   mesurés "l'efectivitat de recuperació respecte un usuari que considera   cops més important el reclam que la precisió". Es basa en la mesura d'efectivitat de van Rijsbergen  , on el segon terme és la mitjana harmònica ponderada de la precisió i el reclam amb pesos  . La relació és   on  .

  1. Calc de l'anglès precision, l'italià precisione, el francès précision i l'espanyol precisión.
  2. Calc de l'anglès recall, l'italià richiamo i el francès rappel.

Referències

modifica
  1. Powers, David M W «Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation». Journal of Machine Learning Technologies, 2, 1, 2011, pàg. 37–63. Arxivat de l'original el 2019-11-14 [Consulta: 17 juliol 2020].

Bibliografia

modifica
  • Kent, Allen; Berry, Madeline M.; Luehrs, Jr.; Fred, U.; Perry, J. W. «Machine literature searching VIII. Operational criteria for designing information retrieval systems» (en anglès). American Documentation, 6, 2, 1955, pàg. 93. DOI: 10.1002/asi.5090060209.