Coeficient kappa de Cohen

El coeficient kappa de Cohen (κ, minúscula grec kappa) és una estadística que s'utilitza per mesurar la fiabilitat entre avaluadors per a ítems qualitatius (categòrics). En general, es pensa que és una mesura més robusta que el simple càlcul de percentatge d'acord, ja que κ té en compte la possibilitat que l'acord es produeixi per casualitat. Hi ha controvèrsia al voltant del kappa de Cohen a causa de la dificultat d'interpretar els índexs d'acord. Alguns investigadors han suggerit que conceptualment és més senzill avaluar el desacord entre els ítems.

El kappa de Cohen mesura l'acord entre dos evaluadors que classifiquen cadascun N ítems en categories C mútuament excloents. La definició de ${\textstyle \kappa }$ és

$\kappa \equiv {\frac {p_{o}-p_{e}}{1-p_{e}}}=1-{\frac {1-p_{o}}{1-p_{e}}},$

on p_o és l'acord relatiu observat entre els evaluadors i p_e és la probabilitat hipotètica d'acord d'atzar, utilitzant les dades observades per calcular les probabilitats que cada observador vegi aleatòriament cada categoria. Si els avaluadors estan totalment d'acord, aleshores ${\textstyle \kappa =1}$. Si no hi ha cap acord entre els avaluadors diferent del que s'esperaria per casualitat (tal com dona p_e), ${\textstyle \kappa =0}$. És possible que l'estadística sigui negativa, que pot ocórrer per casualitat si no hi ha relació entre les valoracions dels dos evaluadors, o pot reflectir una tendència real dels qualificadors a donar puntuacions diferents.

Per a k categories, N observacions per categoritzar i $n_{ki}$ el nombre de vegades que l'evaluador i va predir la categoria k :

$p_{e}={\frac {1}{N^{2}}}\sum _{k}n_{k1}n_{k2}$

Això es deriva de la següent construcció:

$p_{e}=\sum _{k}{\widehat {p_{k12}}}=\sum _{k}{\widehat {p_{k1}}}{\widehat {p_{k2}}}=\sum _{k}{\frac {n_{k1}}{N}}{\frac {n_{k2}}{N}}={\frac {1}{N^{2}}}\sum _{k}n_{k1}n_{k2}$

On ${\widehat {p_{k12}}}$ és la probabilitat estimada que tant l'evaluador 1 com l'evaluador 2 classifiquen el mateix ítem com a k, mentre que ${\widehat {p_{k1}}}$ és la probabilitat estimada que l'evaluador 1 classifiqui un element com a k (i de manera similar per a l'evaluador 2). La relació ${\textstyle {\widehat {p_{k}}}=\sum _{k}{\widehat {p_{k1}}}{\widehat {p_{k2}}}}$ es basa en l'ús de la hipòtesi que la qualificació dels dos evaluadors és independent. El terme ${\widehat {p_{k1}}}$ s'estima utilitzant el nombre d'ítems classificats com a k pel qualificador 1 ($n_{k1}$) dividit pel total d'elements a classificar ($N$): ${\widehat {p_{k1}}}={n_{k1} \over N}$ (i de la mateixa manera per a l'avaluador 2).

A la matriu de confusió tradicional 2 × 2 emprada en l'aprenentatge automàtic i les estadístiques per avaluar classificacions binàries, la fórmula Kappa de Cohen es pot escriure com:

$\kappa ={\frac {2\times (TP\times TN-FN\times FP)}{(TP+FP)\times (FP+TN)+(TP+FN)\times (FN+TN)}}$

on TP són els vertaders positius, FP són els falsos positius, TN són els veritables negatius i FN són els falsos negatius. En aquest cas, el Kappa de Cohen és equivalent a la puntuació d'habilitat de Heidke coneguda a Meteorologia. La mesura va ser introduïda per primera vegada per Myrick Haskell Doolittle el 1888.