Entropia creuada
En teoria de la informació, l'entropia creuada entre dues distribucions de probabilitat mesura la mitjana de bits necessaris per identificar un esdeveniment d'un conjunt de possibilitats, si un esquema de codificació està basat en una distribució de probabilitat donada , més que en la veritable distribució .
L'entropia creuada per a dues distribucions i sobre el mateix espai de probabilitat es defineix com:
on és l'entropia de , i és la divergència de Kullback-Leibler entri i (també coneguda com a entropia relativa).
Si i són variables discretes:
Per a les distribucions amb variables aleatòries contínues:
Vegeu també
modificaReferències
modifica- Dominic Welsh (1988): Codes and Cryptography, Clarendon Press, Oxford, ISBN 0-19-853287-3