Entropia creuada

En teoria de la informació, l'entropia creuada entre dues distribucions de probabilitat mesura la mitjana de bits necessaris per identificar un esdeveniment d'un conjunt de possibilitats, si un esquema de codificació està basat en una distribució de probabilitat donada $q$, més que en la veritable distribució $p$.

L'entropia creuada per a dues distribucions $p$ i $q$ sobre el mateix espai de probabilitat es defineix com:

$\mathrm {H} (p,q)=\mathrm {E} _{p}[-\log q]=\mathrm {H} (p)+D_{\mathrm {KL} }(p\|q)\!$

on $H(p)$ és l'entropia de $p$, i $D_{\mathrm {KL} }(p||q)$ és la divergència de Kullback-Leibler entri $q$ i $p$ (també coneguda com a entropia relativa).

Si $p$ i $q$ són variables discretes:

$\mathrm {H} (p,q)=-\sum _{x}p(x)\,\log q(x)\!$

Per a les distribucions amb variables aleatòries contínues:

$-\int _{X}p(x)\,\log q(x)\,dx\!$

Vegeu també

• Entropia condicional

Referències

• Dominic Welsh (1988): Codes and Cryptography, Clarendon Press, Oxford, ISBN 0-19-853287-3