Entropia diferencial

L'entropia diferencial (també anomenada entropia contínua ) és un concepte en teoria de la informació que va començar com un intent de Claude Shannon d'estendre la idea d'entropia (Shannon), una mesura de la mitjana (sorpresa) d'una variable aleatòria, a distribucions de probabilitat contínues. Malauradament, Shannon no va derivar aquesta fórmula, i més aviat va suposar que era l'anàleg continu correcte de l'entropia discreta, però no ho és. La versió contínua real de l'entropia discreta és la densitat limitant de punts discrets (LDDP). L'entropia diferencial (descrita aquí) es troba habitualment a la literatura, però és un cas límit del LDDP i que perd la seva associació fonamental amb l'entropia discreta.

Distribució beta d'entropia diferencial per alfa i beta de l'1 al 5.

Distribució beta d'entropia diferencial per alfa i beta de 0,1 a 5.

Pel que fa a la teoria de la mesura, l'entropia diferencial d'una mesura de probabilitat és l'entropia relativa negativa d'aquesta mesura a la mesura de Lebesgue, on aquesta última es tracta com si fos una mesura de probabilitat, tot i no estar normalitzada.

Definició

Deixar $X$ ser una variable aleatòria amb una funció de densitat de probabilitat $f$ el suport dels quals és un conjunt ${\mathcal {X}}$ . L' entropia diferencial $h(X)$ o $h(f)$ es defineix com

$h(X)=\operatorname {E} [-\log(f(X))]=-\int _{\mathcal {X}}f(x)\log f(x)\,dx$

Per a distribucions de probabilitat que no tenen una expressió de funció de densitat explícita, però tenen una expressió de funció quantil explícita, $Q(p)$, doncs $h(Q)$ es pot definir en termes de la derivada de $Q(p)$ és a dir, la funció de densitat quantil $Q'(p)$ com

$h(Q)=\int _{0}^{1}\log Q'(p)\,dp$

Igual que amb el seu analògic discret, les unitats d'entropia diferencial depenen de la base del logaritme, que sol ser 2 (és a dir, les unitats són bits). Vegeu unitats logarítmiques per als logaritmes presos en diferents bases. Els conceptes relacionats com ara conjunt, entropia diferencial condicional i entropia relativa es defineixen de manera similar. A diferència de l'analògic discret, l'entropia diferencial té un desplaçament que depèn de les unitats utilitzades per mesurar $X$. Per exemple, l'entropia diferencial d'una quantitat mesurada en mil·límetres serà log(1000) més que la mateixa quantitat mesurada en metres; una quantitat adimensional tindrà una entropia diferencial de log(1000) més que la mateixa quantitat dividida per 1000.

Cal tenir cura en intentar aplicar les propietats de l'entropia discreta a l'entropia diferencial, ja que les funcions de densitat de probabilitat poden ser superiors a 1. Per exemple, la distribució uniforme ${\mathcal {U}}(0,1/2)$ té entropia diferencial negativa ; és a dir, està millor ordenat que ${\mathcal {U}}(0,1)$ com es mostra ara

$\int _{0}^{\frac {1}{2}}-2\log(2)\,dx=-\log(2)\,$

sent inferior a la de ${\mathcal {U}}(0,1)$ que té entropia diferencial zero . Per tant, l'entropia diferencial no comparteix totes les propietats de l'entropia discreta.

Entropies diferencials per a diverses distribucions

A la taula següent $\Gamma (x)=\int _{0}^{\infty }e^{-t}t^{x-1}dt$ és la funció gamma, $\psi (x)={\frac {d}{dx}}\ln \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}$ és la funció digamma, $B(p,q)={\frac {\Gamma (p)\Gamma (q)}{\Gamma (p+q)}}$ és la funció beta i γ _E és la constant d'Euler.

Nom de la distribució	Funció de densitat de probabilitat (pdf)	Entropia diferencial en nats
Uniforme	$f(x)={\frac {1}{b-a}}$	$\ln(b-a)\,$
Normal	$f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)$	$\ln \left(\sigma {\sqrt {2\,\pi \,e}}\right)$
Exponencial	$f(x)=\lambda \exp \left(-\lambda x\right)$	$1-\ln \lambda \,$
Rayleigh	$f(x)={\frac {x}{\sigma ^{2}}}\exp \left(-{\frac {x^{2}}{2\sigma ^{2}}}\right)$	$1+\ln {\frac {\sigma }{\sqrt {2}}}+{\frac {\gamma _{E}}{2}}$
Beta	$f(x)={\frac {x^{\alpha -1}(1-x)^{\beta -1}}{B(\alpha ,\beta )}}$ for $0\leq x\leq 1$	$\ln B(\alpha ,\beta )-(\alpha -1)[\psi (\alpha )-\psi (\alpha +\beta )]\,$$-(\beta -1)[\psi (\beta )-\psi (\alpha +\beta )]\,$
Cauchy	$f(x)={\frac {\gamma }{\pi }}{\frac {1}{\gamma ^{2}+x^{2}}}$	$\ln(4\pi \gamma )\,$
Chi	$f(x)={\frac {2}{2^{k/2}\Gamma (k/2)}}x^{k-1}\exp \left(-{\frac {x^{2}}{2}}\right)$	$\ln {\frac {\Gamma (k/2)}{\sqrt {2}}}-{\frac {k-1}{2}}\psi \left({\frac {k}{2}}\right)+{\frac {k}{2}}$
Chi-quadrat	$f(x)={\frac {1}{2^{k/2}\Gamma (k/2)}}x^{{\frac {k}{2}}\!-\!1}\exp \left(-{\frac {x}{2}}\right)$	$\ln 2\Gamma \left({\frac {k}{2}}\right)-\left(1-{\frac {k}{2}}\right)\psi \left({\frac {k}{2}}\right)+{\frac {k}{2}}$
Erlang	$f(x)={\frac {\lambda ^{k}}{(k-1)!}}x^{k-1}\exp(-\lambda x)$	$(1-k)\psi (k)+\ln {\frac {\Gamma (k)}{\lambda }}+k$
F	$f(x)={\frac {n_{1}^{\frac {n_{1}}{2}}n_{2}^{\frac {n_{2}}{2}}}{B({\frac {n_{1}}{2}},{\frac {n_{2}}{2}})}}{\frac {x^{{\frac {n_{1}}{2}}-1}}{(n_{2}+n_{1}x)^{\frac {n_{1}+n2}{2}}}}$	$\ln {\frac {n_{1}}{n_{2}}}B\left({\frac {n_{1}}{2}},{\frac {n_{2}}{2}}\right)+\left(1-{\frac {n_{1}}{2}}\right)\psi \left({\frac {n_{1}}{2}}\right)-$$\left(1+{\frac {n_{2}}{2}}\right)\psi \left({\frac {n_{2}}{2}}\right)+{\frac {n_{1}+n_{2}}{2}}\psi \left({\frac {n_{1}\!+\!n_{2}}{2}}\right)$
Gamma	$f(x)={\frac {x^{k-1}\exp(-{\frac {x}{\theta }})}{\theta ^{k}\Gamma (k)}}$	$\ln(\theta \Gamma (k))+(1-k)\psi (k)+k\,$
Laplace	$f(x)={\frac {1}{2b}}\exp \left(-{\frac {|x-\mu |}{b}}\right)$	$1+\ln(2b)\,$
Logistic	$f(x)={\frac {e^{-x/s}}{s(1+e^{-x/s})^{2}}}$	$\ln s+2\,$
Lognormal	$f(x)={\frac {1}{\sigma x{\sqrt {2\pi }}}}\exp \left(-{\frac {(\ln x-\mu )^{2}}{2\sigma ^{2}}}\right)$	$\mu +{\frac {1}{2}}\ln(2\pi e\sigma ^{2})$
Maxwell–Boltzmann	$f(x)={\frac {1}{a^{3}}}{\sqrt {\frac {2}{\pi }}}\,x^{2}\exp \left(-{\frac {x^{2}}{2a^{2}}}\right)$	$\ln(a{\sqrt {2\pi }})+\gamma _{E}-{\frac {1}{2}}$
Generalized normal	$f(x)={\frac {2\beta ^{\frac {\alpha }{2}}}{\Gamma ({\frac {\alpha }{2}})}}x^{\alpha -1}\exp(-\beta x^{2})$	$\ln {\frac {\Gamma (\alpha /2)}{2\beta ^{\frac {1}{2}}}}-{\frac {\alpha -1}{2}}\psi \left({\frac {\alpha }{2}}\right)+{\frac {\alpha }{2}}$
Pareto	$f(x)={\frac {\alpha x_{m}^{\alpha }}{x^{\alpha +1}}}$	$\ln {\frac {x_{m}}{\alpha }}+1+{\frac {1}{\alpha }}$
Student's t	$f(x)={\frac {(1+x^{2}/\nu )^{-{\frac {\nu +1}{2}}}}{{\sqrt {\nu }}B({\frac {1}{2}},{\frac {\nu }{2}})}}$	${\frac {\nu \!+\!1}{2}}\left(\psi \left({\frac {\nu \!+\!1}{2}}\right)\!-\!\psi \left({\frac {\nu }{2}}\right)\right)\!+\!\ln {\sqrt {\nu }}B\left({\frac {1}{2}},{\frac {\nu }{2}}\right)$
Triangular	$f(x)={\begin{cases}{\frac {2(x-a)}{(b-a)(c-a)}}&\mathrm {for\ } a\leq x\leq c,\\[4pt]{\frac {2(b-x)}{(b-a)(b-c)}}&\mathrm {for\ } c<x\leq b,\\[4pt]\end{cases}}$	${\frac {1}{2}}+\ln {\frac {b-a}{2}}$
Weibull	$f(x)={\frac {k}{\lambda ^{k}}}x^{k-1}\exp \left(-{\frac {x^{k}}{\lambda ^{k}}}\right)$	${\frac {(k-1)\gamma _{E}}{k}}+\ln {\frac {\lambda }{k}}+1$
Multivariate normal	$f_{X}({\vec {x}})=$${\frac {\exp \left(-{\frac {1}{2}}({\vec {x}}-{\vec {\mu }})^{\top }\Sigma ^{-1}\cdot ({\vec {x}}-{\vec {\mu }})\right)}{(2\pi )^{N/2}\left|\Sigma \right|^{1/2}}}$	${\frac {1}{2}}\ln\{(2\pi e)^{N}\det(\Sigma )\}$