Entropia diferencial
L'entropia diferencial (també anomenada entropia contínua ) és un concepte en teoria de la informació que va començar com un intent de Claude Shannon d'estendre la idea d'entropia (Shannon), una mesura de la mitjana (sorpresa) d'una variable aleatòria, a distribucions de probabilitat contínues. Malauradament, Shannon no va derivar aquesta fórmula, i més aviat va suposar que era l'anàleg continu correcte de l'entropia discreta, però no ho és.[1] :181–218La versió contínua real de l'entropia discreta és la densitat limitant de punts discrets (LDDP). L'entropia diferencial (descrita aquí) es troba habitualment a la literatura, però és un cas límit del LDDP i que perd la seva associació fonamental amb l'entropia discreta.
![](http://upload.wikimedia.org/wikipedia/commons/thumb/e/e2/Differential_Entropy_Beta_Distribution_for_alpha_and_beta_from_1_to_5_-_J._Rodal.jpg/325px-Differential_Entropy_Beta_Distribution_for_alpha_and_beta_from_1_to_5_-_J._Rodal.jpg)
![](http://upload.wikimedia.org/wikipedia/commons/thumb/2/2a/Differential_Entropy_Beta_Distribution_for_alpha_and_beta_from_0.1_to_5_-_J._Rodal.jpg/321px-Differential_Entropy_Beta_Distribution_for_alpha_and_beta_from_0.1_to_5_-_J._Rodal.jpg)
Pel que fa a la teoria de la mesura, l'entropia diferencial d'una mesura de probabilitat és l'entropia relativa negativa d'aquesta mesura a la mesura de Lebesgue, on aquesta última es tracta com si fos una mesura de probabilitat, tot i no estar normalitzada.
Definició
Deixar ser una variable aleatòria amb una funció de densitat de probabilitat el suport dels quals és un conjunt . L' entropia diferencial o es defineix com [2] :243
|
Per a distribucions de probabilitat que no tenen una expressió de funció de densitat explícita, però tenen una expressió de funció quantil explícita, , doncs es pot definir en termes de la derivada de és a dir, la funció de densitat quantil com
Igual que amb el seu analògic discret, les unitats d'entropia diferencial depenen de la base del logaritme, que sol ser 2 (és a dir, les unitats són bits). Vegeu unitats logarítmiques per als logaritmes presos en diferents bases. Els conceptes relacionats com ara conjunt, entropia diferencial condicional i entropia relativa es defineixen de manera similar. A diferència de l'analògic discret, l'entropia diferencial té un desplaçament que depèn de les unitats utilitzades per mesurar .[3] :183–184Per exemple, l'entropia diferencial d'una quantitat mesurada en mil·límetres serà log(1000) més que la mateixa quantitat mesurada en metres; una quantitat adimensional tindrà una entropia diferencial de log(1000) més que la mateixa quantitat dividida per 1000.
Cal tenir cura en intentar aplicar les propietats de l'entropia discreta a l'entropia diferencial, ja que les funcions de densitat de probabilitat poden ser superiors a 1. Per exemple, la distribució uniforme té entropia diferencial negativa ; és a dir, està millor ordenat que com es mostra ara
sent inferior a la de que té entropia diferencial zero . Per tant, l'entropia diferencial no comparteix totes les propietats de l'entropia discreta.
Entropies diferencials per a diverses distribucions
modificaA la taula següent és la funció gamma, és la funció digamma, és la funció beta i γ E és la constant d'Euler.[4] :219–230
Nom de la distribució | Funció de densitat de probabilitat (pdf) | Entropia diferencial en nats |
---|---|---|
Uniforme | ||
Normal | ||
Exponencial | ||
Rayleigh | ||
Beta | for | |
Cauchy | ||
Chi | ||
Chi-quadrat | ||
Erlang | ||
F | ||
Gamma | ||
Laplace | ||
Logistic | ||
Lognormal | ||
Maxwell–Boltzmann | ||
Generalized normal | ||
Pareto | ||
Student's t | ||
Triangular | ||
Weibull | ||
Multivariate normal |
Referències
modifica- ↑ Jaynes, E.T. Brandeis University Summer Institute Lectures in Theoretical Physics, 3, sect. 4b, 1963.
- ↑ Cover, Thomas M. Elements of Information Theory (en anglès). New York: Wiley, 1991. ISBN 0-471-06259-6.
- ↑ Gibbs, Josiah Willard. Elementary Principles in Statistical Mechanics, developed with especial reference to the rational foundation of thermodynamics (en anglès). New York: Charles Scribner's Sons, 1902.
- ↑ Park, Sung Y.; Bera, Anil K. «Còpia arxivada». Journal of Econometrics, 150, 2, 2009, pàg. 219–230. Arxivat de l'original el 2016-03-07. DOI: 10.1016/j.jeconom.2008.12.014 [Consulta: 2 juny 2011].