Desigualtat de Gibbs

En teoria de la informació, la desigualtat de Gibbs és una declaració sobre l'entropia de la informació d'una distribució de probabilitat discreta. Moltes altres cotes en l'entropia de les distribucions de probabilitat deriven de la desigualtat de Gibbs, inclosa la desigualtat de Fano. Va ser presentada per primer cop per J. Willard Gibbs en el segle XIX.

Josiah Willard Gibbs

Desigualtat de Gibbs

modifica

Sigui

 

una distribució de probabilitat discreta. Llavors per qualsevol altra distribució de probabilitat

 

La desigualtat següent entre quantitats positives (des de pi i qi és entre zero i un) controls:[1]:68

 

amb igualtat si i només si

 

per tot i. En paraules, l'entropia de Shannon d'una distribució P és menor o igual a la seva entropia creuada amb qualsevol altra distribució Q.

La diferència entre dues quantitats és la divergència de Kullback-Leibler o l'entropia relativa, així doncs també es pot escriure la desigualtat com:[2]:34

 

Noti's que l'ús de logaritmes de base 2 és opcional i que permet referir-se a la quantitat en cada costat de la desigualtat com la quantitat d'informació en bits.

Demostració

modifica

Per simplicitat, s'utilitza el logaritme natural (ln), ja que

 

El logaritme en particular que s'utilitzi només escala la relació.

Sigui   el conjunt de tots els índexs   pels quals pi és diferent a zero. Llavors, com que   per tot x > 0, amb igualtat si i només si x=1, es té:

  

L'última desigultat és una conseqüència del fet que pi i qi formen part d'una distribució de probabilitat. En particular, la suma de tots els valors diferents de zero és 1. Alguns termes no-zeros qi, tanmateix, poden haver estat exclosos ja que la tria d'índexs depèn dels termes pi diferents a zero. Per tant, la suma dels qi pot ser inferior a 1.

Fins aquí, en el conjunt d'índexs  , es té:

 ,

o equivalentment

 .

Tots dos sumatoris poden ser estesos a tots els índexs  , és a dir, incloent  , recordant que l'expressió   tendeix a 0 a mesura que   tendeix a 0, i   tendeix a   a mesura que   tendeix a 0. S'arriba a

 

Per tal que hi hagi igualtat, cal que

  1.   per tot   perquè apliqui l'igualtat  ,
  2. i   que significa que   si  , és a dir,   si  .

Això pot passar si i només si   per  .

Demostracions alternatives

modifica

Alternativament, el resultat pot ser demostrat usant la desigualtat de Jensen, la desigualtat de la suma de logaritmes, o el fet que la divergència de Kullback-Leibler és una forma de divergència de Bregman. A continuació es mostra una demostració basada en la desigualtat de Jensen:

Com que el logaritme és una funció còncava, es té que:

 

On la primera desigualtat és deguda a la desigualtat de Jensen, i la darrera igualtat és deguda a la mateixa raó que es dona en la demostració principal, més amunt.

A més, com que   és estrictament còncava, per la condició d'igualtat de la desigualtat de Jensen es té igualtat com

 

i

 

Suposi's que aquest ràtio és  , llavors es té que

 

On s'ha usat el fet que   són distribucions de probabilitat. Per tant, la igualtat es dona quan  .

Corol·lari

modifica

L'entropia de   és fitada per:[1]:68

 

La demostració és trivial - agafi's   per tot i.

Vegeu també

modifica

Referències

modifica
  1. 1,0 1,1 Pierre Bremaud. An Introduction to Probabilistic Modeling. Springer Science & Business Media, 6 December 2012. ISBN 978-1-4612-1046-7. 
  2. David J. C. MacKay. Information Theory, Inference and Learning Algorithms. Cambridge University Press, 2003. ISBN 978-0-521-64298-9.