Desigualtat de Gibbs: diferència entre les revisions
Contingut suprimit Contingut afegit
Cap resum de modificació |
|||
Línia 1:
[[Fitxer:Josiah_Willard_Gibbs_-from_MMS-.jpg|miniatura|267x267px|[[Josiah Willard Gibbs]]]]
En [[teoria de la informació]], '''la desigualtat de Gibbs''' és una declaració sobre l'entropia de la informació d'una [[distribució de probabilitat]] discreta. Moltes altres cotes en l'entropia de les distribucions de probabilitat deriven de la desigualtat de Gibbs, inclosa la desigualtat de Fano. Va ser presentada per primer cop per J. Willard Gibbs en el segle XIX.
Línia 33:
== Corol·lari ==
L'[[Entropia de Shannon|entropia]] de <math>P</math> és fitada per:<ref name="Bremaud2012"/>{{rp|68}}
:<math>H(p_1, \ldots , p_n) \leq \log n. </math>
== Veu també ==▼
La demostració és trivial - agafi's <math>q_i = 1/n </math> per tot ''i''.
* [[Entropia de Shannon|Entropia d'informació]]
| |||