Entropia de Shannon: diferència entre les revisions

En el cas particular d'un sistema de [[Telecomunicacions]], l'entropia de la font d'informació (l'emissor) indica la incertesa del receptor respecte del que la font transmetrà. Per exemple, una font que es considera que sempre envia el mateix símbol, per exemple, la lletra "a", té una entropia zero, és a dir, mínima. De fet, un receptor que coneix només les estadístiques de transmissió de la font assegura que el símbol següent serà un "a", sense por d'equivoca-se. El receptor no necessita rebre cap senyal per eliminar la incertesa sobre el que ha transmès la font perquè no genera cap perill. D'altra banda, si es considera que la font envia una "a" la meitat de temps i una "b" l'altra meitat, el receptor no està segur que el següent caràcter a rebre sigui una "a". L'entropia de la font en aquest cas, per tant, no és zero (és positiva) i representa quantitativament la incertesa que reina sobre la informació que emana de la font. Des del punt de vista del receptor, l'entropia indica la quantitat d'informació que necessita obtenir per eliminar completament la incertesa (o dubte) sobre el que ha transmès la font.