Entropia de Shannon: diferència entre les revisions

L{{'}}'''entropia de Shannon''', (formulada per [[Claude Shannon]]) és una funció matemàtica que intuïtivament es correspon amb la quantitat d'[[informació]] continguda o lliurada per una font d'informació. Aquesta font pot ser un text escrit en un idioma determinat, un [[senyal elèctric]], un [[fitxer d'ordinador]] o qualsevol (col·lecció de bytes). Des del punt de vista d'un receptor, com més informació diferent emet la font, més gran és l'entropia (o incertesa sobre el que emet la font), i viceversa. Com més informació rep el receptor sobre el missatge transmès, més disminueix l'entropia (incertesa) respecte a aquest missatge, per raó d'aquest augment d'informació. La definició d'entropia de Shannon és tal que com més redundant sigui la font, menys informació conté. En absència de restriccions particulars, l'entropia és màxima per a una font en la que tots els símbols són igualment probables (equiprobables).

En el cas particular d'un sistema de [[Telecomunicacions]], l'entropia de la font d'informació (l'emissor) indica la incertesa del receptor respecte del que la font transmetrà. Per exemple, una font que es considera que sempre envia el mateix símbol, per exemple, la lletra "a", té una entropia zero, és a dir, mínima. De fet, un receptor que coneix només les estadístiques de transmissió de la font assegura que el símbol següent serà un "a", sense por d'equivoca-se. El receptor no necessita rebre cap senyal per eliminar la incertesa sobre el que ha transmès la font perquè no genera cap perill. D'altra banda, si es considera que la font envia una "a" la meitat de temps i auna '' ''"b" l'altra meitat, el receptor no està segur deque lael següent caràcter a rebre sigui una "a". L'entropia de la font en aquest cas, per tant, no és zero (és positiva) i representa quantitativament la incertesa que reina sobre la informació que emana de la font. Des del punt de vista del receptor, l'entropia indica la quantitat d'informació que necessita obtenir per eliminar completament la incertesa (o dubte) sobre el que ha transmès la font.