Entropia de Shannon: diferència entre les revisions

L''''entropia de Shannon''', formulada per [[Claude Shannon]] és una funció matemàtica que intuïtivament es correspon amb la quantitat d'[[informació]] continguda o lliurada per una font d'informació. Aquesta font pot ser un text escrit en una llengua, un [[senyal elèctric]], un [[fitxer d'ordinador]] o qualsevol (col·lecció de bytes). Des de la perspectiva d'un receptor, com més informació diferent emet la font, més gran és l'entropia (o incertesa sobre el que emet la font), i viceversa. A més el receptor rep la informació sobre el missatge, més entropia (incertesa) vis-à-vis quin missatge disminució de la llum d'aquest augment de la informació. La definició d'entropia d'una font que Shannon és tal que la font més és redundant, conté menys informació. En absència de limitacions, l'entropia és màxima per a una font on tots els símbols són igualment probables.