Entropia de Shannon: diferència entre les revisions
Contingut suprimit Contingut afegit
m Robot inserta {{Commonscat}} que enllaça amb commons:category:Entropy and information |
m Canvis menors, neteja AWB |
||
Línia 1:
{{MT|data=febrer de 2013}}
L{{'}}'''entropia de Shannon''', formulada per [[Claude Shannon]] és una funció matemàtica que intuïtivament es correspon amb la quantitat d'[[informació]] continguda o lliurada per una font d'informació. Aquesta font pot ser un text escrit en una llengua, un [[senyal elèctric]], un [[fitxer d'ordinador]] o qualsevol (col·lecció de bytes). Des de la perspectiva d'un receptor, com més informació diferent emet la font, més gran és l'entropia (o incertesa sobre el que emet la font), i viceversa. A més el receptor rep la informació sobre el missatge, més entropia (incertesa) vis-à-vis quin missatge disminució de la llum d'aquest augment de la informació. La definició d'entropia d'una font que Shannon és tal que la font més és redundant, conté menys informació. En absència de limitacions, l'entropia és màxima per a una font on tots els símbols són igualment probables.
En el cas particular d'un sistema de [[Telecomunicacions]], l'entropia de la font (emissor) que indica la incertesa de que el receptor d'aquesta font serà transmesa. Per exemple, una font considera enviar sempre el mateix símbol, diuen que la lletra 'a', té zero d'entropia, és a dir, mínima. De fet, un receptor que només coneix les estadístiques de la font de transmissió és assegurar-se que el pròxim símbol serà una 'a', sense cometre un error. El receptor no necessita per rebre el senyal per eliminar la incertesa que s'ha transmès per la font, ja que no causa perill. Per contra, si la font es considera enviar una 'a' la meitat de temps i una 'b' l'altra meitat, el receptor no està segur de la lletra següent a rebre. L'entropia de la font en aquest cas és diferent de zero (positiva) i quantitativament representen la incertesa en la informació de la font. Des de la perspectiva del receptor, l'entropia indica la quantitat d'informació que necessita per aconseguir eliminar per complet la incertesa (o dubte) sobre el que la font ha transmès.
| |||