Entropia de Shannon: diferència entre les revisions

El 1948, mentre treballava a Bell Laboratories , l'enginyer elèctric Claude Shannon va formalitzar matemàticament la naturalesa estadística de la "informació perduda" en senyals de línia telefònica. Per això, va desenvolupar el concepte general d'entropia d'de la informació, fonamental en la seva [[teoria de la informació]].<ref>Claude E.Shannon [http://pespmc1.vub.ac.be/books/Shannon-TheoryComm.pdf ''A mathematical theory of communication'' '''Bell System Technical Journal''', vol. 27, pp. 379-423 and 623-656, July and October, 1948]</ref>

Inicialment, no sembla que Shannon tingués especial coneixement de l'estreta relació entre la seva nova mesura i el treball anterior en termodinàmica . El terme entropia va ser suggerit pel matemàtic John von Neumann per la raó que aquesta noció s'assemblava a la que ja es coneixia com entropia en física estadística, i hauriapodia afegitafegir, queper aquesttriomfar termeen esqualsevol vadebat, entendreque malamentaquest perterme triomfars'havia qualsevolentès malament debat.<ref>M. Tribus, E.C. McIrvine, “Energy and information”, Scientific American, 224 (September 1971).</ref>