Diferència entre revisions de la pàgina «Teoria de la informació»

m
el senyal
m (bot: - probabilitat arbitraria ''q(X)''. + probabilitat arbitrària ''q(X)''.)
m (el senyal)
L'article que va iniciar aquesta disciplina va ser l'article de Claude E. Shannon "''A Mathematical Theory of Communication''" mentre treballava als laboratoris Bell el 1948.
 
Abans d'aquest article, algunes idees inicials s'havien treballat als laboratoris Bell, totes assumint implícitament esdeveniments d'igual probabilitat. L'article de Nyquits de 1924, ''Certain Factors Affecting Telegraph Speed'', contenia una secció teòria on quantificava "inteligència" i "velocitat de la línia", donant la relació {{math|1=''W'' = ''K'' log ''m''}} (similar a la constant de Boltzmann), on W és la velocitat de transmissió d'inteligència, m és el nombre de valors de voltatge a cada moment i K és una constant. Ralph Hartley el 1928 en el seu article Transmissión of Information, utilitza la paraula informació com una quantitat mesurable, com la habilitat del receptor de distingir una seqüència de símbols d'una altra, i quantificant-la com {{math|1=''H'' = log ''S''<sup>''n''</sup> = ''n'' log ''S''}}, on S és el nombre de possibles símbols i n el nombre de símbols en una transmissió. La unitat de transmissió era per tant un dígit decimal, anomenat Hartley, com a escala o unitat de mesura d'informació. Alan Turing el 1940 va usar idees similars com a part delsde les anàlisis estadísticsestadístiques per trencar els codis almenys durant al segona guerra mundial.
 
Moltes de les matemàtiques rere la teoria de la informació amb esdeveniments amb diferents probabilitats es van desenvolupar en el camp e la termodinàmica per Ludwig Boltzmanni J. Willarg Gibbs. La connexió entre l'entropia teòrica de la informació i la entropia de la termodinàmica és font d'estudis diversos.
 
=== Informació mútua (transinformació) ===
La informació mútua mesura la quantitat d'informació que es pot obtenir d'una variable aleatòria observant-ne una altra. És important en comunicació per que pot maximitzar la quantitat d'informació compartida entre lesels senyals enviadesenviats i rebudesrebuts. L'informació mútua d'{{math|''X''}} relativa a {{math|''Y''}} es dona per:
: <math>I(X;Y) = \mathbb{E}_{X,Y} [SI(x,y)] = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)\, p(y)}</math>
on SI (d'Specific mutual Information) és la punt d'informació mútua.
6.734

modificacions