|
La '''Teoriateoria de la Informacióinformació''' estudia la quantificació, l'emmagatzamatge i la comunicació de la informació. El seu pioner va ser '''[[Claude Elwood Shannon|Claude E. Shannon]]''' a l'any 1948 quan va demostrar que aquesta teoria es podia mesurar i definir com a una ciència. El mateix any va publicar "''A Mathematical Theory of Communication''"<ref>{{Ref-web|url=http://people.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf|títol=A Mathematical Theory of Communication|consulta=5/11/2020|llengua=anglès|data=Juliol, Octubre 1948|format=PDF|nom=Claude|cognom=E. Shannon}}</ref> quan estudiava els límits fonamentals en el [[Processament de senyals|processament del senyal]], i operacions com la [[compressió de dades]]. Aquesta disciplina inclou aplicacions com ara la [[compressió de dades]] sense pèrdua (com els [[ZIP|fitxers .ZIP]]), amb pèrdua (com els [[MP3]] o [[JPEG]]), i la [[Codificació de canals|codificació de canal]] (com per exemple l'[[Asymmetric Digital Subscriber Line|ADSL]]). '''L'impacte''' d'aquest principi '''ha estat immens en la societat del segle XX''': la invenció del [[disc compacte]] (CD), els [[Telèfon mòbil|telèfons mòbils]], el desenvolupament d'[[Internet]], els [[Satèl·lit de comunicacions|satèl·lits de comunicacions]] i [[Sonda espacial|sondes espacials]], l'estudi del llenguatge i la percepció humana, la comprensió dels [[Forat negre|forats negres]], neurobiologia,<ref name=:0>{{Ref-llibre|títol=Spikes : exploring the neural code|url= https://www.worldcat.org/oclc/42274482|data=1999| editorial=MIT|lloc=Cambridge, Mass.|isbn=9780262681087}}</ref> ecologia,<ref>{{Ref-publicació|cognom=Margalef|nom=Ramon|article=Información y diversidad específica en
comunidades de organismos|publicació=Investigación Pesquera|data=1956|pàgines=99-106}}</ref> visió humana,<ref>{{Ref-publicació|cognom=Delgado-Bonal|nom=Alfonso|cognom2=Martín-Torres|nom2=Javier|article=Human vision is determined based on information theory|publicació=Scientific Reports|llengua=En|url= https://doi.org/10.1038/srep36038|volum=6|exemplar=1|data=2016-11-03|doi=10.1038/srep36038|issn=2045-2322}}</ref> etc.<ref>{{Ref-llibre|cognom=Burnham|nom=K. P.|cognom2=Anderson|nom2=D. R.|títol=Model selection and multimodel inference: A practical information-theoretic approach|edició=segona edició|llengua=anglès|data=2002| editorial=Springer Science|lloc=Nova York}}</ref><ref name="RBA">{{ref-llibre|títol=Diccionario de Arte I| consulta=1 de desembre de 2014|llengua=castellà|any=2003| editorial=Biblioteca de Consulta Larousse. Spes Editorial SL (RBA)|lloc=Barcelona|pàgina=p.300|isbn=84-8332-390-7}}</ref>
== Introducció ==
La Teoriateoria de la Informacióinformació estudia la transmissió, el procés, l'extracció i l'ús de la informació. De forma abstracta, '''la informació pot ser vista com la resolució d'una incertesa''', o d'una manca de coneixment (sabem que en el procés del coneximent primerament obtenim dades, que es converteixen en informació, i nosaltres la fem coneixement). D'altra banda, en el cas de comunicació d'informació sobre un canal sorollós, en l'article de Shannon "''A Mathematical Theory of Communication''", es tracta la informació '''com un conjunt de possibles missatges''', i l'objectiu és enviar aquests missatges a través d'un canal sorollós. Per la part del receptor, l'objectiu és reconstruir el missatge amb una baixa probabilitat d'error, tot i el soroll del canal. El resultat principal de l'article de Shannon és el [[Segon teorema de Shannon|teorema de codificació de canal]], demostra que la quantitat màxima d'informació que es pot transmetre per un canal sorollós és asimptòticament igual a la capacitat del canal, quantitat que depèn només de l'estadística del canal.<ref name=:0/>
La '''teoria de codis''' s'ocupa de trobar mètodes, anomenats codis. La seva funció és '''incrementar l'eficiència''' i '''reduir la tassataxa d'errors''' en la comunicació de dades sobre canals sorollosos fins al límit teòric del canal. Aquests codis poden classificar-se en tècniques de [[compressió de dades]] i tècniques en [[Detector i corrector d'errors|correcció d'errors]]. Un altre tipus de codis son els [[Criptografia|algorismes criptogràfics]].
== Història ==
L'article que va iniciar aquesta disciplina va ser l'article de Claude E. Shannon "''A Mathematical Theory of Communication''" mentre treballava als [[Laboratoris Bell]] el 1948.
Algunes idees inicials de l'obra s'havien treballat anteriorment als Laboratoris Bell, totes assumint implícitament esdeveniments d'igual probabilitat. L'article de [[Harry Nyquist]] de 1924, "''Certain Factors Affecting Telegraph Speed"'', contenia una secció '''on quantificava "intel·ligència" i "velocitat de la línia"''', donant la relació {{math|1=''W'' = ''K'' log ''m''}} (similar a la constant de Boltzmann), on "W "és la velocitat de transmissió d'inteligència, "m" és el nombre de valors de voltatge a cada moment i "K" és una constant. [[:en:Ralph_Hartley|Ralph Hartley]] l'any 1928 en el seu article "''Transmissión of Information''", utilitza la paraula '''"informació" com una quantitat mesurable''', com l'habilitat del receptor de distingir una seqüència de símbols d'una altra, i quantificant-la com: {{math|1=''H'' = log ''S''<sup>''n''</sup> = ''n'' log ''S''}}. On "S" és el nombre de possibles símbols i "n" el nombre de símbols en una transmissió. La unitat de transmissió era per tant un dígit decimal, anomenat Hartley, com a escala o unitat de mesura d'informació. Alan Turing l'any 1940 va usar idees similars com a part de les anàlisis estadístiques per trencar els codis almenys durant la segona guerra mundial.
Part de les matemàtiques sobre la teoria de la informació amb esdeveniments amb diferents probabilitats, es van desenvolupar en el camp de la '''[[termodinàmica]]''' per [[Ludwig Boltzmann|Ludwig Boltzmanni]] i [[Josiah Willard Gibbs|J. Willarg Gibbs]]. La connexió entre l'entropia teòrica de la informació i l'entropia de la termodinàmica és font d'estudis diversos.
Tornant a Shannon, ell introdueix per primer cop un model de comunicació quantitatiu i qualitatiu com un procés estadístic, començant amb la frase:<blockquote>- "El problema fonamental de la comunicació és el de reproduir en un punt, de forma exacta o aproximada, el missatge seleccionat en un altre lloc."</blockquote>D'aquí sorgiren idees per:
== Estudi de la quantitat d'informació ==
La teoria de la informació es basa en la '''teoria de [[probabilitat]] i [[estadística]]'''. La quantitat d'informació més important és l'entropia; la i'''nformacióinformació en una variable aleatòria''', i la '''informació mútua''', la quantitat d'informació comú entre dues variables aleatòries. La quantitat primera indica la facilitat amb què les dades del missatge pot ser comprimit, mentre que la segona pot ser utilitzada per trobar el tipus de comunicació a través d'un canal.<ref>{{Ref-web|url=http://web.mit.edu/6.933/www/Fall2001/Shannon2.pdf|títol=INFORMATION THEORY: INFORMATION THEORY AND THE DIGITAL AGE|consulta=5/11/2020|llengua=Anglés|editor=Massachusetts Institute of Technology|data=29 octubre 2020|nom=AFTAB, CHEUNG, KIM, THAKKAR, YEDDANAPUDI|format=PDF}}</ref>
L'elecció de la base logarítmica en la següent fórmula, determina la unitat de l'entropia d'informació que s'utilitza. La unitat més comuna de la informació és el bit, basat en el logaritme en base 2. Altres unitats inclouen el NAT, que es basa en el logaritme natural, i el Hartley, que es basa en el logaritme comú (base 10).
=== Entropia de la font d'informació ===
Basada en la [[funció de probabilitat]] de cada símbol per ser comunicat, l'[[entropia de Shannon]] {{math|''H''}} en unitats de bit (per símbol), es defineix com:<blockquote><math>H = - \sum_{i} p_i \log_2 (p_i)</math></blockquote>on {{math|''p<sub>i</sub>''}} és la probabilitat d'ocorrència del símbol {{math|''i''}}-er. Aquesta equació dona l'entropia en unitats de bit (per símbol) perquè usa logaritme en base 2, i aquesta mesura de l'entropia en base 2 es diu "'''de Shannon'''" en el seu honor. Si es fa servir logaritmes neperians, la mesura es dona en "nats" i de vegades s'usa per evitar l'ús de constants a les fórmules. Si es fa servir logaritmes en base 10 la unitat resultats és en dígits decimals o Hartleys per símbol.
Intuïtivament, l'entropia {{math|''H<sub>X</sub>''}} d'una variable aleatòria discreta {{math|''X''}} és una mesura de la "quantitat d'incertesa" associada amb el valor {{math|''X''}} quan només se'n coneix la seva distribució.
* Lambert F. L. (1999), "[http://jchemed.chem.wisc.edu/Journal/Issues/1999/Oct/abs1385.html Shuffled Cards, Messy Desks, and Disorderly Dorm Rooms - Examples of Entropy Increase? Nonsense!]", ''Journal of Chemical Education''
* [http://www.itsoc.org/index.html IEEE Information Theory Society] {{Webarchive|url=https://web.archive.org/web/20090122063052/http://itsoc.org/index.html |date=2009-01-22 }} and [http://www.itsoc.org/review.html ITSoc review articles] {{Webarchive|url=https://web.archive.org/web/20090122063122/http://itsoc.org/review.html |date=2009-01-22 }}
* [http://www.inc.cuhk.edu.hk/InformationTheory/index.html Curs en línia sobre Teoriateoria de la Informacióinformació] ([[The Chinese University of Hong Kong]])
{{Autoritat}}
| 