Usuari:Freutci/grans-nombres

En teoria de la probabilitat i Estadística les lleis dels grans nombres són una col·lecció de teoremes que tracten del comportament de la mitjana d'una família de variables aleatòries quan el nombre de variables tendeix a infinit (comportament asimptòtic) sota diferents hipòtesis: variables idènticament distribuïdes o no, independència, existència de moments, etc. Cal remarcar que en aquest context la paraula llei és sinònima de teorema. Un cas especialment important d'aquestes lleis estableix que quan el nombre d'observacions d'un fenomen aleatori és molt gran, llavors la freqüència relativa d'un esdeveniment s'aproxima quasi segurament a la probabilitat de l'esdeveniment; d'aquesta manera, l'anomenada definició freqüentista de la probabilitat queda inclosa com un teorema dintre de l'axiomàtica de Kolmogorov.

Atès que hi ha diversos conceptes de convergència de variables aleatòries, es distingeix entre les lleis febles dels grans nombres, on la convergència és en probabilitat, i les lleis fortes, on la convergència és quasi segura. Com que la convergència quasi segura implica la convergència en probabilitat, qualsevol llei forta implica la llei feble sota les mateixes hipòtesis i, per tant, sembla que n'hi hauria prou en estudiar les lleis fortes. Però aquest no és el cas, ja que d'una banda, sota certes hipòtesis només es pot demostrar una llei feble, i d'altra banda, les demostracions de les lleis fortes són, en general, molt més difícils que les de les lleis febles.

La primera llei dels grans nombres va ser establerta per Jacob Bernoullli en 1713, a partir de la qual es van anar produint nombroses extensions i refinaments, assolint-se un cim amb la llei forta d' Andrei Kolmogorov de 1933. Actualment contínua sent un camp de recerca molt actiu.

al seu llibre Ars Conjectandi i l'expressió llei dels grans nombres va ser utilitzada per primer cop per Poisson per referir-se a aquest teorema. Una de les joies de la teoria de la probabilitat és la Llei forta de Kolmogorov de 1933.

El desenvolupament de les lleis dels grans nombres és un tema central en el desenvolupament de la probabilitat i l'estadística des del segle XVIII.

Lleis febles dels grans nombres

Llei feble per a variables independents i idènticament distribuïdes (i.i.d.) amb moment de segon ordre.

Per motius didàctics, ja que la demostració és molt senzilla, s'acostuma a començar per la llei feble per a variables aleatòries independents totes amb la mateixa distribució (i.i.d.) amb moment de 2n. ordre. (finit). De fet, aquesta serà l'única llei dels grans nombres que demostrarem. Cal tenir present que aquest cas és una conseqüència directa de la llei forta de Kolmogorov, de manera que el lector interessat en els resultats més generals pot ometre aquest primer teorema.

Llei feble per a variables independents idènticament distribuïdes amb moment de segon ordre. Considerem una successió de variables aleatòries $X_{1},X_{2},\dots$ independents totes amb la mateixa distribució (i.i.d.), amb esperança $E[X_{n}]=\mu$ i amb moment de segon ordre (finit): $E[X_{n}^{2}]<\infty$. Aleshores

$$\lim _{n\to \infty }{\frac {1}{n}}\sum _{j=1}^{n}X_{j}=\mu ,\quad {\text{en probabilitat i en mitjana quadràtica}}.$$

Observacions.

1. La convergència en probabilitat vol dir que per a qualsevol $\varepsilon >0$,

$$\lim _{n\to \infty }P{\Big (}{\Big \vert }{\frac {1}{n}}\sum _{j=1}^{n}X_{j}-\mu {\Big \vert }>\varepsilon {\Big )}=0.$$

En paraules, que la probabilitat que $(1/n)\sum _{j=1}^{n}X_{j}$ i $\mu$ siguin gaire diferents pot fer-se tan petita com es vulgui.

2. La convergència en mitjana quadràtica vol dir que

$$\lim _{n\to \infty }E{\Big [}{\Big (}{\frac {1}{n}}\sum _{j=1}^{n}X_{j}-\mu {\Big )}^{2}{\Big ]}=0.$$

Aquest resultat s'anomena llei dels grans nombres en mitjana quadràtica.

3. Molts sovint aquesta llei s'escriu utilitzant la mitjana ${\overline {X}}_{n}$ de les variables $X_{1},X_{2},\dots ,X_{n}$:

$${\overline {X}}_{n}={\frac {X_{1}+X_{2}+\dots +X_{n}}{n}}={\frac {1}{n}}\sum _{j=1}^{n}X_{j}.$$

Aleshores el teorema anterior es formula dient que

$$\lim _{n\to \infty }{\overline {X}}_{n}=\mu ,\quad {\text{en probabilitat i en mitjana quadràtica}}.$$

Prova: Demostrarem primer que la convergència és en mitjana quadràtica: Atès que

$$E{\Big [}{\frac {1}{n}}\sum _{j=1}^{n}X_{j}{\Big ]}={\frac {1}{n}}\sum _{i=1}^{n}E[X_{i}]=\mu ,$$

i que les variables són independents, tenim que

$$E{\Big [}{\Big (}{\frac {1}{n}}\sum _{j=1}^{n}X_{j}-\mu {\Big )}^{2}{\Big ]}={\text{Var}}{\Big (}{\frac {1}{n}}\sum _{j=1}^{n}X_{j}{\Big )}={\frac {1}{n^{2}}}\,{n{\text{Var}}(X_{1})}\longrightarrow 0,\quad {\text{quan}}\ n\to \infty .$$

Per tant,

$$\lim _{n\to \infty }{\frac {1}{n}}\sum _{j=1}^{n}X_{j}=\mu ,\quad {\text{en mitjana quadràtica}}.$$

Finalment, s'aplica que la convergència en mitjana quadràtica implica la convergència en probabilitat.

Observació. De la demostració es veu que es pot substituir la condició d'independència per la de variables incorrelacionades (dos a dos). Recordem que dues variables aleatòries $X\ {\text{i}}\ Y$ amb moment de segon ordre es diu que són incorrrelacionades si la seva covariància és 0, o equivalentment, si $E[X\,Y]=E[X]\,E[Y]$ .

El teorema de Bernoulli

Com a conseqüència tenim el teorema de Bernoulli (1713) que s'esmenta en la nota històrica. Recordem que una variable aleatòria de Bernoulli $X$ de paràmetre $p$, amb $0<p<1$, només pot prendre els valors 0 o 1, amb probabilitats

$$P(X=1)=p\quad {\text{i}}\quad P(X=0)=1-p.$$

L'esperança de $X$ és $E[X]=p$ .

Llei dels grans nombres de Bernoulli (1713). Siguin $X_{1},X_{2},\dots$ variables de Bernoulli de paràmetre $p$ independents. Aleshores

$$\lim _{n\to \infty }{\frac {1}{n}}\sum _{j=1}^{n}X_{j}=p,\quad {\text{en probabilitat i en mitjana quadràtica}}.$$

Com a cas particular tenim la convergència de les freqüències relatives d'ocurrència d'un esdeveniment cap a la seva probabilitat. Tal com hem comentat a la introducció, aquest és un resultat fonamental perquè lliga la definició freqüentista de probabilitat amb l'axiomàtica de Kolmogorov.

Convergència de les freqüències relatives a la probabilitat

Teorema. Considerem un experiment aleatori que tingui per model un espai de probabilitat $(\Omega ,{\mathcal {A}},P)$ i sigui $A\in {\mathcal {A}}$ un esdeveniment. Suposem que repetim l'experiment indefinidament i de forma independent. Designem per $f_{n}(A)$ la freqüència relativa de vegades que succeeix $A$ en les $n$ primeres repeticions:

$$f_{n}(A)={\frac {{\text{Nombre de vegades que ocurreix}}\ A\ {\text{en les }}n{\text{ primeres repeticions}}}{n}}.$$

Aleshores

$$\lim _{n\to \infty }f_{n}(A)=P(A),\quad {\text{en probabilitat i en mitjana quadràtica}}.$$

Observació: A conseqüència de la llei forta de Kolmogorov que veurem més endavant, la convergència també és quasi segura.

Prova: Sigui $X_{j}$ la variable aleatòria que val 1 si a la repetició $j$-èsima ha ocorregut l'esdeveniment $A$ i 0 en cas contrari:

$$X_{j}={\begin{cases}1,&{\text{si ocurreix l'esdeveniment }}A{\text{ en la repetició }}j-{\text{èssima}},\\0,&{\text{altrament.}}\end{cases}}$$

Es tracta d'una variable de Bernoulli de paràmetre $p=E[X_{j}]=P(A)$. A més, les variables $X_{1},X_{2},\dots$ són independents, i

$$f_{n}(A)={\frac {1}{n}}\sum _{j=1}^{n}X_{j}.$$

Ara s'aplica la llei dels grans nombres de Bernoulli.

Llei feble per a variables idènticament distribuïdes, dos a dos independents, amb esperança finita

El següent teorema és degut a Khintxin suposant que les variables són independents i va ser un resultat molt important. Per la demostració d'aquesta versió vegeu

Llei feble per a variables idènticament distribuïdes, dos a dos independents, amb esperança finita . Sigui $X_{1},X_{2},\dots$ una successió variables aleatòries idènticament distribuïdes, dos a dos independents, amb esperança finita $E[X_{n}]=\mu$ . Aleshores

$$\lim _{n\to \infty }{\frac {1}{n}}\sum _{j=1}^{n}X_{j}=\mu ,\quad {\text{en probabilitat}}.$$

Llei feble sense condicions sobre els moments

A les lleis febles que hem vist hem suposat que les variables tenien moments de segon o primer ordre. Aquesta condició pot relaxar-se. A més. s'obté una condició necessària i suficient.

Llei feble dels grans nombres per a variables i.i.d. sense hipòtesis sobre els moments . Sigui $X_{1},X_{2},\dots$ una successió de variables aleatòries independents idènticament distribuïdes. Aleshores existeix una successió de constants $c_{1},c_{2},\dots$ tal que

$$\lim _{n\to \infty }{\frac {1}{n}}\sum _{j=1}^{n}X_{j}-c_{n}=0,\quad {\text{en probabilitat}},$$

si i només si

$$\lim _{x\to \infty }xP(\vert X_{1}\vert >x)=0.\qquad (*)$$

I en aquest cas es pot prendre $c_{n}=E[X_{1}\,{\boldsymbol {1}}_{\{\vert X_{1}\vert \leq n\}}].$

Observacions:

1. Cal notar que la condició (*) pot escriure's en termes de la funció de distribució $F$ de $X_{1}$ de la següent manera:

$$\lim _{x\to \infty }x{\big (}1-F(x)-F(x^{-}){\big )}=0,$$

i que les constants són

$$c_{n}=\int _{-n}^{n}x\,dF(x).$$

2. Si $E[\vert X_{1}\vert ]<\infty$ , aleshores es compleix (*) . Però pel cas i.i.d. amb esperança finita, la llei forta de Kolmogorov proporciona la convergència quasi segura, que és un resultat més important.

Llei feble sense suposar que les variables són idènticament distribuïdes

Pot eliminar-se la condició que les variables tinguin totes la mateixa distribució al preu d'exigir l'existència de moments de segon ordre amb una restricció sobre el seu creixement. En el següent teorema, de Markov, no es suposa que les variables siguin independents:
Llei feble dels grans nombre per a variables amb moment de 2n. ordre. Sigui $X_{1},X_{2},\dots$ una successió de variables aleatòries amb moment de segon ordre. Escrivim $E[X_{n}]=\mu _{n}$. Suposem que

$$\lim _{n\to \infty }{\frac {1}{n^{2}}}{\text{Var}}{\Big (}\sum _{j=1}^{n}X_{j}{\Big )}=0.\qquad (*)$$

Aleshores

$$\lim _{n\to \infty }{\Big (}{\frac {1}{n}}\sum _{j=1}^{n}X_{j}-{\frac {1}{n}}\sum _{j=1}^{n}\mu _{j}{\Big )}=0,\quad {\text{en probabilitat}}.$$

Observació: Si les variables són incorrelacionades, és a dir, per a $i\neq j$, $X_{i}\ {\text{i}}\ X_{j}$ tenen covariància 0, o equivalentment, $E[X_{i}\,X_{j}]=E[X_{i}]\,E[X_{j}]$ (en particular, si les variables són independents dos a dos, o indepenents), alehores la condició (*) pot canviar-se per

$$\lim _{n\to \infty }{\frac {1}{n^{2}}}\sum _{j=1}^{n}{\text{Var}}(X_{j})=0.$$

La llei feble de Poisson

Poisson comenta que en les aplicacions molt sovint es tenen variables dicotòmiques (de Bernoulli) on la probabilitat canvia a cada repetició de l'experiment. Per aquesta situació tenim:

Llei feble dels grans nombres de Poisson. Siguin $X_{1},X_{2},\dots$ variables de Bernoulli de paràmetres $p_{1},p_{2},\dots$ respectivament, independents. Aleshores

$$\lim _{n\to \infty }{\Big (}{\frac {1}{n}}\sum _{j=1}^{n}X_{j}-{\frac {1}{n}}\sum _{j=1}^{n}p_{j}{\Big )}=0,\quad {\text{en probabilitat}}.$$

Aquest teorema es dedueix de la llei feble per variables no idènticament distribuides ja que

$${\text{Var}}(X_{n})=p_{n}(1-p_{n}),$$

i llavors

$${\frac {1}{n^{2}}}\sum _{j=1}^{n}{\text{Var}}(X_{j})={\frac {1}{n^{2}}}\sum _{j=1}^{n}p_{j}(1-p_{j})\leq {\frac {n}{n^{2}}}={\frac {1}{n}},$$

que òbviament convergeix a 0.

Lleis fortes dels grans nombres

Finalment, veurem dos resultats deguts a Kolmogorov: el primer és una extensió per a la convergència quasi segura del cas quan no es suposa que les variables tinguin la mateixa distribució. El segon és la celebrada llei forta de Kolgmogorv on es tanca el cas de variables independents i idènticament distribuïdes, ja que s'estableix una condició necessària i suficient per a la convergència quasi segura de $(1/n)\sum _{j=1}^{n}X_{j}$ a un límit finit.

Llei forta per a variables independents amb moment de segon ordre. Sigui $X_{1},X_{2},\dots$ una successió de variables aleatòries independents amb moment de segon ordre (finit). Escrivim $E[X_{n}]=\mu _{n}$. Suposem que

$$\sum _{j=1}^{\infty }{\frac {{\text{Var}}(X_{j})}{j^{2}}}<\infty .$$

Aleshores

$$\lim _{n\to \infty }{\Big (}{\frac {1}{n}}\sum _{j=1}^{n}X_{j}-{\frac {1}{n}}\sum _{j=1}^{n}\mu _{j}{\Big )}=0,\quad {\text{quasi segurament}}.$$

Observació. Cal notar que la llei dels grans nombres de Poisson també es compleix quasi segurament, ja que en aquell cas,

$$\sum _{j=1}^{\infty }{\frac {{\text{Var}}(X_{j})}{j^{2}}}\leq \sum _{j=1}^{\infty }{\frac {1}{j^{2}}}<\infty .$$

Llei forta dels grans nombres de Kolmogorov. Sigui $X_{1},X_{2},\dots$ una successió de variables aleatòries independents i idènticament distribuïdes. Aleshores

$$\lim _{n\to \infty }{\frac {1}{n}}\sum _{j=1}^{n}X_{j}=c,\quad {\text{quasi segurament}}.$$

on és una constant finita si i només si $E[\vert X_{1}\vert ]<\infty$. En aquest cas, $c=E[X_{1}]$.

Referències

Bernoulli, Jacob (1654-1705). Ars Conjectandi (en llatí), 1703. «Traducció a l'anglès de la part 4 a http://www.sheynin.de/download/bernoulli.pdf. Consulta el 27 de febrer de 2021» 

Chung, Kai Lai. A course in probability theory.. 2d ed. New York,: Academic Press, 1974. ISBN 0-12-174650-X. 

Chung, Kai Lai. Teoría elemental de la probabilidad y de los procesos estocásticos. Barcelona: Reverté, 1983. ISBN 84-291-5049-8. 

Durrett, Richard. Probability : theory and examples. Pacific Grove, Calif.: Wadsworth & Brooks/Cole Advanced Books & Software, 1991. ISBN 0-534-13206-5. 

Kolmogorov, A.N.. Foundations of the Theory of Probability. 2a. edició. Nova York: Chelsea Publishing Company, 1956. 

Loeve, Michel. Teoría de la probabilidad. Madrid: Tecnos, S. A., 1976. 

Petrov, V. V.. Limit theorems of probability theory : sequences of independent random variables. Oxford: Clarendon Press, 1995. ISBN 0-19-853499-X. 

Poisson, Siméon-Denis (1781-1840). Recherches sur la probabilité des jugements en matière criminelle et en matière civile ; précédées des Règles générales du calcul des probabilités (en francès), 1837 [Consulta: 3 març 2021]. 

Révéz, Pál. The Laws of large Numbers. New York and London: Academic Press, 1968. 

Seneta, Eugene «A Tricentenary history of the Law of Large Numbers». Bernoulli, 19, 4, 2013, pàg. 1088–1121. ISSN: 1350-7265.

Seneta, Eugene «On the History of the Strong Law of Large Numbers and Boole’s Inequality». Historia Mathematica, 19, 1992, pàg. 24-39.