Distribució normal multivariable

generalització de la distribució normal unidimensional a dimensions superiors
(S'ha redirigit des de: Distribució normal multivariant)

En teoria de probabilitat i estadística, la distribució normal multivariable o multidimensional o distribució gaussiana multivariable o multidimensional és una generalització de la distribució normal unidimensional (univariable) en dimensions superiors. Una definició possible és que un vector aleatori té distribució normal d-variable si totes les combinacions lineals de les seves components segueixen una distribució normal univariable. La seva importància es deriva principalment del teorema del límit central multivariable i les seves aplicacions, tant en Teoria de la probabilitat com en Estadística multivariant. La distribució normal multivariable s'utilitza sovint per descriure, almenys aproximadament, qualsevol conjunt de variables aleatòries reals (possiblement) correlacionades cadascuna de les quals es concentra al voltant d'un valor mitjà.

Infotaula distribució de probabilitatDistribució normal multivariable

Mostres d'una distribució normal bivariable, dibuixades juntament amb l'el·lipse 3-sigma, les dues distribucions marginals i els dos histogrames unidimensionals
TipusDistribució el·líptica, distribució conjunta i Distribució normal matricial Modifica el valor a Wikidata
Notació
ParàmetresμRdposició
ΣRd×dmatriu de variàncies-covariància (matriu semidefinida positiva)
SuportRd, si Σ és definida positiva,
μ+span(Σ) ⊆ Rd, cas general.
fdp
existeix tan sols quan Σ és definida positiva
FD(no té expressió analítica)
Esperança matemàticaμ
Modaμ
VariànciaΣ
Entropia
FC
MathworldMultivariateNormalDistribution Modifica el valor a Wikidata

Les referències bàsiques d'aquest article són Tong [1] i Bryc [2] per a la part probabilistica, i Anderson [3] i Seber [4] [5] per a les aplicacions estadístiques.

Vector aleatori normal amb funció de densitat modifica

Notacions. Seguint les convencions de l'àlgebra lineal, escriurem tots els vectors en columna i identificarem   amb el conjunt de vectors reals  -dimensionals. Denotarem per   la transposada de la matriu o del vector  .

Començarem pel cas més senzill i habitual en què el vector aleatori normal té densitat, també anomenat vector aleatori normal no singular o no degenerat. Més endavant veurem el cas general.

Definició. Un vector aleatori   es diu que és normal (no singular) [6] o que té distribució normal multidimensional o multivariable (no singular) si té funció de densitat

 

on  ,   és una matriu (real)   definida positiva [7] i   és el seu determinant. S'escriu  , o bé   si es vol remarcar la dimensió del vector; en aquest article utilitzarem aquesta segona notació. Quan  , es tracta d'una variable aleatòria normal amb mitjana   i variància  , i s'escriu   en lloc de  .

Com demostrarem més endavant, el vector   és el vector d'esperances de   i   la seva matriu de variàncies-covariàncies:

 

Exemple. Vector aleatori normal estàndard [8]. Siguin   variables aleatòries independents, totes amb distribució normal estàndard  . Considerem el vector aleatori  . Atès que les variables són independents, la funció de densitat del vector serà el producte de les funcions de densitat de les components: Per a  

 
Així,

 

Per tant,   és un vector aleatori normal, amb   i   (matriu identitat). Així,  . Noteu que aquests valors de   i   són coherents amb el fet que   i  ,  , i   .

Per posterior us, comentem que la funció característica de   és el producte de les funcions característiques de les components i val

 

El·lipsoides d'equidensitat. [9] La funció de densitat (1) és constant sobre els el·lipsoides  -dimensionals de la forma

 
per a qualsevol  . És diu que és una distribució amb simetria el·líptica . Quan   aleshores els el·lipsoides anteriors són esferes i es diu que la distribució té simetria esfèrica. Vegeu al següent apartat el cas bidimensional. Vegeu [10] per un estudi complet de les distribucions amb simetria el·líptica i simetria esfèrica.

Vector aleatori normal bidimensional modifica

Vegem l'expressió de la funció de densitat (1) quan   [11]. Sigui  . Tindrem

 
La matriu de variàncies covariàncies serà
 
on
 
anàlogament   és la variància de  , i   és el coeficient de correlació entre   i  :
 
i cal suposar   per tal que   .

La inversa de   és

 
Llavors, la funció de densitat de   és

 
 
Figura 1. Funció de densitat d'un vector aleatori normal bidimensional


Podem pensar en aquesta funció de densitat com una superfície a l'espai, amb forma de campana i màxim en el punt  . Vegeu a la Figura 1 una representació de la funció  


Els el·lipsoides d'equidensitat són ara les el·lipses [9].

 

Aquestes el·lipses serien les corbes de nivell (no dibuixades a la Figura 1) en un mapa topogràfic .

Quan   (és a dir, les variables són independents) i  , aleshores les el·lipses esdevenen circumferències.




Definició: cas general modifica

En aplicacions importants, com per exemple la distribució dels residus en models de regressió lineal o la distribució asimptòtica de la distribució multinomial que dóna lloc al test de la   de Pearson, es fa palesa la necessitat d'utilitzar vectors aletoris normals que tenen matriu de variàncies-covariàncies amb determinant nul (matriu singular), que s'anomenen vectors aleatoris normals singulars o degenerats;[8] necessàriament aquests vectors no tenen funció de densitat i per tant, cal donar una definició que no utilitzi aquesta funció.

En aquest context, els llibres donen diverses definicions (equivalents) de vector aleatori normal multidimensional general. Aquí citarem les tres més habituals; la definició (a) es troba a Bryc [2], la (b) a Nualart-Sanz [12] i la (c) a Seber.[13]

(a) Es diu que un vector aleatori   és normal si qualsevol combinació lineal de les seves components és una variable aleatòria normal.
(b) Sigui   una matriu   semidefinida positiva i  . Un vector aleatori   es diu que és normal   si té funció característica

 
(c) Sigui   una matriu   semidefinida positiva i  . Un vector aleatori   es diu que és normal   si té la mateixa llei que   on   (és dir, té funció de densitat (2)), i   és qualsevol matriu   tal que   (sempre existeix almenys una matriu   amb aquestes característiques [14]).

Notació i nomenclatura. A partir d'ara, utilitzarem la notació   per referir-nos a un vector aleatori normal  -dimensional, ja sigui singular o no singular. També es diu que les variables aleatòries   tenen distribució conjunta normal o que són conjuntament normals.

Cas singular i cas no singular. Sigui  , amb   semidefinida positiva.

(i) Si   és definida positiva (cas no singular), això és,  , aleshores   té funció de densitat donada per (1). El suport de   és  .
(ii) Si   (cas singular), aleshores   no té funció de densitat. Si el rang de   és  , llavors   està concentrada en una varietat lineal de   de dimensió   [15], concretament en  , on   designa el subespai vectorial de   generat per les columnes de  .
Cal notar que si  , aleshores   .
Vegeu la demostració d'aquestes propietats al final de la següent secció de Propietats.

Propietats modifica

1. Esperança i matriu de variàncies covariàncies d'un vector aleatori normal. Sigui  . Aleshores el seu vector d'esperances és   i la seva matriu de variàncies-covariàncies és  :

 


2. Transformacions lineals [18]. Sigui  , amb   semidefinida positiva,   una matriu   i  . Definim

 
Aleshores   amb
 
Suposem ara que  . Si   és no singular i  , aleshores   és no singular.

3. Reducció a un vector aleatori normal estàndard [20]. Com a conseqüència de la propietat anterior tenim: Suposem que   és no singular. Atès que existeix una única matriu definida positiva   tal que   [21], anomenada arrel quadrada de  , i designem per   la seva inversa,[22] aleshores

 
Recíprocament, si  , aleshores
 


4. Distribucions marginals [23]. Sigui  . Aleshores qualsevol subvector és normal.



Observació: El recíproc no és cert: un vector aleatori pot tenir totes les components normals, però no ser un vector aleatori normal.

5. Funció generatriu de moments [25] Sigui  . Aleshores   té funció generatriu de moments en tot   i val

 

6. Independència. És ben conegut que si dues variables aleatòries són independents llavors són incorrelacionades, o sigui, la seva covariància és zero. En general el recíproc no és cert. però és veritat quan les variables tenen distribució conjunta normal.

(i) Sigui  . Aleshores les variables aleatòries   són independents si i només si  .[26] Equivalentment, si la matriu   és diagonal.
(ii) Sigui  , i  . Escrivim
 
 
D'altra banda, partim la matriu   de la següent manera:
 
on   és matriu de covariàncies dels vectors   i  ,
 
Noteu que  . Aleshores   i   són independents si i només si   [27].
(iii) La propietat anterior es generalitza a qualsevol partició del vector   en vectors  : aquests vectors són independents si i només si les matrius de covariàncies compleixen que   [28].




Moments. Fórmula d'Isserlis o de Wick modifica

Atès que un vector aleatori normal té funció generatriu de moments, tindrà moments de tots els ordres, i com que la distribució del vector normal només depèn de les mitjanes i les covariàncies de les components, els moments només deprendran d'aquestes quantitats; tot i aquesta consideració apriorística, és sorprenent que es pugui trobar una fórmula per als moments tan elegant i simple com la que presentem a continuació.


Sigui   (les components poden ser iguals). Aleshores [30]

 

on la suma es fa sobre totes les descomposicions del conjunt   en parelles disjuntes  .
Per exemple,

 
ja que el conjunt   es pot descompondre de 3 maneres en parelles: les parelles  , les parelles   i les parelles   .

Quan hi ha variables repetides, es fan les identificacions a la fórmula anterior: per exemple, per calcular  , prenem   i  . Llavors,

 

Anàlogament,

 
 
 

Observacions.

  1. Si   és senar, aleshores  , ja que   no pot descompondre-se en parelles. D'altra banda, aquesta propietat pot demostrar-se directament del fet que totes les variables tenen esperanza 0, i llavors el vector   té la mateixa distribució que el vector  . En ser   senar, tenim que   .
  2. Com que totes les variables tenen esperança zero,  . Sovint s'escriu la fórmula anterior usant la notació   amb   .
  3. Per a un nombre parell  , el nombre de parelles en que descompon   és
     
    on   denota el doble factorial de  . Així, per exemple, per a  , tenim que el nombre de parelles és  ; per   tenim   .
  4. Aquesta fórmula va ser descoberta per Isserlis[31] però també és coneguda com a fórmula de Wick a partir del seu treball de Física teòrica.[32] Isserlis va demostrar la fórmula per inducció; veieu una demostració utilitzant funcions característiques a Janson [30]
  5. Quan totes les variables són iguals,   aleshores tenim la coneguda fórmula pels moments de les variables normals centrades [33]
     
  6. Per una extensió als moments d'un vector normal amb vector d'esperances no nul veieu Withers [34]
  7. Per a altres fórmules pels moments d'un vector normal, vegeu Graybill,[35] secció 10.9.

Distribucions condicionades i regressió modifica

Sigui   no singular. Amb les notacions anteriors de la propietat 5, tenim [36] que la distribució   condicionada per   és normal mutidimensional   on

 

La matriu   s'anomena [37]matriu de coeficients de regressió de   sobre  . Cal notar que   és lineal en   i que la matriu   no depèn de  . Aquesta propietat també és certa quan   és singular canviant   per una pseudoinversa (o inversa generalitzada)   [38].

Per a la demostració, vegeu les referències citades.


L'expressió de la mitjana de la distribució condicionada la podem escriure com una esperança condicionada:

 

Com abans, remarquem que   és una funció lineal de   i que la variància condicionada no depèn de  .

Considerem ara el cas que   només té una component és a dir,   i  . Llavors,

 
on ara   .

Atès que el predictor òptim d'una variable aleatòria en termes d'unes altres variables (en el sentit dels mínims quadrats) és l'esperança condicionada,[39] tenim el fet notable que en el cas que totes les variables involucrades siguin conjuntament normals, el predictor òptim coincideix amb el predictor lineal òptim.

Per a  , tenim que   condicionada per   té una distribució normal   on

 
En el llenguatge de la regressió, la recta de regressió de   sobre   és [40]

 

Formes quadràtiques en variables normals modifica

Sigui   i   una matriu   simètrica. Una expressió de forma

 
s'anomena una forma quadràtica en   .

L'exemple més senzill és quan  ,   i  . Llavors, la forma quadràtica té una distribució ji-quadrat amb   graus de llibertat,  , ja que llavors   tenen distribució   i són independents, i llavors

 
Les formes quadràtiques en variables normals tenen un paper important en Estadística. Per un tractament en profunditat, veieu, per exemple, Seber, cap. 20.[5]

Propietats.

  1. Sigui   no singular. Aleshores   i  , on   és una una distribució khi-quadrat no-central amb   graus de llibertat i paràmetre de no centralitat   .
  2. Sigui   no singular i   una matriu   simètrica de rang  . Aleshores  amb   si i només si la matriu   és idempotent:   .


Notes modifica

  1. Tong, 1990.
  2. 2,0 2,1 Bryc, 1995.
  3. Anderson, 2003.
  4. Seber, 2003.
  5. 5,0 5,1 Seber, 2008.
  6. Seber, 2008, p. 435, definició 20.11.
  7. Per definició, una matriu definida positiva o semidefinida positiva és simétrica.
  8. 8,0 8,1 Tong, 1990, p. 27.
  9. 9,0 9,1 Anderson, 2003, p. 22.
  10. Fang, Kaitai. Symmetric multivariate and related distributions. Londres: Chapman and Hall, 1990. ISBN 0-412-31430-4. 
  11. Anderson, 2003, p. 21.
  12. Nualart i Sanz, 1990.
  13. Seber, 2008, p. 436.
  14. 14,0 14,1 Seber, 2008, p. 221, propietat 10.10.
  15. Nualart i Sanz, 1990, p. 128.
  16. Una funció de densitat multidimensional determina de forma única una funció de distribució multidimensional, a partir de la qual pot construir-se un espai de probabilitat i un vector aleatori amb les propietats desitjades. Vegeu Hoffmann-Jørgensen, J. Probability with a view toward statistics. New York, NY: Chapman & Hall, 1994, p. 111. ISBN 0-412-05221-0. 
  17. Loeve, Michel. Teoría de la probabilidad. Madrid: Tecnos, D.L. 1976. ISBN 84-309-0663-0. . Vegeu, per exemple, les pàgines 331 i següents.
  18. Tong, 1990, p. 26, Theorem 3.2.1.
  19. Seber, 2003, p. 461, prop. A.4.5.
  20. Seber, 2003, p. 18.
  21. Seber, 2008, p. 221, item 10.8.
  22. No hi ha ambiguitat en la notació ja que  . Vegeu Seber, 2008, pàgina 221, item 10.8 (f)
  23. Seber, 2008, p. 436, item 20.23 (c).
  24. Tong, 1990, p. 29.
  25. Seber, 2008, p. 436, ítem 20.23(a).
  26. Ash, Robert B. Probability and measure theory. 2a edició. San Diego: Harcourt/Academic Press, 2000, p. 453. ISBN 0-12-065202-1. 
  27. Tong, 1990, p. 30.
  28. Seber, 1984, p. 18.
  29. Seber, 2008, p. 342.
  30. 30,0 30,1 Janson, Svante. Gaussian Hilbert spaces. Cambridge, U.K.: Cambridge University Press, 1997, p. 11-12. ISBN 0-521-56128-0. 
  31. Isserlis, L. «ON A FORMULA FOR THE PRODUCT-MOMENT COEFFICIENT OF ANY ORDER OF A NORMAL FREQUENCY DISTRIBUTION IN ANY NUMBER OF VARIABLES» (en anglès). Biometrika, 12, 1-2, 01-11-1918, pàg. 134–139. DOI: 10.1093/biomet/12.1-2.134. ISSN: 0006-3444.
  32. Wick, G. C. «The Evaluation of the Collision Matrix» (en anglès). Physical Review, 80, 2, 15-10-1950, pàg. 268–272. DOI: 10.1103/PhysRev.80.268. ISSN: 0031-899X.
  33. Papoulis, Athanasios. Probability, random variables, and stochastic processes. 4th ed. Boston: McGraw-Hill, 2002, p. 148. ISBN 0-07-366011-6. 
  34. Withers, C. S. «The moments of the multivariate normal» (en anglès). Bulletin of the Australian Mathematical Society, 32, 1, 1985-08, pàg. 103–107. DOI: 10.1017/S000497270000976X. ISSN: 1755-1633.
  35. Graybill, Franklin A. «Secció 10.9». A: Matrices with applications in statistics. 2a edició. Belmont, Calif.: Wadsworth International Group, 1983. ISBN 0-534-98038-4. 
  36. Seber, 2008, p. 439.
  37. Anderson, 2003, p. 36.
  38. Seber, 2008, p. 437.
  39. Tong, 1990, p. 36.
  40. Wilks, S. S.. Mathematical statistics. Nova York: Wiley, 1962, p. 163. ISBN 0-471-94644-3. 

Bibliografia modifica


Vegeu també modifica