Propietat de Màrkov

La propietat de Màrkov defineix que una cadena de Màrkov es pot caracteritzar per la probabilitat d'anar a l'estat n+1 condicionada al fet que abans siguem a l'estat nn:

$P(X_{n}+1|X_{n})\,$

Que és la probabilitat de transició del procés. La propietat de les cadenes de Màrkov és que les transicions entre els estats, només pot produir-se entre estats veïns. Només es pot arribar a l'estat i des de l'estat i-1 o bé de i+1.

Aquest tipus d'estadístiques se sol trobar en la distribució exponencial, la funció de densitat de probabilitat de la qual s'expressa així:

$f_{\tau }(t)=\lambda e^{-\lambda t}\quad t>0$

Comprovem que un procés definit per aquesta fdp no té memòria. La probabilitat que hi haja una transició entre 0 i un temps t qualsevol és:

$P(0<\tau <t)=P(\tau <t)=\int _{0}^{t}\lambda e^{-\lambda \tau }\,d\tau$

Si integrem, obtenim:

$P(\tau \ <t)=e^{-\lambda \cdot 0}-e^{-\lambda t}=1-e^{-\lambda t}$

Ara anem a calcular la probabilitat per al mateix interval t, però amb un instant d'inici diferent t₀. Calculem la probabilitat de tindre una transició en l'interval t (de t₀ fins a t₀+t) condicionat al fet que abans de t₀ no hi ha hagut cap transició:

$P(t_{0}<\tau <t_{0}+t|\tau >t_{0})={\frac {p(t_{0}<\tau <t_{0}+t)}{p(\tau >t_{0})}}$

Substituint per les fdp i substituint:

$P(t_{0}<\tau <t_{0}+t|\tau >t_{0})={\frac {\int _{t_{0}}^{t_{0}+t}\lambda e^{-\lambda \tau }\,d\tau }{\int _{t_{0}}^{\infty }\lambda e^{-\lambda \tau }\,d\tau }}={\frac {e^{-\lambda t_{0}}-e^{-\lambda (t_{0}+t)}}{e^{-\lambda t_{0}}-e^{-\lambda \cdot \infty }}}={\frac {e^{-\lambda t_{0}}(1-e^{-\lambda t})}{e^{-\lambda t_{0}}-0}}=1-e^{-\lambda t}$

Amb la qual cosa queda demostrat que la probabilitat de tindre una transició en un estat no depèn del temps anterior.