Generalità
	Catene di Markov
	Classificazione degli stati

Generalità

Introduciamo alcuni concetti sui processi stocastici che rappresentano l’ampliamento dello studio del calcolo delle probabilità, in quanto, per la prima volta, è introdotto il concetto di variabile aleatoria collegata al tempo. Definizione di processo stocastico.

"Un processo stocastico è una famiglia di variabili casuali che dipendono da un parametro t".

Un processo stocastico è indicato con la notazione:

dove t è un parametro e T è l’insieme dei possibili valori di t. Di solito con t s'indica il tempo, quindi un processo stocastico è una famiglia di variabili casuali dipendenti dal tempo. Il campo di variabilità di t, cioè l’insieme T, può essere un insieme di numeri reali, coincidente, eventualmente, con l’intero asse dei tempi; può essere anche un insieme discreto di valori. Le variabili casuali X_t sono definite sull’insieme X, detto spazio degli stati, che può essere un insieme continuo, e in tale caso si parla di processo stocastico continuo, oppure un insieme discreto, e in tale caso si parla di processo stocastico discreto. Gli elementi x_iÎ X, ossia i valori che possono assumere le variabili casuali X_t, sono detti stati del sistema e rappresentano i possibili risultati di un esperimento. Le variabili X_t di uno stesso fenomeno sono legate tra loro da relazioni di dipendenza. Una variabile aleatoria è nota se sono noti non solo i valori che può assumere, ma anche la distribuzione di probabilità, così per conoscere un processo stocastico occorre non solo conoscere i valori che possono assumere le X_t, ma anche le distribuzioni di probabilità delle variabili e le distribuzioni congiunte tra esse. Si possono considerare anche processi stocastici più semplici in cui il campo di variabilità di t è un insieme discreto di valori del tempo. Esistono nella realtà numerosi fenomeni che sono studiati mediante la teoria dei processi stocastici. Un’applicazione alla fisica, considerata ormai un "classico", è lo studio del moto di una particella in un determinato mezzo (il cosiddetto moto browniano), studio effettuato statisticamente mediante un processo stocastico. Esistono processi per cui conoscendo il passato e il presente, il futuro non può essere determinato; altri invece per i quali il futuro è determinato dal presente, senza tenere conto del passato. Per meglio comprendere il concetto di processo stocastico, consideriamo il seguente esperimento: supponiamo di lanciare una moneta un numero infinito di volte e che i lanci avvengano ogni t secondi. In un diagramma cartesiano, per ogni lancio, rappresentiamo un gradino verso l’alto se il risultato è testa, verso il basso se il risultato è croce. Dopo un certo numero t di secondi dall’inizio dei lanci, avremo una particolare situazione indicata con x(t) che dipenderà esclusivamente dal diverso susseguirsi delle teste e delle croci. Se il risultato dei lanci è, per esempio:

T T T C T C C T

Il grafico corrispondente è, considerando l’ampiezza di ciascun gradino uguale a s:

Un processo stocastico come quello del tipo appena esaminato è definito passeggiata a caso. Il grafico della realizzazione (o storia) di un processo stocastico costituisce una traccia visibile del processo. Considerando il caso di n lanci nei quali, per k volte si è presentata testa, avremo, al tempo

t = nt

esattamente k gradini verso l’alto e n-k gradini verso il basso. In formula:

X(nt) = ks - (n - k)s

da cui si ha:

A k si possono assegnare i valori 0, 1, …, n perciò X(nt) è una variabile casuale che assume i valori dati dalla (1) con le probabilità del problema delle prove ripetute:

La X(nt) ha perciò la distribuzione seguente:

è facile verificare che il valore medio X(nt) è eguale a zero, infatti, si ha:

Tale somma è nulla perché somma di termini simmetrici eguali in valore assoluto ma di segno opposto. Quindi:

Si dimostra anche che la varianza della variabile casuale X(nt) vale:

Catene di Markov

Un tipo particolare di processi stocastici è costituito dai processi di Markov (che prendono il nome da A.A. Markov, matematico russo, 1856-1922), definiti come processi nei quali: "il futuro, dato il presente, è indipendente dal passato". Un processo di Markov è uno studio generalizzato del problema delle prove ripetute che utilizza il calcolo matriciale, e nel quale il tempo assume un’importanza fondamentale. Riprendiamo il concetto generale di processo stocastico, come una famiglia di variabili casuali:

definita sullo spazio X comprendente tutti i possibili valori che le variabili casuali possono assumere. Come si è detto, lo spazio X è definito spazio degli stati del processo e i suoi elementi x_iÎ X, chiamati stati del sistema, rappresentano i possibili risultati di un esperimento. Un processo stocastico è detto markoviano se le probabilità di transizione (ossia le probabilità che regolano il passaggio da uno stato ad un altro stato) dipendono unicamente dallo stato assunto dal sistema nell’istante precedente a quello considerato. In altre parole, lo stato presente del sistema permette di conoscere il suo comportamento futuro e la storia precedente non ha influenza; per questo motivo i processi markoviani sono detti "senza memoria". Tra i vari tipi di processi markoviani, emergono le catene di Markov finite, che sono processi nei quali il parametro tempo t è discreto e quindi le X_t costituiscono una successione, inoltre lo spazio degli stati è discreto e finito:

ossia le variabili X_t possono assumere queste n determinazioni. Perciò:

Un processo stocastico è una catena di Markov finita se la distribuzione di probabilità condizionata X_k+1 dipende solo dalla distribuzione di probabilità di X_k ed è indipendente dalle distribuzioni precedenti.

 

In altre parole, la probabilità di passare dallo stato x_i al tempo k, allo stato x_j al tempo k+1, non dipende dalla storia precedente del sistema, ma è determinata solo dallo stato presente x_i. Le probabilità di transizione, indicate con p_ij, sono le probabilità condizionate che il sistema passi dallo stato x_i al tempo k, allo stato x_j al tempo k+1:

Se le probabilità sono stazionarie (o costanti) nel senso che dipendono dagli stati x_i e x_j e non dall’istante k in cui avviene la transizione, la catena di Markov è detta omogenea nel tempo.

Matrice di transizione e vettore iniziale

Se si conoscono le p_ij per ogni valore di i e di j, il processo è completamente definito se si conosce anche la distribuzione di probabilità iniziale, rappresentata da un vettore chiamato vettore iniziale:

in cui gli elementi q_1,0 q_2,0 … q_n,0 sono le probabilità che il sistema si trovi al tempo zero, negli stati x₁,x₂,…x_n:

Le probabilità di transizione p_ij possono essere rappresentate in una matrice, detta matrice di transizione:

La matrice P è definita anche matrice stocastica e gode di alcune proprietà:

1^a. È quadrata.

2^a. Ogni valore di p_ij è compreso fra zero e uno:

3^a. La somma degli elementi di ogni riga è uguale a uno. Se anche la somma degli elementi di ogni colonna è uguale a uno, allora la matrice è detta doppiamente stocastica.

 

La i-esima riga della matrice di transizione P:

è detta vettore di probabilità e rappresenta la probabilità di tutte le possibili transizioni dello stato x_i in un altro stato in un generico esperimento (o prova).

Evoluzione del vettore di stato iniziale

Nota la distribuzione di probabilità iniziale, rappresentata dal vettore V₀ e nota la matrice di transizione P, si può studiare l’evoluzione del vettore di stato moltiplicando, secondo le regole del calcolo matriciale, il vettore iniziale per la matrice di transizione. Praticamente si riesce a stabilire la distribuzione di probabilità del vettore quando il sistema compie un passo, in pratica quando avviene il nuovo esperimento. Dati:

sarà:

L’evoluzione del sistema dopo due passi, dopo tre passi, e in generale dopo n passi è data da:

 

Probabilità di transizione in n passi

Un generico elemento p_ij della matrice di transizione P rappresenta la probabilità che il sistema passi dallo stato x_i allo stato x_j in un solo passo. È interessante considerare anche le probabilità in n passi, indicate con:

che rappresentano le probabilità di transizione dallo stato x_i allo stato x_j in n passi, con n maggiore di uno. Considerando l’evoluzione del vettore di stato, possiamo osservare che:

Pⁿ rappresenta l’ennesima potenza della matrice di transizione P e i suoi elementi sono le probabilità di transizione p_ij⁽ⁿ⁾. Se vogliamo determinare la matrice di transizione dopo due passi:

occorre moltiplicare la matrice per se stessa secondo le regole del calcolo matriciale effettuando il prodotto riga per colonna. Come esempio consideriamo un sistema a tre stati, definito dalla matrice di transizione a un passo:

Per determinare la matrice a due passi effettueremo il prodotto:

in cui, ad esempio, p₁₁⁽²⁾=p₁₁p₁₁+p₁₂p₂₁+p₁₃p₃₁

Classificazione degli stati

Data una catena di Markov, i suoi stati possono essere classificati in vari modi; tale classificazione è di grande importanza nell’analisi del comportamento asintotico delle probabilità di transizione in n passi p_ij⁽ⁿ⁾.

Se tutti gli elementi di una matrice di transizione P sono strettamente positivi (maggiori di zero), la matrice sarà definita strettamente positiva e si scriverà:

Tale definizione è necessaria perché, partendo da una qualsiasi distribuzione iniziale, se esiste un numero m compreso fra 1 e n:

tale che P^m sia strettamente positiva, allora ogni Pⁿ è strettamente positiva e la distribuzione del vettore V_n dopo n passi:

è strettamente positiva. In altre parole, tutti gli stati hanno probabilità non nulla di ospitare il sistema. Una tale matrice P è anche definita regolare.

Siano x_i e x_j due stati di una catena markoviana; diremo che x_j è uno stato accessibile dallo stato x_i se non è nulla la probabilità di portarsi dallo stato x_i allo stato x_j in un numero finito di passi. Gli stati x_i e x_j si diranno comunicanti se lo stato x_i è accessibile dallo stato x_j e viceversa. Tutti gli stati si diranno comunicanti se esiste un numero n tale che tutte le probabilità di transizione in n passi p_ij⁽ⁿ⁾ sono non nulle.

Se esiste uno stato x_i tale che, una volta che il sistema vi è entrato, non possa più uscirne, allora questo stato è definito stato assorbente.

Un insieme di stati C si dice chiuso se non è possibile alcuna transizione in un solo passo da uno degli stati di C a uno qualsiasi dei restanti stati.

Una catena di Markov si definisce riducibile o scindibile se lo spazio degli stati X contiene due o più insiemi chiusi C; si definisce irriducibile o inscindibile se non esiste alcun insieme chiuso oltre l’insieme di tutti gli stati. Per definire una catena come irriducibile, si può seguire un semplice criterio:

Una catena è irriducibile se e solo se ogni stato può essere raggiunto da ogni altro.

La matrice di transizione associata a una catena irriducibile può essere scomposta in blocchi che ne rendono più semplice la risoluzione; se in una certa matrice di transizione esiste un insieme chiuso C di stati, nella corrispondente matrice a n passi Pⁿ (n>1) possiamo cancellare tutte le colonne e le righe corrispondenti a stati che non appartengono più all’insieme chiuso C, ottenendo così una matrice stocastica più semplice che può essere studiata indipendentemente da tutti gli altri stati.

Uno stato x_i è definito ricorrente se è certo il ritorno allo stato x_i dopo un numero n finito di passi; uno stato x_i è definito transiente se è impossibile il ritorno allo stato x_i, una volta che il processo ne sia uscito.

Se si suppone che una catena di Markov si trovi al tempo zero, in certo stato x_i e che ritorni allo stesso stato a intervalli di tempo:

dove t è un numero intero maggiore di uno, lo stato iniziale è detto periodico. Uno stato non periodico è definito aperiodico.