Un processo markoviano è la descrizione del comportamento di un sistema per il quale il valore attuale (stato del sistema) dipende soltanto dal valore che il sistema aveva nell’istante precedente.

Un esempio tipico è quello del salire o scendere uno scalino in una rampa di scale (sistema) in base al lancio di una moneta: se si presenta “testa” si sale di un gradino; se si presente “croce” si scende di un gradino.

Giunti al termine della scala, le barriere poste agli estremi possono essere assorbenti, quindi ad ogni successivo lancio lo stato del sistema rimane inalterato, oppure riflettenti, con la generazione di stati differenti.

Ogni stato del sistema può essere riconfigurato su una matrice, caratterizzata dall’avere righe e colonne che individuano gli n stati che caratterizzano il sistema

Sempre utilizzando l’esempio con 5 gradini si può annotare quante volte dopo uno stato si è presentato uno stato successivo.

Possiamo utilizzare la matrice di probabilità che normalizza ad 1 la somma di ogni singola riga, considerando che se si ha probabilità p di andare al gradino successivo della scala, si ha probabilità q=1-p di tornare indietro al gradino precedente.