Cadenas de Markov de tiempo continuo y

Cadenas Ocultas de Markov

Anaya Llorente Jorge Enrique; Díaz Cordero Gustavo David; Gutiérrez Gonzales Daniela
Mórelo Herrera Cesar Andrés

Universidad de Córdoba, Facultad de Ingenierías,

Programa de Ingeniería Industrial
Montería, Córdoba, Colombia
Septiembre-2016

Resumen: En este trabajo dos modelos probabilísticos que complementan el estudio de las Cadenas de
Markov. Estos modelos corresponden a Cadenas de Markov de tiempo continuo donde se consideran las
variables aleatorias Xt con t que varía en un intervalo continuo del conjunto de números reales y las
Cadenas Ocultas de Markov donde en el que se asume que el sistema a modelar es un proceso de Markov de
parámetros desconocidos y cuyo objetivo es determinar los parámetros desconocidos (u ocultos, de ahí el
nombre) de dicha cadena a partir de los parámetros observables

Palabras clave: Cadena de Markov, Modelo probabilístico, estocástica entre otras…

Abstract: In this work two probabilistic models that complement the study of Markov chains. These models
correspond to Markov chains continuous time which are considered random variables Xt with t ranging over a
continuous range of the set of real numbers and the Hidden Markov chain where in which it is assumed that
the system modeling is a process Markov unknown parameters and aims to identify (or hidden, hence the
name) unknown parameters of the chain from observable parameters.

Keywords: Markov chain, probabilistic model, stochastic.

como un sub conjunto de ellos llamados cadenas
INTRODUCCIÓN de Markov. Constituyen una herramienta muy
general y poderosa para el análisis y tratamiento
Las Cadenas de Markov reflejan claramente lo de un sin número de problemas de características
que son procesos estocásticos. Se conoce, pues, aleatorias en campos de muy diversa índole,
como procesos estocásticos a aquellos en donde como ser la física, la ingeniería y la economía.
una variable (el tiempo, por ejemplo) depende de Ahora los modelos markovianos ocultos asumen
la otra. En este parte entran en juego las que el sistema estudiado sigue un proceso de
probabilidades, y la manera en cómo una variable markov con parámetros desconocidos .La tarea
depende de la otra se puede apreciar en las fundamental consiste en determinar los
diferentes Cadenas de Markov. parámetros ocultos a partir de parámetros
Las cadenas de Markov de tiempo discreto son observados. La diferencia fundamental
procesos de corta memoria en el sentido de que respecto a un modelos de markov habitual
solo “recuerdan” el ´ultimo estado visitado para consiste en que los estados no son directamente
decidir cuál será el próximo. visibles para el observador, pero sí lo son las
variables influenciadas por el estado. Cada estado
Las cadenas de markov son sistemas que tiene una distribución de probabilidad
comprenden ciertos fenómenos aleatorios que asociada sobre el conjunto de posibles
afectan a sistemas de naturaleza dinámica y que valores de salida. La secuencia de valores de
se denominan procesos estocásticos. Dichos salida generados a partir de un HMM son darán
procesos, denominados procesos de markov1, así cierta información sobre la secuencia de estados.

1
Cadenas de Markov: Andrei Andreivich
Markov, matemático Ruso. Citado en el libro de la universidad de buenos Aires- Argentina.12 de
investigación de operaciones, libro publicado por Sep.- 2009.
En procesos con “larga memoria” (cadenas con caracterizar procesos estocásticos para los cuales
conexiones completas) el valor que toma el
no contaban con suficientes observaciones. Surgió
proceso en cada paso depende de todo el pasado.
entonces la idea que implicaba modelar un
Para nuestro interés, en las continuas páginas se
proceso estocástico particular como un proceso
presentarán procesos de Cadenas de Markov de
Tiempo Continuo y resultados importantes de estocástico doble, en el cual las realizaciones de
este tipo de procesos. Se mostrarán ejemplos
un primer proceso (llamado el proceso oculto),
relacionados con la biología, aunque dichos
procesos tienen muchas aplicaciones en otras daban origen a un segundo proceso (llamado el
áreas como economía, sociología, física, etc.
proceso observado). Los dos procesos se lograban
caracterizar usando sólo el que se podía observar
OBJETIVOS.
(Deller et al., 1993). Del tratamiento de este
OBJETIVOS GENERALES. problema surgió el algoritmo de identificación que
• Estudiar los lineamientos que se conoce como algoritmo de Máxima Estimación,
rigen los procesos de cadenas de Markov ME (Deller et al., 1993).Luego, en los primeros
y procesos de markov ocultos a través de años de la década de mil novecientos setenta se
esta revisión bibliográfica y así realizar desarrolló un caso especial del algoritmo de ME,
un trabajo detallado sobre estos para estimar los parámetros de los MOM, el F-B
procesos. (forward-backward) también llamado algoritmo
• Hacer un análisis de los de re-estimación Baum-Welch, en honor a sus
aspectos que comprenden los procesos de creadores (Deller et al., 1993; Kanungo, 1998;
markov ocultos y sus diferentes Rabiner, 1989).
aplicaciones en la ciencia y la tecnología
OBJETIVOS ESPECÍFICOS CADENAS DE MARKOV DE TIEMPO
CONTINUO
 Identificar las clases de estados
existentes con sus respectivas variables. Existen ciertos casos (como en algunos modelos
de líneas de espera) en los que se requiere un
 Diferenciar claramente las características parámetro de tiempo continuo, debido a que el
de las cadenas de Markov que guardan proceso se está observando de manera continua a
través del tiempo.2
ciertas relaciones.
 Determinar cuáles que son y cuáles son DESCRIPCIÓN DE “CADENAS DE
MARKOV DE TIEMPO CONTINUO”
las principales aplicaciones de las
cadenas de Markov ocultas Estados posibles del sistema: 0,1,.., M Los estados
son discretos
Parámetro continuo: Tiempo t’ para
Estado del sistema en el tiempo t’: variable
Marco teórico aleatoria

Origen de las cadenas de markov Sean:

, tiempo pasado
ocultas , tiempo presente
La historia de los MOM se remonta a los años
cincuenta del siglo pasado, cuando un grupo de
2
(García, 2001; Peinado, 1994; Deller et al.,
investigadores estaban tratando el problema de 1993).
 , t unidades al futuro como la falta de memoria. Existe sólo una
distribución continua con esta propiedad (la
El sistema se observa en los tiempos r y s, y sus exponencial) definida por función de distribución
respectivos estados son acumulada
donde q es el parámetro y la
media es .

Distribución de probabilidad del estado del Con lo anterior en mente, tenemos que
sistema en el tiempo  La variable aleatoria Ti tiene una distribución
exponencial con media .
 Cuando abandona el estado i el proceso entra
en el estado j con probabilidad de transición
Luego, Un proceso estocástico de tiempo continuo con:
tiene la propiedad Markoviana si:
 Probabilidad de transición
igual que en eventos discretos Para
No es necesario que t
sea entero.

Si las probabilidades de transición son

independientes de s, se llaman probabilidades de
transición estacionaria u homogénea:

Para toda s > 0 Las intensidades de transición aquí cumplen el

papel análogo que cumplen las transiciones de un
Denotada por la Función de probabilidad de paso en las cadenas de Markov de tiempo discreto.
transición de tiempo continúo

Se supone que

Las intensidades de transición son:

Probabilidades de estado estable.

Para cualesquiera estados i y j, y números no

negativos t y s (0 ≤ s ≤ t),

Ahora, sea la variable aleatoria : el tiempo que

pasa cada vez que el proceso está en un estado i
antes de ir a otro estado diferente. Si el proceso
entra en i en el tiempo s, entonces para , se
observa que si y sólo si Los estados se comunican si existen tiempos
. esto implicara que / Se supone
Esta que la cadena de Markov de tiempo continuo es
propiedad de la variable aleatoria Ti se conoce
irreductible, es decir, todos los estados de una : Número de máquinas descompuestas en el
cadena se comunican formando una sola clase tiempo (los valores posibles de son 0,
1,2)
Podemos usar las probabilidades de estado estable
para hallar la distribución de probabilidad de
estado estable para el número de máquinas
descompuestas.
Debemos hallar para
: Tasa de transición hacia fuera del estado i por
unidad de tiempo que pasa en i
: Tasa de transición del estado i al j por unidad
de tiempo que pasa en i

Las siguientes ecuaciones de estado estable son El estado (número de máquinas descompuestas)
más útil para obtener las probabilidades de estado  Aumenta en 1 cuando ocurre una
estable: descompostura
 Disminuye en 1 cuando hay una
reparación

Como las descomposturas y las reparaciones

ocurren una a la vez

Ejemplo. q02 = 0
Ejemplo: q20 = 0
Un taller opera con 2 máquinas idénticas q
El tiempo esperado de reparación es ½ de día 
La tasa a la que se terminan las reparaciones
.Figura: ecuaciones de balance (cuando hay máquinas descompuestas) es 2
máquinas por día
Esto implica

q21 = 2
q10 = 2

El tiempo esperado hasta que se descompone una

máquina es 1 día  La tasa a la que se
descomponen las máquinas (cuando está
operando) es 1 por día
Esto implica
Durante los tiempos en que las dos máquinas
El tiempo requerido para reparar una máquina operan, las descomposturas ocurren a una tasa de
tiene distribución exponencial con media 1/2 de 1+1=2 por día
día. Cuando se termina la reparación el tiempo
que transcurre hasta la siguiente descompostura se
distribuye exponencial con medio 1 día. Estas tasas de transición se pueden usar para
calcular la tasa de transición total hacia fuera del
Nota: Las distribuciones son independientes estado

Definamos la variable aleatoria q2 = q21 = 2

q0 = q01 = 2
q1 = q10 + q12 = 3

Ecuaciones de Balance Tasa de salidas de un

estado = Tasa de entradas a ese estado
 una asociada con un estado. En instantes
Cualquiera de estas ecuaciones se puede eliminar discretos de tiempo, se asume que el
como redundante y obtendremos proceso está en algún estado y una
observación es generada por la función
aleatoria asociada al estado actual. La
CONCLUSIÓN: ambas máquinas estarán cadena de Markov subyacente cambia
descompuestas simultáneamente el 20% del entonces de estado de acuerdo con su
tiempo y una máquina estará descompuesta el matriz de probabilidad de transición. El
40%. Las dos estarán buenas el 40%. observador ve localmente la salida de las
funciones aleatorias asociadas a cada
estado y no puede observar directamente
los estados de la cadena de Markov.”
LAS CADENAS OCULTAS DE MARKOV Magdi y Gader.

Existen diferentes situaciones en la naturaleza que
obedecen o se comportan como las cadenas de INTERPRETACIÓN DE UNA CADENA DE
Markov, sin embargo dentro de estos hay MARKOV OCULTA
fenómenos que aparentemente depende de una
En el siguiente diagrama que se encuentra la
sola variable, una sola causa, sin embargo, esta
interpretación grafica de una cadena oculta de
causa implícitamente depende de otra, que a
Markov. Cada óvalo representa una variable
simple vista o de forma inmediata no se distingue,
aleatoria que puede tomar determinados valores.
porque se dice que está escondida u oculta en el
La variable aleatoria es el valor de la
fenómeno. Claro está, estos problemas no dejan de
variable oculta en el instante de tiempo (t), la
comportarse como cadena de Markov, por ello se
les conoce como cadenas ocultas de Markov. variable aleatoria es el valor de la variable
Los modelos ocultos de Markov fueron descritos observada en el instante de tiempo (t). Las flechas
por primera vez en una serie de artículos indican dependencias condicionales. Del diagrama
estadísticos por Leonard E. Baum y otros autores queda claro que el valor de la variable oculta
en la segunda mitad de la década de 1960. Una de (en el instante t) solo depende del valor de la
las primeras aplicaciones de las cadenas ocultas de variable oculta (en el instante t). A esto
Markov fue en el reconocimiento del habla, se le llama propiedad de Markov. De forma
comenzando en la mitad de la década de 1970. En similar, el valor de la variable observada solo
la segunda mitad de la década de 1980, las depende del valor de la variable oculta
cadenas ocultas de Markov comenzaron a ser (ambas en el instante t).
aplicados al análisis de secuencias biológicas, en
particular de DNA. Desde entonces, se han hecho
ubicuos en el campo de la bioinformática.
Algunas de las definiciones que han dado autores
o exponentes del tema son:

 “una cadena de Markov oculta es un

doble proceso estocástico con un ELEMENTOS DE UNA CADENA DE
proceso subyacente que no es observable
(oculto) pero que puede ser observada a MARKOV
través de otro conjunto de procesos
estocásticos que generan la secuencia de
observaciones.” Rabiner. 1. El número de estados en el modelo (N).
Aunque los estados en los que se
encuentra el sistema modelado se
 “. . .es una función probabilística de una consideran ocultos, para muchas
cadena oculta de Markov es un proceso aplicaciones prácticas existe alguna
estocástico generado por dos significación física asociada a los estados
mecanismos interrelacionados, una del sistema. Generalmente los estados
cadena de Markov subyacente que tiene están interconectados de tal manera que
un número finito de estados, y un cualquier estado puede ser alcanzado
conjunto de funciones aleatorias, cada desde cualquier otro. Los estados serán
 denotados como ,y S= estados:
el estado en el instante t como .
Q= secuencia de transiciones:

2. El número de símbolos de observación

distintos por estado M. Es el alfabeto de V= conjunto discreto de observaciones posibles
tamaño discreto del modelo. Los
símbolos corresponden usualmente a la
salida “física” u observable del sistema = estados visibles en el momento t
modelado. Se denotan los símbolos como
o posibles valores
observables en cada estado. M es un total
y V es cada uno de los estados que van
apareciendo.

3. La distribución de probabilidad de
TIPOS DE MODELOS OCULTOS DE
transición o el conjunto de
probabilidades . Usualmente MARKOV
representada por una matriz donde:
Esto
es, la probabilidad de estar en el estado La siguiente clasificación de los modelos ocultos
Sj en el instante t+1, dado que en el de Markov, no se debe exclusivamente a alguna
instante t estuve en el estado Sí. Para el de sus características. Esto quiere decir, que los
caso especial en el que cada estado puede dos primeros tipos cuya clasificación depende de
llevar a cualquier otro estado en una sola los valores de las matrices de probabilidad de
transición, para todo i, j. En transición, son excluyentes entre ellos pero no con
otros tipos de MOM, se tiene que el tercer tipo. Así, podemos tener MOM que sean
para uno o más pares (i, j). no ergódicos y autoregresivos o bien ergódicos y
autoregresivos al mismo tiempo.
4. La distribución de probabilidad de
observación de símbolos B = {bj (k)}. Ergódicos:
Esta distribución de probabilidad
representa la probabilidad de observar el Cuando un modelo oculto de Markov tiene una
símbolo k estando en el estado j donde: matriz de probabilidad de transición de estados
completa (es decir, que no es cero para ningún a ij)
se dice que el modelo oculto de Markov es
ergódico. En este tipo de modelo oculto de
Markov cualquier estado puede ser visitado
5. La distribución inicial π Representa el
nuevamente con probabilidad 1 y estas visitas no
estado inicial del sistema modelado,
deben tomar necesariamente lugar en intervalos de
donde: .
tiempo periódicos. La siguiente figura muestra un
Dados valores apropiados para
ejemplo de este tipo de modelo, esta es la cadena
, el modelo oculto de
de Markov de la detección de las anomalías en la
Markov puede ser utilizado como el
carga de un procesador con N=4, siendo N el
generador de una secuencia de
número de estados.
observaciones

En resumen, los elementos de los modelos ocultos

de Markov:
T= longitud de la secuencia de observaciones
N= cantidad de estados en el modelo
M= cantidad de símbolos observables
 . Las siguientes son las formas
especiales de que han sido propuestas.
Estos se clasifican en dos:

Gaussianos con mezcla de densidades

Donde es el peso de la mezcla, N es la

distribución normal y son los vectores de
medias y covarianzas asociados con el estado j y
No Ergódicos: la mezcla k.
En los casos en los que las matrices de transición
de los modelos ocultos de markov pueden tener
algunos valores “0”, se dice que no son ergódicos. Gaussianos auto regresivos con mezcla
Por ejemplo, si se tiene una matriz triangular
superior, se tendría un modelo oculto como el que de densidades
se muestra a continuación. A estos modelos se les
conoce también como modelos “izquierda-
derecha”, pues la secuencia de estados producida
por la secuencia de observaciones siempre deberá
proceder desde el estado más a la izquierda, hasta
el que esté más a la derecha.
Estos modelos imponen un orden temporal al donde
modelo oculto de markov, pues los estados con
número menor, generan observaciones que
ocurrieron antes que las generadas por los estados
con índices mayores. La figura obedece a una
matriz A triangular superior y N= 4.

 Autoregresivos:
Los modelos ocultos de Markov autoregresivos,
tienen casos especiales del parámetro “B”. APLICACIONES DE LAS CADENAS
Cuando los símbolos observables de un modelo OCULTAS DE MARKOV.
oculto Markoviano son vectores continuos (no son
un conjunto discreto como un alfabeto), la función Los modelos ocultos de Markov son
de distribución de probabilidad , es especialmente aplicados al reconocimiento de
remplazada por la función continua formas temporales, como el reconocimiento del
= probabilidad de que el habla, los gestos y movimientos corporales,
vector de observación O se encuentre entre reconocimiento óptico de caracteres, de escritura
manual, de gestos o bioinformática, predicción de muchas aplicaciones cotidianas llevadas al
regiones que codifican proteínas dentro de contexto de nivel ingenieril con el fin de aumentar
genomas, modelado de familias de secuencias de el nivel de asertividad en la solución de
proteína o ADN relacionado, predicción de problemas, se hizo por ejemplo, mención a la
elementos de estructura segundaria en secuencias teoría de colas donde la evolución o el
primarias de proteínas, Criptoanálisis, traducción comportamiento de dicho proceso se hace de
automática, seguimiento de partículas musicales, manera continua.
comportamiento del cliente, entre otros. Es fundamental el conocimiento de expertos para
formular probabilidades en los procesos de tiempo
continuo, ello conlleva a Identificar
En general, las aplicaciones varían en distintas adecuadamente las clases de estados existentes
ramas científicas nos dan a entender la con sus respectivas variables sin temor alguno de
flexibilidad y potencialidades de estos modelos equivocarse.
matemáticos, que da una data histórica A medida que se vuelve natural identificar
representativa, pueden estimar probabilidades y procesos de tiempo continúo, entonces también se
con estas extrapolar conclusiones a posteriori adquiere destreza en Diferenciar claramente las
dentro de un marco de alta variabilidad y poco características de las cadenas de Markov que
conocimiento de las variables cuantitativas. guardan ciertas relaciones como es el caso de
cadenas de Markov de tiempo discreto y continúo.
Reconocimiento de palabra aislada
usando cadenas ocultas de markov References
HMM
Para cada palabra de un vocabulario de palabras se  Deller Jr, J. R., Proakis, J. G., &
quiere diseñar un modelo oculto de markov
(HMM) con N estados. Para cada palabra en el Hansen, J. H. (1993). Discrete time
vocabulario se tiene un conjunto de entrenamiento
con K instancias de la palabra hablada por uno o processing of speech signals
más locutores. Cada ocurrencia de la palabra
constituye una secuencia de observación. Las Prentice Hall PTR.
observaciones son alguna representación espectral
(cepstral) o temporal de la señal de voz.  Maldonado, L. (2012). Los modelos

ocultos de markov, MOM.

1. Para cada palabra v en el vocabulario se
debe construir un HMM λv, es decir se
Universidad Privada Dr. Rafael
deben estimar los parámetros del modelo
( ) que optimizan la Belloso Chacín, 14(3), 433-438.
probabilidad del conjunto de vectores de
entrenamiento asociados a la d-ésima  Rincon, L. (2012). Introduccion a los
palabra.
2. Para cada palabra desconocida que se procesos estocasticos [Abstract].
quiere reconocer, se debe obtener la
secuencia de vectores de observación O. Procesos Estocasticos, 1-2,3,4.
Luego calcular la probabilidades de que
esa secuencia haya sido generada por Toeria aplicada en clase
cada uno de los modelos posibles
, con y luego sobre procesos de Markov en la
seleccionar la palabra cuyo modelo
tenga la más alta probabilidad, i.e. univerdiad UNAM

 Rodríguez, F., & Bautista, S. (2006).

CONCLUSIÓN
Modelos ocultos de markov para el
Previo a los conceptos estudiados, dentro de los
procesos que se encuentran clasificados como
cadenas de Markov de tiempo continuo se hallan
 análisis de patrones espaciales.  “Investigación operativa. Cadenas de Markov
en tiempo continuo”. Disponible en
Revista Ecosistemas, 15(3) http://www.dia.fi.upm.es

 Rojo, H., & Miranda, M. (2009).

Cadenas de markov. Investigación

Operativa, , 102.

 Taha, H. A. (2004). Investigación de

operaciones Pearson Educación.

 Teodoro, P. G., Luna, J. C. S., &

Ayuso, A. J. R. (2001).

Reconocimiento automático de voz

continua con modelos ocultos de

markov Universidad de Granada.

 Hillier Frederick S. Lieberman Gerald

J. Introducción a la investigación de
operaciones. 9º edición. Editorial Mc
Graw Hill.

 Phil Blunsom. Hidden Markov

Models. Agosto 19, 2004. Disponible
en: http://www.alexu.edu.eg

 Troncoso Carrére Nicolás. “Cadenas

de Markov Ocultas”. Publicación:
Valparaíso, 24 de Noviembre de
2005. Disponible en:
http://www.alumnos.inf.utfsm.cl