Cadeias de Markov no SDCTI GRACELI -CADEIAS DE INTERAÇÕES E DIMENS. FENOM.

Em matemática, uma cadeia de Markov (cadeia de Markov em tempo discreto ou DTMC^[1]^[2]^[3]) é um caso particular de processo estocástico com estados discretos (o parâmetro, em geral o tempo, pode ser discreto ou contínuo) com a propriedade de que a distribuição de probabilidade do próximo estado depende apenas do estado atual e não na sequência de eventos que precederam, uma propriedade chamada de Markoviana, chamada assim em homenagem ao matemático Andrei Andreyevich Markov. A definição dessa propriedade, também chamada de memória markoviana, é que os estados anteriores são irrelevantes para a predição dos estados seguintes, desde que o estado atual seja conhecido. Cadeias de Markov têm muitas aplicações como modelos estatísticos de processos do mundo real.

Introdução[editar | editar código-fonte]

O matemático russo Andrei Markov.

A cadeia de Markov é um processo estocástico com a propriedade de Markov.^[4] O termo "cadeia de Markov" refere-se à sequência de variáveis aleatórias, tais um processo move-se através de, com a propriedade de Markov definindo a dependência de série única entre períodos adjacentes (como em uma "cadeia"). Assim, pode ser usado para sistemas que seguem uma cadeia de eventos ligados, onde o que acontece em seguida depende apenas do estado atual do sistema descrevendo.

Na literatura, diferentes tipos de processo de Markov são designados como "cadeia de Markov". Normalmente, o termo é reservado para um processo com um conjunto discreto de vezes, isto é, Cadeia de Markov de Tempo Discreto (DTMC).^[5] Por outro lado, alguns autores utilizam o termo "processo de Markov" para se referir a uma cadeia de Markov de tempo contínuo sem referência explícita.^[6]^[7]

Enquanto o parâmetro de tempo é geralmente discreto, o espaço de estado de uma cadeia de Markov não tem quaisquer restrições geralmente aceitas: o termo pode referir-se a um processo em um espaço de estado arbitrário.^[8] No entanto, muitas aplicações de Cadeias de Markov empregam conjuntos contáveis finitos ou infinitos (isto é, espaços de estado discretos), que têm uma análise estatística mais simples. Além da hora do índice e os parâmetros de espaço de estado, há muitas outras variações, extensões e generalizações (ver Variações). Para simplificar, a maior parte deste artigo concentra-se no tempo discreto, discreta caso de espaço de estado, salvo indicação em contrário.

As mudanças de estado do sistema são chamadas transições. As probabilidades associadas com várias mudanças de estado são chamados de probabilidades de transição. O processo é caracterizado por um espaço de estado, uma matriz de transição descrevendo as probabilidades de transições de particulares, e um estado inicial (ou a distribuição inicial) através do espaço de estado. Por convenção, assumimos todos os estados e transições possíveis foram incluídos na definição do processo, por isso há sempre um próximo estado, e o processo não termina.

Um processo aleatório de tempo discreto envolve um sistema que é em um determinado estado, em cada passo, com o estado a mudar de forma aleatória entre os passos. Os passos são muitas vezes considerados como momentos no tempo, mas podem igualmente bem se referirem à distância física ou a qualquer outra medida discreta. Formalmente, os passos são os números inteiros ou números naturais, e o processo aleatório é um mapeamento destes para estados. A propriedade de Markov afirma que a distribuição de probabilidade condicional para o sistema no próximo passo (e, de fato, em todas as etapas futuras) depende apenas do estado atual do sistema, e não adicionalmente sobre o estado do sistema em etapas anteriores.

Uma vez que o sistema altera aleatoriamente, é geralmente impossível prever com exatidão o estado de uma cadeia de Markov num dado momento no futuro. No entanto, as propriedades estatísticas do futuro do sistema podem ser previstas. Em muitas aplicações, são elas as importantes.

A famosa cadeia de Markov é o chamado "andar do bêbado", um passeio aleatório na linha número onde, a cada passo, a posição pode mudar por um ou -1 com igual probabilidade. A partir de qualquer posição há duas transições possível, para o seguinte ou anterior inteiro. As probabilidades de transição dependem somente da posição atual, não sobre o modo em que a posição foi alcançada. Por exemplo, as probabilidades de transição de 5-4 e 5-6 são ambos 0,5, e todos os outros a partir de probabilidades de transição 5 é 0. Estas probabilidades são independentes do fato de se o sistema foi anteriormente em 4 ou 6.

Outro exemplo são os hábitos alimentares de uma criatura que só come uvas, queijo ou alface, e cujos hábitos alimentares estão em conformidade com as seguintes regras:

Ele come apenas uma vez por dia.
Se ele comeu queijo hoje, amanhã ele vai comer alface ou uvas com igual probabilidade.
Se ele comeu uvas hoje, amanhã ele vai comer uvas com probabilidade de 1/10, queijo com probabilidade 4/10 e alface com probabilidade 5/10.
Se ele comeu alface hoje, amanhã ele vai comer uvas com probabilidade de 4/10 ou queijo com probabilidade 6/10. Ele não vai comer alface novamente amanhã.

Os hábitos alimentares desta criatura podem ser modelados com uma cadeia de Markov desde que a escolha em seu amanhã depende unicamente do que comer em seu hoje, e não do que comeu ontem ou em qualquer outro momento do passado. Uma propriedade estatística é de que a percentagem esperada pode ser calculada ao longo de um longo período de tempo, dos dias em que a criatura vai comer uvas.

Uma série de eventos independentes (por exemplo, uma série de arremessos de moedas) satisfaz a definição formal de uma cadeia de Markov. No entanto, a teoria é normalmente aplicada apenas quando a distribuição de probabilidade do próximo passo depende não-trivialmente sobre o estado atual. Existem muitos outros exemplos de cadeias de Markov.

Definição formal[editar | editar código-fonte]

Cadeia de Markov simples.

Uma cadeia de Markov é uma sequência X₁, X₂, X₃, ... de variáveis aleatórias. O escopo destas variáveis, isto é, o conjunto de valores que elas podem assumir, é chamado de espaço de estados, onde X_n denota o estado do processo no tempo n. Se a distribuição de probabilidade condicional de X_n+1 nos estados passados é uma função apenas de X_n, então:

\Pr(X_{n+1}=x|X_{0},X_{1},X_{2},\ldots ,X_{n})=\Pr(X_{n+1}=x|X_{n}),\,

x

\Delta U={\frac {3}{2}}nR(T_{f}-T_{i})

onde x é algum estado do processo. A identidade acima define a propriedade de Markov.

Cadeias de Markov são frequentemente descritas por uma sequência de grafos dirigidos, onde as arestas do gráfico n são rotulados por as probabilidades de ir de um estado no tempo n para outros estados no tempo n+1,

\Pr(X_{n+1}=x\mid X_{n}=x_{n})

. A mesma informação é representada pela matriz de transição de momento n para o tempo n+1. No entanto, as cadeias Markov são assumidas frequentemente como sendo tempo-homogêneas (ver variações abaixo), nesse caso o gráfico e a matriz são independentes de n e, portanto, não são apresentados como sequências.

Estas descrições realçam a estrutura da cadeia de Markov que é independente da distribuição inicial

\Pr(X_{1}=x_{1})

. Quando o tempo é homogêneo, a cadeia pode ser interpretada como uma máquina de estado atribuindo uma probabilidade de pular de cada vértice ou estado para outro adjacente. A probabilidade

\Pr(X_{n}=x|X_{1}=x_{1})

de Estado da máquina pode ser analisado como o comportamento estatístico da máquina com um elemento

x_{1}

do espaço de estados como entrada, ou como o comportamento da máquina com a distribuição inicial

\Pr(X_{1}=y)=[x_{1}=y]

de estados como entrada, onde

[P]

é o suporte de Iverson.

O fato de que algumas sequências de estados pode ter zero probabilidade de ocorrência corresponde a um gráfico com vários componentes ligados, onde se omitem arestas que levaria a uma probabilidade de transição zero. Por exemplo, se a tem uma probabilidade diferente de zero de ir para b, mas a e x estão em diferentes componentes ligados do gráfico, então,

\Pr(X_{n+1}=b|X_{n}=a)

é definida, enquanto

\Pr(X_{n+1}=b|X_{1}=x,...,X_{n}=a)

não é.

Uma maneira simples de visualizar um tipo específico de cadeia de Markov é através de uma máquina de estados finitos. Se você está no estado y no tempo n, então a probabilidade de que você se mova para o estado x no tempo n + 1 não depende de n, e somente depende do estado atual y em que você está. Assim em qualquer tempo n, uma cadeia de Markov finita pode ser caracterizada por uma matriz de probabilidades cujo elemento (x, y) é dado por

\Pr(X_{n+1}=x|X_{n}=y)\,

e é independente do tempo n. Estes tipos de cadeia de Markov finitas e discretas podem também ser descritas por meio de um grafo dirigido (orientado), onde cada aresta é rotulada com as probabilidades de transição de um estado a outro sendo estes estados representados como os nós conectados pelas arestas.

Caracterização de um processo de Markov[editar | editar código-fonte]

Ver artigo principal: Processo estocástico

Um processo de Markov é um processo estocástico em que a probabilidade de o sistema estar no estado i no período (n+1) depende somente do estado em que o sistema está no período n. Ou seja, para os processos de Markov, só interessa o estado imediato.^[9]^[10] Os principais elementos de um processo de Markov são dois^[9] :

a probabilidade xⁱ(n) de ocorrer o estado i no n-ésimo período de tempo, ou, alternativamente, a fração da população em questão que está no estado i no n-ésimo período de tempo
as probabilidades de transição m_ij, que representam as probabilidades de o processo estar no estado i no tempo (n+1) dado que está no estado j no tempo n. Estas probabilidades de transição são normalmente agrupadas numa matriz, que denominamos matriz de transição, matriz estocástica ou ainda matriz de Markov.

Variações[editar | editar código-fonte]

Processos de Markov de tempo contínuo têm um índice contínuo.
Cadeias de Markov de tempo homogêneo (ou cadeias de Markov estacionárias) são processos em que

\Pr(X_{n+1}=x\mid X_{n}=y)=\Pr(X_{n}=x\mid X_{n-1}=y)\,

x

\Delta U={\frac {3}{2}}nR(T_{f}-T_{i})

para todo n. A probabilidade da transição de n é independente.

Uma cadeia de Markov de ordem m (ou uma cadeia de Markov com memória m), onde m é finito, é um processo que satisfaça

{\begin{aligned}{}&\Pr(X_{n}=x_{n}\mid X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},\dots ,X_{1}=x_{1})\\=&\Pr(X_{n}=x_{n}\mid X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},\dots ,X_{n-m}=x_{n-m}){\text{ for }}n>m\end{aligned}}

x

\Delta U={\frac {3}{2}}nR(T_{f}-T_{i})

Em outras palavras, o estado futuro depende dos passados m estados. É possível construir uma cadeia (Y_n) de (X_n), que tem a propriedade de Markov "clássico", tendo como espaço de estado do m-tuplas ordenadas de valores X, ou seja, Y_n = (X_n, X_n−1, ..., X_n−m+1).

Cadeias de Markov em espaços de estados discretos[editar | editar código-fonte]

Ver artigo principal: Matriz de transição

Um espaço de estados é representável por uma matriz. Chamada de matriz de transição, com o (i, j)-ésimo elemento igual a

P_{ij}=\Pr(X_{n+1}=j\mid X_{n}=i)\,

x

\Delta U={\frac {3}{2}}nR(T_{f}-T_{i})

Para um espaço de estados discretos, as integrações na probabilidade de transição de k passos são somatórios, e podem ser calculados como a k-ésima potência da matriz de transição. Isto é, se P é a matriz de transição para um passo, então P^k é a matriz de transição para a transição de k passos.

A distribuição estacionária

\pi

é o vetor que satisfaz a equação:

\pi ^{T}\mathbf {P} =\pi ^{T},

x

\Delta U={\frac {3}{2}}nR(T_{f}-T_{i})

onde

\pi ^{T}

é o vetor transposto de

\pi

. Em outras palavras, a distribuição estacionária

\pi

é o autovetor (vetor próprio) esquerdo da matriz de transição, associado com o autovalor(valor próprio) 1.

Como consequência, nem a existência nem a unicidade de distribuição estacionária é garantida para uma matriz de transição qualquer P. Contudo, se P é irredutível e aperiódica, então existe uma distribuição estacionária

\pi

. Além disso, P^k converge para uma matriz na qual cada linha é a (transposta da) distribuição estacionária

\pi ^{T}

, que é dada por:

\lim _{k\rightarrow \infty }\mathbf {P} ^{k}=\mathbf {1} \pi ^{T},

x

\Delta U={\frac {3}{2}}nR(T_{f}-T_{i})

onde

\mathbf {1}

é o vetor coluna com todas as entradas iguais a 1. Isto é estabelecido pelo Teorema de Perron-Frobenius.

Exemplo de cadeia de Markov.

Isto significa que se nós simularmos ou observamos uma caminhada aleatória com matriz de transição P, então a probabilidade de longo prazo de que o indivíduo que faz a caminhada esteja em um certo estado é independente do estado em que essa caminhada começou, e é definida pela distribuição estacionária. A caminhada aleatória "ignora" o passado. Em suma, cadeias de Markov são o passo seguinte depois dos processos sem memória (isto é, uma sequência de variáveis aleatórias independentes distribuídas uniformemente).

Uma matriz de transição que é positiva (isto é, todo o elemento da matriz é positivo) é irredutível e aperiódica. Uma matriz é uma matriz estocástica se e somente se é uma matriz de probabilidades de transição de uma cadeia de Markov.

Um caso especial de probabilidade de transição independente do passado é conhecido como o esquema de Bernoulli. Um esquema de Bernoulli com somente dois estados possíveis é conhecido como um processo de Bernoulli.

Exemplo

x
TRANSFORMAÇÕES ⇔ INTERAÇÕES ⇔ TUNELAMENTO ⇔ EMARANHAMENTO ⇔ CONDUTIVIDADE ⇔ DIFRAÇÕES ⇔ radioatividade, ABSORÇÕES E EMISSÕES INTERNA ⇔ Δ de temperatura e dinâmicas, transições de estados quântico Δ ENERGIAS, ⇔ Δ MASSA , ⇔ Δ CAMADAS ORBITAIS , ⇔ Δ FENÔMENOS , ⇔ Δ DINÂMICAS, ⇔ Δ VALÊNCIAS, ⇔ Δ BANDAS, Δ entropia e de entalpia, E OUTROS.

\Delta U={\frac {3}{2}}nR(T_{f}-T_{i})

N=N_{{o}}.e^{{-\lambda .t}}

T=e^{-2bL}

b={\sqrt {\frac {8\pi ^{2}m(Ub-E)}{h^{2}}}}

\Delta S=S_{2}-S_{1}=\int _{1}^{2}{\frac {\delta Q}{T}}

\sigma =q(n\mu _{n}+p\mu _{p})[\Omega .cm]^{{-1}}

E_{p}={\sqrt {{\frac {\hbar c^{5}}{G}}}}\approx

$V [R] [MA] = Δ e, M, Δ f, Δ E, Δ t, Δ i, Δ T, Δ C, Δ E, Δ A, Δ D, Δ M...... X =$

ΤDCG

X

Δe, ΔM, Δf, ΔE, Δt, Δi, ΔT, ΔC, ΔE,ΔA, ΔD, ΔM...... =
x
sistema de dez dimensões de Graceli +
DIMENSÕES EXTRAS DO SISTEMA DECADIMENSIONAL E CATEGORIAL GRACELI.
x

sistema de transições de estados, e estados de Graceli, fluxos aleatórios quântico, potencial entrópico e de entalpia.

x
TEMPO ESPECÍFICO E FENOMÊNICO DE GRACELI
X
T l   T l    E l      Fl        dfG l

N l   El             tf l

P l   Ml           tfefel

Ta l   Rl

         Ll

D