Teori Rantai Markov

Menurut Tjutju (1992), rantai markov adalah suatu teknik matematika untuk peramalan perubahan pada variabel-variabel tertentu berdasarkan pengetahuan dari perubahan sebelumnya.

Menurut Siagian (2006), rantai markov adalah suatu metode yang mempelajari sifat-sifat suatu variabel pada masa sekarang yang didasarkan pada sifat-sifat masa lalu dalam usaha menaksir sifat-sifat variabel tersebut dimasa yang akan datang.

Menurut Sonnenberg, A.F, (2009) Rantai Markov (Markov Chain) adalah suatu model teoritis yang menerangkan keadaan sebuah sistem pada suatu tahap tertentu. Model Markov menyediakan cara yang lebih nyaman pemodelan prognosis untuk masalah klinis dengan resiko yang sedang berlangsung untuk memperkirakan perubahan-perubahan pada waktu yang akan datang.

Menurut Subagyo, Asri dan Handoko rantai Markov (Markov Chains) adalah suatu teknik matematika yang biasa digunakan untuk melakukan pembuatan model (modeling) bermacam-macam sistem dan proses bisnis.

Secara umum, rumus rantai markov adalah sebagai berikut:

Persamaan di atas disebut properti Markov.  Jika P tidak bergantung pada n, maka rantai Markov tersebut homogen. Jika kedua probabilitas terkondisi didefinisikan dengan baik, contoh jika P(Jika nilai-nilai Xi membentuk satu set countable S maka S itu disebut ruang keadaan dari rantai

Proses Markov dikategorikan berdasarkan konstan atau tidak konstannya probabilitas state-transisi dari waktu ke waktu. Dalam jenis yang paling umum dari proses Markov, probabilitas transisi dapat berubah dari waktu ke waktu. Sebagai contoh, probabilitas transisi untuk transisi dari BAIK untuk MATI terdiri dari dua komponen. Jenis khusus dari proses Markov di mana transisi probabilitas yang konstan dari waktu ke waktu disebut Rantai Markov

Probabilitas yang didapat membuat transisi dari satu state selama satu siklus disebut transisi probabilitas. Proses Markov didefinisikan oleh distribusi probabilitas antara state yang pertama dan probabilitas bagi individu untuk memungkinkan terjadinya transisi. Untuk model Markov yang terdiri dari n state, akan ada probabilitas transisi n².

Untuk dapat menerapkan rantai markov ke dalam suatu kasus, ada beberapa syarat yang harus dipenuhi:

1.             Jumlah probabilitas transisi untuk suatu keadaan awal dari sistem sama dengan 1 (satu)

2.             Probabilitas-probabilitas tersebut berlaku untuk semua partisipan dalam sistem

3.             Probabilitas transisi konstan sepanjang waktu

4.             Kondisi merupakan kondisi bebas sepanjang waktu

Untuk rumus rantai markov dengan transisi ke-n adalah Pn. Sementara untuk rumus rantai markov di mana hanya memerlukan sebagian dari seluruh matriks adalah sebagai berikut:

Di mana  (kondisi pada transisi ke-n) dan   (kondisi pada transisi awal) menggunakan matriks 1 x 3, dan   menggunakan matriks 3 x 3