Rantai Markov atau proses Markov merupakan topik penting dalam bidang ilmu data dan pembelajaran mesin. Konsep ini dapat diterapkan di berbagai bidang, termasuk pembelajaran penguatan.
Prasyarat untuk Memahami Rantai Markov:
Untuk memahami bagian statistik ini, Anda harus memahami probabilitas dan matriks. Jika Anda tidak memiliki pengetahuan tentang salah satu bidang ini, saya sarankan Anda meluangkan waktu untuk mempelajari dasar-dasarnya sebelum Anda masuk ke proses Markov. Dan untuk memahami penerapan properti Markov, Anda harus memiliki pemahaman yang kuat tentang properti Markov.
Properti Markov:
Untuk menjelaskan properti Markov dengan kata-kata sederhana, keadaan saat ini dari suatu proses atau rangkaian peristiwa hanya bergantung pada masa lalu dan bukan pada peristiwa lain di masa lalu.
Ketika properti Markov dipenuhi dalam rangkaian peristiwa, Anda dapat menyebutnya “rantai Markov” atau “proses Markov”.
Sedikit sejarah tentang properti Markov:Bagian ini jelas tidak diperlukan bagi Anda untuk memahami cara kerja konsep secara matematis dan sebagainya, namun saya hanya menambahkan ini di sini bagi Anda yang penasaran untuk mempelajari.
Apa yang Markov ingin buktikan adalah bahwa dalam evolusi beberapa proses, mengetahui masa kini saja sudah cukup untuk memprediksi masa depan, dan pengetahuan tentang masa lalu tidak diperlukan, yang sering disebut sebagai “tanpa memori”. Dengan ini, dalam kasus yang disebut proses Markov, ia membuktikan bahwa hasil ini akan sama dengan hasil yang akan Anda peroleh dengan mengetahui keseluruhan sejarah rantai tersebut. Hal ini merupakan tanggapan terhadap ahli matematika lain yang berpendapat bahwa independensi adalah persyaratan yang harus dipenuhi agar hukum bilangan besar yang lemah menjadi kenyataan.
“Negara” dalam Rantai Markov: Sesuai dengan istilahnya, yang dimaksud dengan “keadaan” adalah keadaan di mana suatu proses berada. Suatu proses dapat mengambil arah atau jalur yang berbeda dan berpindah dari satu keadaan ke keadaan yang lain atau bahkan tetap dalam keadaan yang sama seiring proses terus berjalan. Anda dapat menganggap setiap keadaan sebagai sekumpulan fitur yang menentukan keadaan tersebut, dan ketika hal ini terpenuhi, Anda memahami bahwa prosesnya berada dalam keadaan tertentu. Jangan terlalu mempersulit hal ini. Ambil contoh “hari cerah” dan “hari hujan”; sekarang masing-masing negara tersebut adalah sebuah “negara”. Demikian pula, ambil 7 hari dalam seminggu, dan di sini kita memiliki 7 negara bagian, tetapi mereka secara ketat mengikuti siklus atau perintah, yang juga mungkin terjadi.
Atau ambil contoh status hubungan seseorang di lingkungan Anda. Mereka bisa saja “lajang” atau “sedang menjalin hubungan” atau “menikah” atau “bercerai” atau “berpisah” atau “janda”. Jika diperhatikan, dari keadaan “menikah”, seseorang bisa menuju ke 3 kemungkinan keadaan. Seseorang terus melajang selamanya atau pindah ke negara bagian lain.
- Namun yang harus Anda ingat adalah karena kita berbicara tentang probabilitas, semua probabilitas transisi dari satu keadaan ke keadaan berikutnya harus selalu berjumlah 1.
- Dan semua negara bagian ini saling eksklusif; artinya, suatu proses tidak bisa berada di dua keadaan sekaligus.
- “Probabilitas” dalam konteks ini mengacu pada probabilitas berbeda yang terkait dengan kemungkinan transisi berbeda di setiap keadaan.
Matriks Transisi:
Nilai probabilitas yang berbeda dicantumkan berdasarkan keadaan saat ini dan transisi keadaan dalam apa yang disebut matriks transisi.
Mari kita perhatikan contoh ini. Ada cerita fiksi yang hadir dalam dua bagian. Ada 2 buku yang diterbitkan (B1 dan B2) dan 2 film dibuat (M1 dan M2) berdasarkan dua bagian cerita tersebut. Sekarang, katakanlah keadaan awal adalah B1, dan probabilitas keadaan pengguna berikutnya adalah sebagai berikut: B1-›M1 = 0,4, B1-›B2 = 0,4, B1-›M2 = 0,1, dan terakhir, B1 -›B1 = 0,1.
Rantai ini dapat dinyatakan sebagai sketsa dengan cara berikut:
Demikian pula, Anda dapat menambahkan nilai probabilitas Anda sendiri untuk negara bagian yang berbeda sebagai negara bagian awal. Dan bila Anda menggabungkan semua ini dalam bentuk matriks, maka akan terlihat seperti ini:
Perhatikan bahwa semua probabilitas di setiap baris berjumlah 1. Demikian pula, pada diagram, probabilitas semua panah keluar dari negara bagian mana pun harus berjumlah 1.
Tujuan Rantai Markov:
Oke, baiklah, jadi kita punya rantai Markov, tapi apa gunanya mempelajari semua ini? Nah, jika suatu proses adalah proses Markov, Anda dapat menghitung probabilitas proses tersebut berada pada keadaan tertentu pada waktu tertentu.
Anda dapat membaca lebih lanjut tentang Rantai Markov di sini.
