Цепи Маркова или марковские процессы — важная тема в области науки о данных и машинного обучения. Эта концепция применима в широком диапазоне областей, включая обучение с подкреплением.
Необходимые условия для понимания цепей Маркова:
Чтобы понять эту часть статистики, вам нужно быть знакомым с вероятностью и матрицами. Если у вас нет практических знаний ни в одной из этих областей, я предлагаю вам потратить некоторое время на изучение основ, прежде чем вы приступите к марковскому процессу. И чтобы понять приложения марковского свойства, вам нужно иметь четкое представление о марковском свойстве.
Свойство Маркова:
Объясняя марковское свойство простыми словами, текущее состояние процесса или цепочки событий зависит только от их непосредственного прошлого, а не от каких-либо других событий из прошлого.
Когда марковское свойство выполняется в цепи событий, вы можете назвать это «марковской цепью» или «марковским процессом».
Немного истории о марковском свойстве:эта часть, очевидно, не нужна вам, чтобы понять, как эта концепция работает математически и все такое, но я просто добавляю это сюда для тех из вас, кому любопытно учить.
Марков хотел доказать, что в эволюции некоторых процессов достаточно знать только настоящее, чтобы предсказать будущее, а знание прошлого не нужно, что часто называют «безпамятью». Тем самым, в случае так называемых марковских процессов, он доказал, что эти результаты будут такими же, как результаты, которые вы получили бы, зная всю историю цепи. Это было ответом другому математику, который утверждал, что независимость — это требование, которое необходимо выполнить, чтобы слабый закон больших чисел был истинным.
"Состояния" в цепях Маркова. Как следует из самого термина, под "состоянием" мы подразумеваем состояние, в котором находится процесс. Процесс может выбирать разные направления или пути и переходить из одного состояния в другое или даже оставаться в том же состоянии, пока процесс продолжает выполняться. Вы можете рассматривать каждое состояние как набор признаков, определяющих состояние, и когда они выполняются, вы понимаете, что процесс находится в определенном состоянии. Не будем сильно усложнять. Возьмем, к примеру, «солнечный день» и «дождливый день»; теперь каждое из них является «состоянием». Аналогично возьмем 7 дней недели, и здесь у нас 7 состояний, но они строго следуют циклу или порядку, что тоже возможно.
Или взять, например, статус отношений человека в вашем районе. Они могут быть либо «холостыми», либо «в отношениях», либо «женатыми», либо «разведенными», либо «живущими отдельно», либо «овдовевшими». Если вы заметили, из состояния «замужем» можно перейти в 3 возможных состояния. Один навсегда останется одиноким или перейдет в другое состояние.
- Но вы должны иметь в виду, что, поскольку мы говорим о вероятностях, все различные вероятности перехода из одного состояния в любое из следующих нескольких состояний всегда должны в сумме давать 1.
- И все эти состояния взаимоисключающие; то есть процесс не может находиться в двух состояниях одновременно.
- «Вероятности» в этом контексте относятся к различным вероятностям, связанным с различными возможностями перехода в каждом состоянии.
Матрица перехода:
Различные значения вероятности перечислены в соответствии с текущими состояниями и переходами состояний в так называемой матрице переходов.
Давайте рассмотрим этот пример. Есть вымышленная история, состоящая из двух частей. Опубликовано 2 книги (B1 и B2) и снято 2 фильма (M1 и M2) по двум частям истории. Теперь предположим, что начальным состоянием является чтение B1, а вероятности следующих состояний пользователя следующие: B1->M1 = 0,4, B1->B2 = 0,4, B1->M2 = 0,1 и, наконец, B1. -›В1 = 0,1.
Эту цепочку можно представить в виде наброска следующим образом:
Точно так же вы можете добавить свои собственные значения вероятности для различных состояний, являющихся начальными состояниями. И когда вы сложите все это вместе в виде матрицы, это будет выглядеть примерно так:
Обратите внимание, что все вероятности в каждой строке составляют в сумме 1. Точно так же и на диаграмме вероятности всех исходящих стрелок из любого состояния должны в сумме давать 1.
Назначение цепей Маркова:
Хорошо, хорошо, у нас есть цепь Маркова, но какой смысл все это учить? Ну, если процесс является марковским процессом, вы можете рассчитать вероятность того, что процесс находится в определенном состоянии в данный момент времени.
Подробнее о цепях Маркова можно прочитать здесь.
