Интуитивное и простое объяснение свойства Маркова и цепи Маркова

Введение

Цепи Маркова появляются во многих областях: физике, генетике, финансах и, конечно же, в науке о данных и машинном обучении. Как Data Scientist вы, вероятно, слышали о слове "Марков", которое несколько раз упоминалось в ваших исследованиях или чтении. Это типичный статистический метод обработки естественного языка и обучения с подкреплением. В этой статье мы просто объясним, что такое цепь Маркова и что она означает.

Марковская недвижимость

Чтобы любой процесс моделирования считался марковским/марковским, он должен удовлетворять свойству Маркова. Это свойство указывает, что вероятность следующего состояния зависит только от текущего состояния, все, что предшествует текущему состоянию, не имеет значения. Другими словами, вся система полностью без памяти.

Математически это записывается так:

Где n— это параметр временного шага, а X— случайный переменная, которая принимает значение в заданном пространстве состояний s. Пространство состояний относится ко всем возможным результатам события . Например, подбрасывание монеты имеет два значения в пространстве состояний: s = {орел, решка}и вероятность перехода из одного состояния. к другому 0,5.

Цепь Маркова

Процесс, использующий марковское свойство, называется марковским процессом. Если пространство состояний конечно и мы используем дискретные временные шаги, этот процесс называется цепью Маркова. Другими словами, это последовательность случайных величин, которые принимают состояния в заданном пространстве состояний.

В этой статье мы рассмотрим однородные по времени цепи Маркова с дискретным временем, так как с ними проще всего работать, и на их основе проще всего построить интуицию. Существуют неоднородные во времени цепи Маркова, где вероятность перехода между состояниями не фиксирована и меняется со временем.

Ниже показан пример цепи Маркова с пространством состояний {A,B,C}. Цифры на стрелках указывают вероятность перехода между этими двумя состояниями.

Например, если вы хотите перейти из состояния B в C, то этот переход имеет шанс 20%. Математически мы разрабатываем следующее:

Матрица перехода вероятности

Мы можем упростить и обобщить эти переходы, построив матрицу перехода вероятности для нашей заданной цепи Маркова. Матрица перехода состоит из строк iи столбцов j, поэтому i,j дают вероятности перехода от iк j следующим образом:

Матрица перехода для нашей вышеупомянутой цепи Маркова:

Таким образом, запись (0,1) говорит нам, что вероятность перехода из A в B равна 0,4. Это согласуется с результатом, который мы имеем на нашей диаграмме цепи Маркова выше.

Краткое содержание

В этой статье мы ввели понятие свойства Маркова и использовали эту идею для построения и понимания базовой цепи Маркова. Этот стохастический процесс появляется во многих аспектах науки о данных и машинного обучения, поэтому важно иметь некоторое представление о нем. В моих следующих статьях мы углубимся в более сложные и нишевые части цепей и процессов Маркова.

Надеюсь, вам понравилась статья!

Свяжись со мной!

(Все эмодзи разработаны OpenMoji — проект эмодзи и иконок с открытым исходным кодом. Лицензия: CC BY-SA 4.0)