§ III.4. Стохастические модели как цепи Маркова

Стохастическое исследование различных эволюционных моделей в настоящее время продолжается. Сейчас мы можем дать принципиальные ответы на большинство сформулированных выше вопросов, используя результаты, полученные ранее для некоторых простых линейных моделей.

А. Бартоломей [68] недавно изложил стохастическую теорию стационарных линейных процессов "рождения и гибели". Аналогичные проблемы рассматривали другие авторы: например, случай простой автокаталитической (прямой) реакции рассмотрен М. Дельбрюком еще в 1940 г. [69]. Существует обзор литературы по применениям теории случайных процессов к задачам химической кинетики (см. Д. Мак-Кварри [70]).

Следующее обсуждение будет основано на элегантном изложении Бартоломея [68], в котором он использовал метод Q-матрицы Дуба [71]. Элементы метода Дуба и процедура Бартоломея суммированы в табл. 9 и 10.

I. Требования

"Функция переходных вероятностей" p_ij(t) для перехода из состояния определяется как условная вероятность

(1)

т. е. вероятность того, что случайная переменная x_i будет иметь значение S_j в момент времени t₀ + t, если она имела значение S_i в момент времени t₀. Процесс (x_t, 0 ≤ t < ∞) называется стационарной цепью Маркова, если вероятности перехода удовлетворяют следующим условиям:

(2)

(3)

(4)

(5)

II. Определение матрицы Q = (q_ij)

(6)

(7)

Требования I и определения II используются для построения следующей системы дифференциальных уравнений (p^· = dp/dt):

III. а) Прямая система

(8)

б) Обратная система

(9)

Прямая система описывает, что происходит в последнем временном интервале (t → 0) до перехода; обратная система описывает, что происходит в первом временном интервале после перехода. Это отражено в суммах: в случае прямой системы варьируют конечное состояние, в случае обратной системы варьируют начальное состояние.

IV. Общее решение

Для конечного числа состояний и при данных начальных условиях, например при условии (5), единственное решение для обеих систем может быть дано в матричной форме, как показано Дубом [71]:

(10)

- матрицы, получается последовательным суммированием членов разложения экспоненты в ряд

(11)

Для определения величин p_ij(t) и соответствующих q_ij некоторым свойствам детерминистических уравнений дается вероятностная интерпретация (ср. табл. 10).

Дано детерминистическое уравнение

(1)

и его решение

(2)

)

где F и R - константы.

Для малого интервала времени между t₁ и t₁ + Δt₁ результирующее изменение Δx₁ в популяции равно

(3)

где 0(Δt₁) включает в себя все бесконечно малые высших порядков. Δt₁ выбирается достаточно малым, чтобы в этом временном интервале имели конечное значение лишь вероятности образования или распада одной копии, которые даются выражениями

(4)

Тогда численность популяции может измениться только на плюс или минус единицу; таким образом, разрешены только переходы S_i → S_i-1 или S_i → S_i+1 (i = 1, 2, ...), и эти переходы могут происходить только в результате одного элементарного события (множественные рождения и гибели, дающие в сумме изменение на ±1, исключаются). Далее, переход S₀ → S₁ имеет нулевую вероятность, так как, достигнув состояния S₀, система "вымирает". Используя разложение p_ij(t) в ряд

строим Q-матрицу согласно уравнениям (6) и (7) в табл. 9 и после сравнения с выражениями (4) в настоящей таблице получим

(5)

(6)

(7)

(i = 0, 1, 2, ... - состояния популяции).

Теперь можно построить "прямые" и "обратные" уравнения, приведенные в табл. 9:

(8)

(9)

Чтобы решить эти уравнения, введем "производящую функцию вероятностей":

(10)

Из ∂ф/∂s и ∂ф/∂t получим

(11)

с дополнительным уравнением

(12)

интегрирование которого для двух случаев ведет к общему решению уравнения в частных производных для производящей функции:

1. F ≠ R

(13)

Разложение по степеням s дает значения коэффициентов при s^k, которые, по формуле (10), равны соответствующим вероятностям:

(14)

Верхний предел суммирования равен k, если 0 < k < i, и равен i, если k ≥ i. имеем

(15)

Математическое ожидание i равно

(16)

т. е. совпадает с результатом детерминистической теории; дисперсия i равна

(17)

2. F = R. Решение аналогично:

(18)

(19)

(20)

(21)

Рассматриваемый процесс, детерминистический аспект которого выражен уравнением (II.10) с φ_{i l} = 0, F_i и R_i = const, представляет собой стационарную цепь Маркова

(III.5)

Время (t) является непрерывным параметром; x_i - случайная популяционная переменная - принадлежит дискретному счетному множеству состояний S₀, S₁ .... Переход из одного состояния (S_i) в другое (S_j) описывается вероятностью перехода P_ij(t). Это вероятность того, что система, находящаяся в состоянии S_i при t = 0, достигает состояния S_j в момент времени t. Знание p_ij(t) позволяет определить математическое ожидание и дисперсию для населенности любого состояния во время t, если заданы начальные условия для t = 0. Вероятности перехода для линейного процесса рождения и гибели, вычисленные в табл. 10, дают основу для дальнейшего обсуждения.