马尔可夫链

马尔可夫链是一种随机过程，它具有马尔可夫性质，即一个系统在某一时刻的状态只与其前一时刻的状态有关，而与其之前的状态无关。

马尔可夫链通常被用于描述具有状态转移性质的随机现象，如随机游走、天气预测、股票价格变化等。

在马尔可夫链中，系统的状态集合称为状态空间，状态空间中的每个状态都有一个与之对应的转移概率矩阵。

转移概率矩阵描述了系统从一个状态转移到另一个状态的概率，其中第i行第j列的元素表示系统从状态i转移到状态j的概率。

转移概率矩阵的每一行元素之和为1，表示在任意状态下，系统必须转移到某一状态。

马尔可夫链可以用一个初始状态向量来描述初始状态，初始状态向量中第i个元素表示系统初始状态为状态i的概率。

随着时间的推移，系统从一个状态转移到另一个状态，状态向量也会随之变化。

系统在任意时刻的状态向量可以通过将初始状态向量与转移概率矩阵相乘得到，即：

P(t) = P(0) * T^t

其中，P(t)是系统在时刻t的状态向量，P(0)是系统的初始状态向量，T是转移概率矩阵，^表示矩阵的乘方运算。

马尔可夫链具有很多有趣的性质，例如：稳定分布、遍历性、周期性等。这些性质对于理解和应用马尔可夫链具有重要的意义。