马尔科夫模型的基本概念

概念一/马尔科夫模型:对于一组数列x（n），其变量xn是指在第n个时间下的状态，马尔科夫模型是指，xn与前面的j个状态有关，与更前面的状态无关时，我们称它为j阶马尔科夫模型，一般讨论一阶马尔科夫模型，即xn的状态只与xn-1有关 概念二/马尔科夫链:这组数列x（n） 概念三/状态空间:xn有不同的取值，我们把xn的所有取值的集合叫做状态空间 概念四/转移概率:xn-1的状态为s时，xn的状态为t时的概率 概念五/转移概率矩阵:假设一个时刻的状态有n种，则xn-1对应下的xn的转移概率有nxn种，构成n阶方阵