概率论复习笔记1-什么是随机过程

这系列文章是cmu的Stochastic Processes (Advanced Probability II), 36-754讲义的笔记。内容包括：随机过程综述，单参数过程综述，Markov过程，扩散过程与随机分析，遍历理论，信息论，大偏差。主要是想复习一下概率论、随机过程和随机分析的内容，再补充一些特别的专题比如无穷小生成元，随机时间，KL散度，大偏差等。预计在寒假内能读完大部分，开学后读掉剩下的部分。

化学反应的数学理论第四篇是最重要的随机模型部分，在完成那篇之前我会先把概率论复习笔记更掉一些。

这篇文章要说的问题是最基本的问题：什么是随机过程？对这个问题有两种答案：可以把随机过程理解为一系列（带有index的）随机变量（这也是初级随机过程课的定义）；也可以理解为一个样本轨道属于比较好的函数类里面的随机函数。

概率空间与随机变量

我比较喜欢画这样一张图来说明这两个基本概念。

我们从上帝视角看北京天气（简化成北京处于一个良定义的密闭空间内），北京的N个大气分子的相空间（6N维）就是我们的概率空间，上面有一个概率测度（这里不涉及frequentist还是Bayesianist的区分，只是假设上帝按照这个测度决定北京每天的天气）。这个概率空间包含了概率模型所有的信息，但是如果我们只关注温度，温度就是一个随机变量，它把相空间中的一个点映射到实轴上表示对应的温度。这个函数诱导出实轴上的测度，就是温度的分布。如果要研究气压，那就选择另一个随机变量。如果要研究五四上风速多大，那就再选择另一个随机变量。这样把问题简化到实数轴上的概率分布，就不用抽象地去考察完整的相空间（实际上除了上帝也没人知道今天的天气再相空间的哪个点上）。研究数字（实数）我们就熟悉了，分布函数、密度函数、特征函数之类的就都出来了。

所以我们可以这么想：抽象的概率空间包含了概率模型的所有信息，而随机变量则是为了把它（的一部分信息）induce到实轴上的概率测度来方便分析。

随机过程是一系列随机变量

在这种定义下，随机过程被视作：

也就是说，随机过程是随机向量的推广。随机向量的index是1,2,3,...,n，而随机过程的index可以是任何一个集合T。

取T={1}，随机过程就变成随机变量。

取T={1,2,...,n}，随机过程就变成随机向量。

取T={1,2,3,...}，就是我们最经常研究的离散的Markov链或者鞅（one-sided random sequence）。同理可以有two-sided random sequences。

这个T不一定要理解成时间。比如T=Z^d可以看成空间上的离散随机场，也就是Ising模型和渗流的研究对象。虽然“随机过程”这个名字带有时间的意味，但是空间的“过程”也是可以的。

随机过程是随机函数

把随机过程看成随机函数的好处是，这样显得更tidy，一个随机过程就是一个single object，而不是一大串collection。在上面那张图中，random element的像不再是一个数，而是一个函数。或者我们干脆想象上面的灰色空间就是一个函数空间。在定义之前，我们当然需要一个函数空间以及上面的sigma代数。

首先函数空间是什么呢？很自然可以取

(后面会看到可能还需要一些restriction)。那么sigma代数怎么办？首先定义cylinder set。

这个定义从欧氏几何来看是很直观的，就是柱体。有了cylinder set的概念就可以定义sigma代数，这个函数空间上的sigma代数是每个单独的随机变量的sigma代数的积：

很直观，这个函数空间里有各种函数f(x)，按照{f(x_0)\in B}生成的sigma代数就是函数空间的sigma代数。这个时候随机过程就是一个单独的对象了，记为X，而不用X_t。如果想要拿出X这个随机函数在某一点的值（一个随机变量），则用投影算子：

有了随机函数的定义，就可以有随机测度（测度无非是满足测度定义的集合函数）。假如X是一个随机测度，对于任何有界Borel集，X(B)都是（有限）整数，则称X是一个点过程。如果进一步，X({a})是0或者1（即每个点上测度为0或1），则称这是一个简单点过程。Poisson过程就是一个简单点过程。这个角度的Poisson过程不一定是时间上的，还可以是空间上的。比如在R^d上，强度为lambda(x)的（inhomogeneous）Poisson点过程就是这样一个简单点过程，它满足X(B)的分布为Poisson(\int_B \lambda(x)dx)。