54、Probabilistic Diffusion Model概率扩散模...
两篇参考文献
diffusion model 属于生成式模型，但和VAE比较像
flow model？
重参数化：避免采样过程造成的梯度不连续，如果miu和sigma是通过神经网络预测得到的，对标准正态分布z采样，再乘均值加标准差可以保证miu和sigma的梯度可以继续传播。
此时z可视为一个网络的输入，miu和sigma为网络参数。
该技巧在VAE也有使用
简言之就是对原始变量x通过神经网络生成隐变量z，让z作为x估计分布的先验条件。
编码端q（后验网络）从x生成z，解码端p从z预测x
p(x)的计算：公式中包含后验概率（等价于关于后验概率的期望），取对数，使用jenson不等式进行放缩把log移到期望里面（x＞logx）
获得下界，据此可以最大化p(x)。
即双层隐变量。同样积分换成期望的形式，再利用前面讲的条件概率公式和一节markov性化简公式，得到目标函数。
类似VAE，从目标分布加噪生成一个分布，再从这个分布恢复目标分布
xT为噪声分布，x0为目标分布
从x0到xT的过程就是扩散，熵增，从有序到无序，在原始分布上逐步加高斯噪声
生成的过程则从各向同性的噪声分布恢复原始分布，逆扩散过程
q：扩散过程的条件分布，p：逆扩散过程的条件过程。图片第一行紫色为扩散过程，第二行粉色为逆扩散过程，第三行为两者的差值，漂移量。
1. 扩散过程不断添加高斯噪声，高斯噪声的均值和标准差都不含参，其中标准差是固定值，均值由标准差和当前时刻数据决定（Markov过程）
2. 随着t不断增大，最终分布xT为各向独立的高斯分布：从xt-1到xt的条件分布定义为一个高斯分布，x1:t的联合分布given x0则可以表示成这些联合分布的积。
这里面的每个条件概率分布都需要使用重参数化
T和条件分布参数βt（0-1之间且随t增大而增大）的确定？
3. 不需要做迭代而是直接把所有时刻的分布表示为x0和βt的函数：
