66、Classifier Guided Diffusion条件扩散模型论文与P
多元高斯分布
评价生成模型的效果
两大目标：真实性quality
多样性：diversity
客观性评测目标1：Inception Score(简称IS）
- 基于Inception-V3模型的分类概率来评估生成照片的质量
- KL divergence=p(y|x)*(log(p(y|x))-log(p(y)))
- 这里的p(y|x)给的就是每个图片的所属类别的概率，而p(y)就是对所有所属该类别的条件概率求平均而得到
- 对KL散度对所有类别求和再取平均值，并且取一个e指数，即可得到Inception Score。一般生成5000张照片，IS的值在0-1000范围内
- 作者希望p(y|x)应该具有低熵即越真实，p(y)应该具有高熵即越多样，因此，IS值越大越好
- 缺点：缺乏跟真实照片之间的比较；缺乏类内多样性，例如每个类别只产生一张一模一样的照片，IS一样很高
代码实现
FID：Frechiet Inception Distance
- 基于Inception-V3模型的feature vectors来计算真实图片与生成图片之间的距离，用高斯分布来表示，FID就是计算两个分布之间的Wasserstein-2距离
- 将真实图片和预测图片分别经过Inception模型中，得到2048维度的embedding vector
- mu_1和mu_2分别为均值，C_1和C2为协方差，Tr为矩阵的迹
- d^2=||mu_1-mu_2||^2+Tr(C_1+C_2-2*sqrt(C_1*C_2))
- d^2即为FID值
- FID越低，说明预测分布越接近于真实的分布
- 可以评估类内多样性，例如每个类别只产生一张一模一样的照片，FID会比较高，也就意味着评估效果比较差
实现代码
其他客观评测指标：Precision与Recall
理想是Precision要大，Recall也要大
论文：Diffusion Models Beat GANs on Image Synthesis
无条件图像生成-有条件图像生成
常规上提高图像质量
生成式模型优点
基于似然的模型：pixel cnn/rnn直接对像素的概率进行建模
GAN多样性方面比那些似然模型要差，是模糊的模型，没有对似然进行直接的建模，靠对抗的方式来找到一个分布，gan不稳定，需要精细的超参数的选择和正则化
diffusion也是似然函数
diffusion和GAN的差距，gan的先进结构
diffusion可以在多样性和质量上得到一个稳定的平衡
gan牺牲多样性获得结构·
diffusion结构
改进
引入可学习方差
评估指标
结构提升，用整个训练集作为参考样本
自适应群归一化
基于分类器的条件采样算法的原理与效果
条件diffusion
guidence
算法1：DDPM
DDIM
核心代码
