欢迎光临散文网 会员登陆 & 注册

常用SD高清放大算法说明

2023-04-29 22:31 作者:奔跑的小恶魔AI绘  | 我要投稿

ESRGAN算法 ESRGAN是Enhanced Super-Resolution Generative Adversarial Network的缩写,是一种基于生成对抗网络(GAN)的图像超分辨率算法。其主要思想是通过学习低分辨率(LR)图像与其高分辨率(HR)对应物之间的映射,来实现从LR图像到HR图像的映射过程,从而实现图像的超分辨率。相较于传统的基于插值的超分辨率算法,ESRGAN可以生成更加清晰、细节更加丰富的高分辨率图像。ESRGAN的训练数据集通常包括低分辨率图像及其对应的高分辨率图像,其训练过程中通过生成器网络(Generator)和判别器网络(Discriminator)相互对抗,以提高生成器的超分辨率效果。

ESRGAN_4x是一种基于超分辨率技术的图像增强算法。它是ESRGAN算法的一种改进版本,可以将低分辨率的图像通过神经网络模型增强到4倍的分辨率。ESRGAN_4x算法主要利用超分辨率技术中的单图像超分辨率重建方法,通过对低分辨率图像进行学习和训练,学习到图像的高频细节信息,然后将这些信息用于重建高分辨率图像。相比于传统的插值方法,ESRGAN_4x算法在增强图像的细节信息和保留图像质量方面有了明显的提升。

LDSR算法 LDSR是一种用于图像超分辨率的深度学习算法,其全称为"Deep Laplacian Pyramid Super-Resolution"。LDSR算法通过学习图像的低分辨率版本和高分辨率版本之间的关系来实现图像的超分辨率。LDSR算法采用了一种名为"深度拉普拉斯金字塔"的方法,该方法可以将原始图像分解为多个图像金字塔,以便更好地捕捉图像的细节和结构。 LDSR算法的核心思想是使用深度学习网络来学习输入图像的低分辨率版本与高分辨率版本之间的映射关系。具体来说,LDSR算法将输入图像的低分辨率版本作为网络的输入,将高分辨率版本作为网络的输出,并训练网络以最小化两者之间的差异。LDSR算法采用了深度卷积神经网络(DCNN)来实现这一目标。 LDSR算法具有高精度、高效率、易于实现等优点,在图像超分辨率等领域得到了广泛应用。

R-ESRGAN 4x+算法 R-ESRGAN 4x+是一种图像超分辨率重建算法。其全称为"Real-Time Enhanced Super-Resolution Generative Adversarial Network 4x+",是一种基于生成式对抗网络(GAN)的算法,是 ESRGAN(Enhanced Super-Resolution Generative Adversarial Networks)的改进版本之一。它通过引入残差连接和递归结构,改进了 ESRGAN 的生成器网络,并使用 GAN(Generative Adversarial Networks)进行训练。R-ESRGAN 4x+ 在提高图像分辨率的同时,也可以增强图像的细节和纹理,并且生成的图像质量比传统方法更高。它在许多图像增强任务中都取得了很好的效果,比如图像超分辨率、图像去模糊和图像去噪等。

R-ESRGAN 4x+ Anime6B算法 R-ESRGAN 4x+ Anime6B 是一种基于超分辨率技术的图像增强算法,主要用于提高动漫图像的质量和清晰度。它基于 R-ESRGAN 4x+ 算法,并使用了 Anime6B 数据集进行训练。Anime6B 数据集是一个专门用于动漫图像处理的数据集,其中包含了大量不同风格、不同质量的动漫图像,使得算法可以适应不同类型的动漫图像。 R-ESRGAN 4x+ Anime6B 算法主要通过提取图像特征、生成高分辨率图像和优化来实现图像增强。具体来说,它采用了一种名为残差块的结构来提取图像的高级特征,然后通过反卷积和上采样等方法生成高分辨率图像。最后,通过对生成的图像进行优化和后处理,进一步提高图像的质量和清晰度。 R-ESRGAN 4x+ Anime6B 算法在动漫图像增强领域具有较高的准确性和效果,并且可以应用于不同类型的动漫图像处理,如动画制作、漫画制作等。

SwinIR_4x SwinIR_4x是一种基于Swin Transformer的图像超分辨率重建算法,可将低分辨率图像放大4倍,生成高分辨率图像。Swin Transformer是一种新型的Transformer模型,相对于传统的Transformer模型,在处理图像等二维数据时,具有更好的并行性和更高的计算效率。SwinIR_4x通过引入Swin Transformer和局部自适应模块(LAM)来提高图像重建的质量和速度。其中,局部自适应模块用于提高图像的局部细节,从而增强图像的真实感和清晰度。SwinIR_4x被广泛应用于计算机视觉领域,特别是图像重建、图像增强和图像超分辨率等方面。

Lanczos算法 Lanczos是一种用于对称矩阵的特征值分解的算法。在机器学习中,Lanczos算法通常用于实现特征值分解的近似算法,例如用于计算大规模数据集中的主成分分析(PCA)或矩阵逆运算。Lanczos算法的基本思路是利用正交矩阵将原始矩阵变换为一个三对角矩阵,然后使用迭代方法找到这个三对角矩阵的特征值和特征向量。由于三对角矩阵的维度通常比原始矩阵小得多,因此Lanczos算法可以大大加速特征值分解的计算过程。

Nearest算法 Nearest算法(最近邻算法)是一种常见的机器学习算法,用于分类和回归问题。在分类问题中,最近邻算法根据样本之间的距离将新样本分配给最相似的已知样本所属的类别。在回归问题中,最近邻算法通过找到与新样本最相似的已知样本来预测输出值。 最近邻算法通常包括两个步骤:首先计算新样本与已知样本之间的距离或相似度,然后根据最相似的已知样本的标签或值进行预测。 最近邻算法的优点是它非常简单且易于实现,并且对于许多数据集而言效果很好。然而,该算法的缺点是它在处理高维数据和大规模数据时的计算开销非常大,并且对于噪声数据和类别之间的不平衡性表现较差。

结论: ESRGAN系列 ESRGAN_4x适用于照片写实类(可能出现细节过于锐利的效果,但有些人喜欢这样的风格),R-ESRGAN 4x+(全能型),R-ESRGAN 4x+ Anime6B(适用于二次元),R-ESRGAN-General-WDN-4xV3(适用于厚涂插画) SwinIR_4x SwinIR_4x需要表现光影的厚涂插画表现优于照片和二次元的图片放大,但逊于R-ESRGAN-General-WDN-4xV3 LDSR LDSR照片写实类图片表现很好,插画和二次元图片不行,而且体积很大,速度很慢

Tiled Diffusion 对比Ultimate SD Upscale, 这一的算法更加忠实于原图,且产生更少的奇怪结果。与Ultimate SD Upscale(实测最佳去噪强度0.3), Tiled Diffusion upscaler: R-ESRGAN 4x+, Tiled Diffusion scale factor: 2, Tiled Diffusion: "{'Method': 'Mixture of Diffusers', 'Latent tile width': 128, 'Latent tile height': 128, 'Overlap': 16, 'Tile batch size': 8, 'Upscaler': 'R-ESRGAN 4x+', 'Scale factor': 2, 'Keep input size': True, 'Noise inverse': True, 'steps': 8, 'renoise strength': 0.5, 'kernel size': 64}" 官方推荐的放大参数如下,可在此基础上适当调整 采样器(Sampler) = Euler a,步数(steps) = 20,去噪强度(denoise) = 0.35,方法(method) = Mixture of Diffusers,潜变量块高和宽(Latent tile height & width) = 128,重叠(overlap) = 16,分块批处理规模(tile batch size)= 8(如果 CUDA 内存不足,请减小块批量大小)。 另外发现Tiled Diffusion有一个选项,噪声反转,一般将参数设置为步数5、重绘幅度0.5

他可以让图像少一些细节,但是留下来的主题内容格外清晰,有一种厚涂的感觉,效果很棒 原图、Hires. fix 2x、Tiled Diffusion 2x、Tiled Diffusion 2x后、再2x,提升是巨大细节。

Topaz Photo AI修复 最后在介绍一个高清修复软件Topaz Photo AI,具体怎么下载就自行百度谷歌了,Topaz Photo AI功能非常单一,就是放大像素、去噪和锐化、但是这些都是由AI完成的,其内置了一些专门适用于这些场景的模型,而且操作十分简单,照片丢进去就行了,自动检测照片和修复 它和上面的高清修复工作流的区别是,修复过程中增加的细节还不够,只能在放大像素的基础之上增加细节(也说明它尊重原图),而Stable Diffusion增加细节的程度大得多,这也导致Stable Diffusion非常慢,而Topaz Photo AI则非常快,不管是什么场景,都建议最后丢进Topaz Photo AI进行最终修复,缺点是不支持批处理,下面来看看效果如何

常用SD高清放大算法说明的评论 (共 条)

分享到微博请遵守国家法律