欢迎光临散文网 会员登陆 & 注册

Linux实战实验:实现现代数据中心的存储空间压缩和数据重复删除

2021-06-28 16:37 作者:尚文网络IT  | 我要投稿

#实战描述:

随着UPWEN公司业务数据的日益急剧膨胀,需要不断购置大量的存储设备来应对不断增长的存储需求。然而,单纯地提高存储容量,并不能从根本解决问题。因此UPWEN公司需要找到其他的方案来解决信息的急剧增长问题,堵住数据“井喷”现象。

目前,通过Linux8.x操作系统的VDO虚拟数据优化器技术可以实现数据压缩技术通过对数据重新编码来降低冗余度,而重复数据删除技术侧重于删除重复的数据块,从而实现数据容量缩减的目的。Virtual Data Optimizer(VDO)技术以去重压缩和精简配置的方式为linux提供内联数据精简。当构建一个VDO卷以及规划逻辑存储量时需要指定要在其上设置的块设备。部署VDO可以为块设备和文件访问以及本地和远程存储提供去重的存储。由于VDO使用去重的存储作为标准的linux块设备,你可以将其用于标准文件系统iSCSI和FC目标驱动程序,或统一存储。

当管理的是vm或容器时,建议精简逻辑存储与物理存储比例设置为10:1,就是如果你利用的是1TB的物理磁盘,你可以假装它是10TB的逻辑存储。

对于对象存储,比如Ceph,建议使用3:1的逻辑存储,1TB物理存储可以当3TB逻辑存储。无论哪种情况都可以在VDO提供的逻辑设备上放置文件系统,然后使用它作为分布式云存储架构的一部分。

由于VDO是精简配置的,文件系统和应用只能看到逻辑空间使用情况而不清楚物理空间情况,应该使用脚本监控实际可用空间并且当超过阈值时报警。

接下来,我们查看如何具体实现。

#实战环境:

RHEL8.x主机一台,虚拟机即可;虚拟机磁盘空间单独配置较大的虚拟磁盘空间。

#具体实现:

##安装并启动VDO

安装vdo相关的软件包,包括 vdo、kmod-vdo 两个包都要安装。

启动服务并实现开机自动启动。

##创建一个VDO卷

当一个VDO卷创建时VDO会在配置文件/etc/vdoconfig.yml中增加一个入口vdo.service,systemd服务会默认使用这个入口启动vdo卷。将块设备替换为要在其中创建VDO卷的块设备的永久名称。

例如,/dev/disk/by-id/scsi-3600508b1001c264ad2af21e903ad031f。

用VDO卷应提供的逻辑存储量替换逻辑大小:对于主动VM或容器存放,使用逻辑大小是10的块设备的物理尺寸倍。例如,如果我们的块设备大小为1TB,请在10T此处使用;对于对象存储,使用逻辑大小是3的块设备的物理尺寸倍。例如,如果我们的块设备大小为1TB,请在3T此处使用。

此时,根据我们虚拟机物理磁盘的具体情况,创建一个名字为upwenvdo的vdo卷,指定系统的vdc为3G大小的整个磁盘为vdo的成员磁盘按照1;3比例创建逻辑大小为30G。

##基于文件系统部署方案创建文件系统xfs格式

在VDO卷上创建一个xfs格式的文件系统,创建的时候指定-K的参数:

使用以下命令等待系统注册新设备节点:

##挂载VDO卷

此过程可以手动或持久地在VDO卷上安装文件系统。

· VDO卷已在您的系统上创建。要在VDO卷上手动挂载文件系统,使用:

创建挂载点:

实现与vdo对挂载的挂载:

##自动挂载VDO卷

对于XFS文件系统要将文件系统配置为在引导时自动挂载,请在/etc/fstab文件中添加一行:

##启用定期块丢弃

此过程使器systemd计时能够定期丢弃所有受支持的文件系统上未使用的块。

· 启用并启动systemd计时器:

##监控VDO

使用vdostats实用工具获取有关VDO卷的信息:

#结果:

使用dd命令进行重复数据的创建单次5G大小,共20G大小的数据:

通过测试可以看出,使用了VDO实现了重复数据删除和压缩:

#知识点:

Yum仓库安装软件;

VDO重复删除的知识;

dd命令创建文件系统的重复数据。




Linux实战实验:实现现代数据中心的存储空间压缩和数据重复删除的评论 (共 条)

分享到微博请遵守国家法律