欢迎光临散文网 会员登陆 & 注册

DataIQ for Date Mover数据迁移工具部署配置

2023-02-22 16:50 作者:墨小胎  | 我要投稿

一、安装及标准配置

1.1部署虚拟机

使用“部署OVF模板”安装导入虚拟机。


添加一块位于SSD盘的500GB虚拟磁盘。


 


存储监控数据库

存储监控数据库根据监控的集群数量、监控的节点数量、图表显示的条目数(Top N)、集群的负载率等因素进行增长。

管理员可以通过设置数据保留策略,设置需要保留的最大数据量。例如:监控10个节点,最多保留1年数据,则增加101GB (200MB×10×52)

 

1.2修改root密码

登录虚拟机,用户名:dataiqadmin,密码: dataiqadmin。使用sudo su -进入root模式,使用passwd root修改密码。此密码用于备份和还原。


 

1.3挂载数据管理数据库

创建挂载目录:mkdir /mnt/ssd


查看数据管理数据库磁盘:lsscsi


创建pvpvcreate /dev/sdb


创建vgvgcreate vg0 /dev/sdb


查看创建的vgvgdisplay


使用全部空间创建lvlvcreate -l +100%FREE -n ssd vg0


查看创建的lvlvdisplay


格式化磁盘:mkfs -t xfs /dev/vg0/ssd


将文件系统挂载到挂载点:mount /dev/vg0/ssd /mnt/ssd


查看完成的挂载:df –h


添加开机自动挂载:vim /etc/fstab


1.4设置网络

输入命令nmtui打开NetworkManager工具,选择“Edit a connection”回车


选择“Wired connection 1”回车


修改“Profile name”网卡名称,并配置Ipv4


选择“Set system hostname”回车


修改主机名(注:主机名必须使用小写字母,否则初始化过程会出错。)


编辑hosts文件:vim /etc/hosts

192.168.100.150       dataiq

 

重启服务使网络生效:systemctl restart network

 

1.5初始化DataIQ

运行DataIQ安装程序,接收初始密码,并可选地设置安全远程服务。

初始化DataIQroot模式下输入命令:dataiq init

输入y接受安装EULA

等待DataIQ初始化最多20分钟,是否安装SRS网关,若没有输入N,回车,完成初始化。

记录管理界面地址初始密码

您还可以使用命令检索此临时密码: cat /opt/dataiq/install/keycloak_admin.passwd

使用浏览器登录管理地址,输入用户名administrator,密码为上一步初始化完成后生成的密码。

输入新密码,点击“Submit”按钮

完成DataIQ登录。


1.6许可说明

首次安装DataIQ时,可以使用试用功能1年,包括连接到第三方存储的能力。购买并激活license后,就可以访问所购买的特性。当DataIQ许可证过期时,将只能访问基本的DataIQ特性。

 


1.7更新Kubernetes证书

DataIQ使用的是Kubernetes证书,有效期为1年。有两种方法可以更新证书:重新启动DataIQ主机,或者运行脚本手动更新证书。如果DataIQ证书没有更新,DataIQ应用程序将停止工作。

1)建议至少每6个月重启DataIQ主机一次,以自动更新Kubernetes证书。

2)可以任何时候手动更新证书,在命令行中:dataiq certificates --renew kubernetes,这需要长达10分钟的停机时间。

 

二、配置挂载卷

2.1挂载NFS卷

1.“SETTING”页面,选择“Data management configuration”

2.选择“Add new volume”


输入以下:

 

3.可选:选中手动配置,可以选择更多选项。

注意:添加新卷时,建议手动设置预定扫描线程手动扫描线程,设置值至少为10个。

 


2.2挂载SMB

首先需要通过命令行手动挂载smb

创建挂载目录:mkdir -p /dataiq/smb  &&  chmod 777 /dataiq/smb

挂载卷到目录:mount -t cifs //192.168.100.47/smb /dataiq/smb -o username=test,password=test,iocharset=utf8

设置开机自动挂载,编辑/etc/fstab,添加:

\\192.168.100.47\smb /dataiq/smb cifs username=test,password=test,vers=2.0 0 0

1.“SETTING”页面,选择“Data management configuration”

2.选择“Add new volume”。输入以下:

其他配置参考“连接NFS卷”


2.3为Data Mover设置卷

每当对卷进行更新时,都要更新DatalQ主机.。

在web Ul中选择“Settings”>“Data management configuration”。在Plugins部分中,选择Data Mover旁边的(垂直椭圆)图标,并选择Edit configuration。打开Data Mover配置文件。


vol_attributes(必需)

挂载卷的设置。禁止使用vol_attributes配置S3桶。DatalQ主机格式:


找到关键字vol_attributes,修改,点击Save保存


设置密码


2.4使用Data Mover

DataIQ Data Mover功能和限制

功能:

在不同的文件系统(包括NFSVFSSMB)S3端点(Amazon S3、谷歌云平台(GCP)Dell弹性云存储(ECS))之间移动数据。

记录文件传输以协助审计。

支持传输策略,允许或限制基于用户组和源和目的地可见性的Data Mover的使用。

通过在传输后重新索引文件来更新DataIQ

使用校验和算法验证文件传输,包括MD5SHA256

支持使用额外的服务器(Data Mover工作节点)来加快文件传输,并减轻DataIQ主主机的负担。

每个作业可以移动多个tb的数据。捕获和存储posix兼容系统上的文件权限和属性,如用户id、组id、时间和时间。当恢复文件时,Data Mover重新应用属性。

管理员可以决定非管理员用户是否可以执行以下任务:

●查看和编辑其他用户启动的传输作业。

●在传输完成并验证后删除源文件或目录。

●覆盖目标文件中的现有文件。

●按顺序传输文件,以潜在地提高视频回放性能。

●控制主动转移作业。

 

限制

●不能在两个外部S3桶之间直接移动数据。

●不能根据策略移动文件。(例如:最近30天内未访问的数据。)

●在windows系统上不捕获文件权限或文件属性。

●不支持与SMB所有权的AD集成。

●不支持自动归档,也没有增量归档功能。要了解关于归档OneFS数据的更多信息,请参阅OneFS CloudPool管理指南。

●不支持有状态文件夹传输或动态更新。要捕获更新,必须重新启动数据传输。

●不支持多源树移动。

从DataIQ选择“Data Management”,然后使用“Browse”按钮,选择要传输的卷,点击“Scan Volume”按钮更新卷信息。


选择“Transfer”按钮


弹出“Transfer”对话框,显示如下信息:

●源路径选择

●文件计数和所选源的总大小。

注意:这些值可能并不总是最新的或准确的。这些值基于最近一次DataIQ文件扫描的文件计数和大小。作业启动后,您可以在“查看传输”页面中看到更新的准确值。

●系统范围内的活动转移作业的数量。

●系统范围内繁忙辅助进程的数量与辅助进程总数的比较。

●每个卷上可用的空间量。

●卷是否支持顺序传输。

选择目的地。选项:

●与源相同的路径,在卷上:拷贝到另一个卷上的相同位置。例:源为/Vol1/Movies/EveryoneIsHappy/副标题/,选择的目标卷是/Production,那么完整的目标路径是/Production/Movies/EveryoneIsHappy/副标题/。

●自定义目标卷和路径:拷贝到指定目标卷。注意,当复制到不同的卷时,请使用完整路径,例如/Vol1/Movies。卷列表中的任何选择都将被忽略。


传输完成


点击View Transfers按钮查看传输


DataIQ for Date Mover数据迁移工具部署配置的评论 (共 条)

分享到微博请遵守国家法律