DataIQ for Date Mover数据迁移工具部署配置
一、安装及标准配置
1.1部署虚拟机
使用“部署OVF模板”安装导入虚拟机。

添加一块位于SSD盘的500GB虚拟磁盘。

存储监控数据库
存储监控数据库根据监控的集群数量、监控的节点数量、图表显示的条目数(Top N)、集群的负载率等因素进行增长。

管理员可以通过设置数据保留策略,设置需要保留的最大数据量。例如:监控10个节点,最多保留1年数据,则增加101GB (200MB×10×52)。
1.2修改root密码
登录虚拟机,用户名:dataiqadmin,密码: dataiqadmin。使用sudo su -进入root模式,使用passwd root修改密码。此密码用于备份和还原。

1.3挂载数据管理数据库
创建挂载目录:mkdir /mnt/ssd

查看数据管理数据库磁盘:lsscsi

创建pv:pvcreate /dev/sdb

创建vg:vgcreate vg0 /dev/sdb

查看创建的vg:vgdisplay

使用全部空间创建lv:lvcreate -l +100%FREE -n ssd vg0

查看创建的lv:lvdisplay

格式化磁盘:mkfs -t xfs /dev/vg0/ssd

将文件系统挂载到挂载点:mount /dev/vg0/ssd /mnt/ssd

查看完成的挂载:df –h

添加开机自动挂载:vim /etc/fstab

1.4设置网络
输入命令nmtui打开NetworkManager工具,选择“Edit a connection”回车

选择“Wired connection 1”回车

修改“Profile name”网卡名称,并配置Ipv4

选择“Set system hostname”回车

修改主机名(注:主机名必须使用小写字母,否则初始化过程会出错。)

编辑hosts文件:vim /etc/hosts
192.168.100.150 dataiq
重启服务使网络生效:systemctl restart network
1.5初始化DataIQ
运行DataIQ安装程序,接收初始密码,并可选地设置安全远程服务。
初始化DataIQ在root模式下输入命令:dataiq init
输入y,接受安装EULA。

等待DataIQ初始化最多20分钟,是否安装SRS网关,若没有输入N,回车,完成初始化。

记录管理界面地址和初始密码。
您还可以使用命令检索此临时密码: cat /opt/dataiq/install/keycloak_admin.passwd
使用浏览器登录管理地址,输入用户名administrator,密码为上一步初始化完成后生成的密码。

输入新密码,点击“Submit”按钮

完成DataIQ登录。

1.6许可说明
首次安装DataIQ时,可以使用试用功能1年,包括连接到第三方存储的能力。购买并激活license后,就可以访问所购买的特性。当DataIQ许可证过期时,将只能访问基本的DataIQ特性。

1.7更新Kubernetes证书
DataIQ使用的是Kubernetes证书,有效期为1年。有两种方法可以更新证书:重新启动DataIQ主机,或者运行脚本手动更新证书。如果DataIQ证书没有更新,DataIQ应用程序将停止工作。
1)建议至少每6个月重启DataIQ主机一次,以自动更新Kubernetes证书。
2)可以任何时候手动更新证书,在命令行中:dataiq certificates --renew kubernetes,这需要长达10分钟的停机时间。
二、配置挂载卷
2.1挂载NFS卷
1.在“SETTING”页面,选择“Data management configuration”。
2.选择“Add new volume”。

输入以下:

3.可选:选中“手动配置”,可以选择更多选项。
注意:添加新卷时,建议手动设置“预定扫描线程”和“手动扫描线程”,设置值至少为10个。



2.2挂载SMB
首先需要通过命令行手动挂载smb卷
创建挂载目录:mkdir -p /dataiq/smb && chmod 777 /dataiq/smb
挂载卷到目录:mount -t cifs //192.168.100.47/smb /dataiq/smb -o username=test,password=test,iocharset=utf8
设置开机自动挂载,编辑/etc/fstab,添加:
\\192.168.100.47\smb /dataiq/smb cifs username=test,password=test,vers=2.0 0 0
1.在“SETTING”页面,选择“Data management configuration”。
2.选择“Add new volume”。输入以下:

其他配置参考“连接NFS卷”

2.3为Data Mover设置卷
每当对卷进行更新时,都要更新DatalQ主机.。
在web Ul中选择“Settings”>“Data management configuration”。在Plugins部分中,选择Data Mover旁边的(垂直椭圆)图标,并选择Edit configuration。打开Data Mover配置文件。


vol_attributes(必需)
挂载卷的设置。禁止使用vol_attributes配置S3桶。DatalQ主机格式:

找到关键字vol_attributes,修改,点击Save保存

设置密码

2.4使用Data Mover
DataIQ Data Mover功能和限制
功能:
●在不同的文件系统(包括NFS、VFS和SMB卷)和S3端点(如Amazon S3、谷歌云平台(GCP)、Dell弹性云存储(ECS))之间移动数据。
●记录文件传输以协助审计。
●支持传输策略,允许或限制基于用户组和源和目的地可见性的Data Mover的使用。
●通过在传输后重新索引文件来更新DataIQ。
●使用校验和算法验证文件传输,包括MD5和SHA256。
●支持使用额外的服务器(Data Mover工作节点)来加快文件传输,并减轻DataIQ主主机的负担。
●每个作业可以移动多个tb的数据。捕获和存储posix兼容系统上的文件权限和属性,如用户id、组id、时间和时间。当恢复文件时,Data Mover重新应用属性。
管理员可以决定非管理员用户是否可以执行以下任务:
●查看和编辑其他用户启动的传输作业。
●在传输完成并验证后删除源文件或目录。
●覆盖目标文件中的现有文件。
●按顺序传输文件,以潜在地提高视频回放性能。
●控制主动转移作业。
限制
●不能在两个外部S3桶之间直接移动数据。
●不能根据策略移动文件。(例如:最近30天内未访问的数据。)
●在windows系统上不捕获文件权限或文件属性。
●不支持与SMB所有权的AD集成。
●不支持自动归档,也没有增量归档功能。要了解关于归档OneFS数据的更多信息,请参阅OneFS CloudPool管理指南。
●不支持有状态文件夹传输或动态更新。要捕获更新,必须重新启动数据传输。
●不支持多源树移动。
从DataIQ选择“Data Management”,然后使用“Browse”按钮,选择要传输的卷,点击“Scan Volume”按钮更新卷信息。

选择“Transfer”按钮

弹出“Transfer”对话框,显示如下信息:
●源路径选择
●文件计数和所选源的总大小。
注意:这些值可能并不总是最新的或准确的。这些值基于最近一次DataIQ文件扫描的文件计数和大小。作业启动后,您可以在“查看传输”页面中看到更新的准确值。
●系统范围内的活动转移作业的数量。
●系统范围内繁忙辅助进程的数量与辅助进程总数的比较。
●每个卷上可用的空间量。
●卷是否支持顺序传输。
选择目的地。选项:
●与源相同的路径,在卷上:拷贝到另一个卷上的相同位置。例:源为/Vol1/Movies/EveryoneIsHappy/副标题/,选择的目标卷是/Production,那么完整的目标路径是/Production/Movies/EveryoneIsHappy/副标题/。
●自定义目标卷和路径:拷贝到指定目标卷。注意,当复制到不同的卷时,请使用完整路径,例如/Vol1/Movies。卷列表中的任何选择都将被忽略。

传输完成

点击View Transfers按钮查看传输
