DellEMC PowerFlex 3.6.x for Linux安装配置及管理员手册
一、安装部署
说明：本文的涉及PowerFlex3.6.x for Linux版本部署和配置，For VMware版本与3.0.x相同，只多一个手动安装Presentation Server，与for Linux相同。
安装部署之前：
1)操作系统要安装完成。
2)所有网络配置完成，IP地址配置完成，测试所有IP地址可以访问。
3)准备好安装软件包。
Gateway和MGMT放到一台单独服务器上
Gateway和MGMT与MDM放到同一台服务器
1.2操作系统准备
Linux操作系统必须安装java 1.8以上及OpenSSLx64 v1.1
CentOS操作系统
1.所有网卡配置IP地址完成后，全部都ping一遍保证所有IP地址都启用
2.安装java 1.8以上及OpenSSLx64 v1.1
安装java使用rpm包命令如下，rpm –ivh jdk-8u181-linux-x64.rpm
OpenSSL一般默认都有。
3关闭防火墙（可选）
systemctl stop firewalld
systemctl disable firewalld
Ubuntu操作系统
1.启用root账户：（非必须，是为了操作方便）
sudo passwd root，输入密码
进入root账户：su
2.创建非root账户：（为后续使用CSV部署使用，CSV文件用户名填写为：admin(sudo)）
创建组：groupadd admin
创建用户：useradd -G admin admin
修改密码：passwd admin
编辑文件：vi /etc/sudoers
添加Defaults ! requiretty一行
修改%admin一行如下：%admin ALL=(ALL) NOPASSWD: ALL
保存退出：wq！
在非root用户的主目录中创建一个隐藏目录来存储SSH配置：mkdir /home/admin/.ssh
将SSH配置从根用户复制到非_root用户的目录：cp -rf /root/.ssh/* /home/admin/.ssh/
查看所有用户：cat /etc/passwd | cut -f 1 -d:
3.配置IP：
查看网卡：ip a
编辑文件：vi /etc/netplan/50-cloud-init.yaml
让配置生效：netplan apply
重新启停以太网卡命令：ifconfig ens32 down&ifconfig ens32 up
4.配置国内apt源
cp -v /etc/apt/sources.list /etc/apt/sources.list.backup
vi /etc/apt/sources.list
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
然后全选并删除里面的内容，添加清华镜像源。
配置好后，更新源：apt-get update
5.安装环境，java和binutils
apt install openjdk-8-jre-headless -y
apt install binutils -y
6.关闭防火墙
ufw status verbose
ufw enable
ufw disable
Linux绑定盘符
1.拿到编号
[root@Node01 ~]# udevadm info -q path -n /dev/sda
/devices/pci0000:00/0000:00:15.0/0000:03:00.0/host0/target0:0:0/0:0:0:0/block/sda
[root@Node01 ~]# udevadm info -q path -n /dev/sdb
/devices/pci0000:00/0000:00:15.0/0000:03:00.0/host0/target0:0:1/0:0:1:0/block/sdb
[root@Node01 ~]# udevadm info -q path -n /dev/sdc
/devices/pci0000:00/0000:00:15.0/0000:03:00.0/host0/target0:0:2/0:0:2:0/block/sdc
[root@Node01 ~]# udevadm info -q path -n /dev/sdd
/devices/pci0000:00/0000:00:15.0/0000:03:00.0/host0/target0:0:3/0:0:3:0/block/sdd
2.编辑
[root@Node01 ~]# vi /etc/udev/rules.d/80-mydisk.rules
DEVPATH=="/devices/pci0000:00/0000:00:15.0/0000:03:00.0/host0/target0:0:0/0:0:0:0/block/sda, NAME="sda", MODE="0660"
DEVPATH=="/devices/pci0000:00/0000:00:15.0/0000:03:00.0/host0/target0:0:1/0:0:1:0/block/sdb, NAME="sdb", MODE="0660"
DEVPATH=="/devices/pci0000:00/0000:00:15.0/0000:03:00.0/host0/target0:0:2/0:0:2:0/block/sdc, NAME="sdc", MODE="0660"
DEVPATH=="/devices/pci0000:00/0000:00:15.0/0000:03:00.0/host0/target0:0:3/0:0:3:0/block/sdd, NAME="sdd", MODE="0660"
1.3安装Gateway
1） Gateway可以安装在将要用户MDM的节点上，或者单独的节点上，但不能安装在RFcache节点。
2） 不要安装在将用于SDC组件的服务器上。
在Linux上安装VxFlex OS Gateway
Linux操作系统必须安装java 1.8以上及OpenSSLx64 v1.1
RHEL/Centos/Oracle Linux/SLES：
GATEWAY_ADMIN_PASSWORD=<new_GW_admin_password> rpm -i /tmp/EMC-ScaleIO-gateway-5.0-X.<build>.x86_64.rpm
Ubuntu：
GATEWAY_ADMIN_PASSWORD=<new_GW_admin_password> dpkg -i /tmp/EMC-ScaleIO-gateway-3.5-X.<build>.amd64.deb
其中/tmp/是您保存软件包的本地位置，而<new_GW_admin_password>是您定义用来访问PowerFlex安装程序的密码。
密码必须符合以下条件：
• 至少8个字符
• 至少包括以下三组：[az]，[AZ]，[0-9]，特殊字符（！@＃$…）
在Windows上安装VxFlex OS Gateway
1)安装文件为：EMC-ScaleIO-gateway-3.5-X.<build>-x64.msi，双击安装，并在安装过程中输入Gateway密码。
2)运行Clean_XC_registry.bat脚本
1.4安装管理服务器Presentation Server
● Linux:
rpm -i EMC-ScaleIO-mgmt-server-3.5-X.<build>.noarch.rpm
● Debian:
sudo dpkg -i emc-scaleio-mgmt-server_3.5-X.<build>_amd64.deb
如果管理服务器和网关服务器安装到同一个服务器上，则需要修改管理服务器端口8443为9443
1） 停止管理服务
systemctl stop mgmt-server
2） 运行命令
su mgmt-server -c "vi /etc/mgmt-server/.config/mgmt-server"
3） 写入
MGMT_SERVER_OPTIONS='backend.httpd.httpsPort=9443 backend.sessions.tokenLifeSpanMinutes=10'
4） 重启管理服务
systemctl restart mgmt-server.service
5） 打开防火墙端口
firewall-cmd --zone=public --add-port=9443/tcp –-permanent
firewall-cmd –reload
6） 检查新的防火墙端口是否已经打开:
firewall-cmd --list-all
1.5填写CSV
1.6部署VxFlex
确认gateway与要部署的MDM节点通信正常。
使用web浏览器登录Gateway的管理地址，点击Home页面“installation packages”超链接
点击“Browse”按钮，选择要上传的安装包，MDM、SDS、SDC、RFcache、LIA，然后点击“Upload”上传
上传完成，点击“Proceed to Install”按钮，继续安装
选择上传csv文件安装，选择“New installation”，点击“Upload installation CSV”
输入MDM和LIA的密码，输入MDM三节点的IP和密码
安装开始，点击“monitor”超链接到监视界面，将在其中监视和批准安装
开始验证环境，验证完成后“Start upload phase”按钮即可点亮，点击按钮进行安装包上传
开始上传安装包
安装包上传完成，点击“Start install phase”
安装完成，点击“Start configure phase”按钮开始配置
全部任务完成，点击“Mark operation completed”按钮，标记完成操作
二、添加集群节点
在PowerFlex集群上，添加节点有两种方式
使用Gateway工具，编写CSV文件，自动部署添加节点
手动安装SDS、SDR等软件，然后在图形界面手动添加节点。
首选必须准备好软件包，要添加的节点配置好网络。
2.1PowerFlex Installer工具添加节点
1.保证Gateway中有要安装的软件包
2.在“Install”界面，下载CSV文件模板
下载文件名称为“VxFlex_OS_Complete_Config.csv”
3.根据1.3表填写CSV文件，在添加节点时，MDM和TB信息必须是完整的，单纯SDS和SDC节点可选填写，详细填写要添加的SDS、SDC、SDR等信息。
4.将CSV文件上传至Install，选择“Add to existing sys.”,点击上传按钮
5.根据提示完成验证、上传软件、安装软件、配置等操作。
2.2手动添加节点
将要添加节点的安装包手动安装到节点服务器使用rpm –i等命令
说明：此方法适用SDS、SDR，同时需要安装LIA
安装SDS组件
1.使用以下命令安装SDS:
rpm -i <sds_path.rpm>
例如：
rpm -i EMC-ScaleIO-sds-3.5-<build>.X.el6.x86_64.rpm
将LIA添加到系统中以实现自动维护和升级
1. 通过运行以下命令，在每个节点上安装LIA组件：
TOKEN=<LIA_password> rpm -i <full rpm path to LIA file>
例：
TOKEN=Scaleio123 rpm -i EMC-ScaleIO-lia-3.0-X.<build>.<flavor>.x86_64.rpm
2. 将系统安装ID导入LIA：
a. 创建以下文件：/opt/emc/scaleio/lia/cfg/installation_id.txt
b. 通过运行以下命令，在MDM中查询安装ID：
scli --query_all|grep "Installation ID"
c. 将安装ID复制到新文件中。
d. 通过运行以下命令来重新启动LIA服务：
pkill lia
3. 在系统中的每个节点上重复上述步骤
软件安装完成后，点击SDSs页面，右上角ADD按钮
输入信息，点击中部“ADD IP”按钮，然后点击右下角“ADD SDS”按钮，完成添加
SDR同样类似操作。
三、添加SDC客户端
在PowerFlex集群上，添加节点有两种方式
使用Gateway工具，编写CSV文件，自动部署添加节点
手动安装SDC和LIA软件，管理界面即可自动识别SDC
首选必须准备好软件包，要添加的节点配置好网络。
3.1PowerFlex Installer工具添加
如2.1添加SDS、SDR例，使用CSV添加SDC信息，上传并完成安装。
3.2手动安装SDC软件
手动安装SDC及LIA软件
说明：可以只安装SDC软件，下文中<LIST_VIP_MDM_IPS>包括MGMT_VIP、DATA1_VIP、DATA2_VIP。
ESXi：
1. 在安装SDC的ESXi上，设置接受级别:
esxcli software acceptance set --level=PartnerSupported
2. 安装SDC:
esxcli software vib install -d “/tmp/sdc-3.0.1000.180-esx6.x.zip”
3.重新启动ESX主机。此时SDC不会自动启动。
您需要更新SDC GUID和MDM IP地址参数:
•GUID：例如:12345678-90AB-CDEF-1234-567890ABCDEF
•MDM IP地址。可以定义多个MDM集群，每个集群有多个IP地址。
-用“,”符号分隔同一个MDM集群的IP地址。
-使用“+”符号分隔多个MDM集群。
在下面的示例中，有两个MDM集群，第一个有两个IP地址，第二个只有一个:
10.20.30.40,50.60.70.80+11.22.33.44
4.设置MDM的IP地址:
esxcli system module parameters set -m scini -p "IoctlIniGuidStr=<XXXXXX> IoctlMdmIPStr=<LIST_VIP_MDM_IPS>"
●<LIST_VIP_MDM_IPS>是一个以逗号分隔的MDM IP地址列表或MDM的虚拟IP地址
●<XXXXXX>为GUID码，可从https://www.guidgen.com/生成
5. 通过输入以下参数备份参数:
/bin/auto-backup.sh
6. 加载SDC模块:
• ESXi 5.5
输入：esxcli system module load -m scini
注意:在ESXi 6.0服务器上运行上述命令会导致不稳定，这可以通过重新启动服务器来解决。
• ESXi 6.0
重新启动ESXi主机。
Linux：
RHEL/CentOS /Oracle Linux：
MDM_IP=<LIST_VIP_MDM_IPS> rpm -i <SDC_PATH>.rpm
Ubuntu：
# tar -xvf EMC-ScaleIO-sdc-3.5-1200.104.Ubuntu.18.04.5.x86_64.tar
#./siob_extract EMC-ScaleIO-sdc-3.5-1200.104.Ubuntu.18.04.5.x86_64.siob
#MDM_IP=<LIST_VIP_MDM_IPS> dpkg -i EMC-ScaleIO-sdc-3.5-1200.104.Ubuntu.18.04.5.x86_64.deb
注：安装过程中缺少libaio1，需手动安装
CoreOS
MDM_IP=<LIST_VIP_MDM_IPS> ./<LIST_VIP_MDM_IPS>.bsx
●<LIST_VIP_MDM_IPS>是MDM IP地址或MDM虚拟IP地址的逗号分隔列表
●<SDC_PATH>是SDC安装包所在的路径
Windows：
1.在安装SDC的Windows服务器上，运行:
msiexec /i <SDC_PATH>.msi MDM_IP=<LIST_VIP_MDM_IPS>
●<SDC_PATH>是SDC安装包所在的路径
●<LIST_VIP_MDM_IPS>是一个以逗号分隔的MDM IP地址列表或MDM的虚拟IP地址
2.重新启动服务器
四、卷映射操作
4.1创建卷
在WebUI的“Volumes”界面，点击右上“ADD”按钮
输入卷信息，点击“ADD VOLUME”按钮，完成添加
4.2映射卷
勾选卷名称前的复选框，点击右上“MAPPING”>“Map”按钮
勾选卷及SDC，点击“MAP”按钮，点击“APPLY”按钮完成映射。
五、快照操作
5.1创建快照
选择中卷名前的复选框，点击右上角“MORE”>“Create snapshot”按钮
输入快照名，或按规则自动生成快照名称，默认选择“Read Only”只读模式，点击“CREATE SNAPSHOT”完成快照创建。
5.2创建安全快照
勾选“Use secure snapshot”选项，选择保留时间，在时间为到之前，此快照不可删除。
5.3快照操作
快照创建完后，在“Volumes”页面，可以看到多出一个卷，此即快照，此时快照可以映射给SDC
也可选中原始卷，点击下方VTREE页面，查看卷树结构
恢复快照，仅限于非制度快照
点击快照，选中“MORE”>“Overwrite Content”
5.4创建快照策略
导航到“PROTECTION”>“LOCAL”>“Snapshot Policies”界面，点击“ADD”按钮
输入快照策略名称，快照间隔时间，保留快照数量，是否只读快照，快照过期时间，点击“ADD AND ACTIVATE”按钮
勾选快照策略，点击“MORE”>“Assign Volumes”按钮
勾选要做快照的卷，点击“ASSIGN POLICY”按钮
六、复制
6.1交换存储集群证书权威根证书
首先登陆一个集群的MDM
输入命令：
scli --login --username admin --password P@ssw0rd //登陆到MDM
scli --extract_root_ca --certificate_file /tmp/sys0.cert //生产证书
将sys0.cert文件拷贝到第二个集群MDM中
scp /tmp/sys0.cert root@172.44.44.161:/tmp/ //回车后输入密码
登陆到第二个集群的MDM
scli --login --username admin --password P@ssw0rd //登陆到MDM
scli --add_trusted_ca --certificate_file /tmp/sys0.cert --comment Acme_HQ //导入证书
同样的操作重复从第二个集群创建证书到第一个集群导入证书
输入命令：
scli --login --username admin --password P@ssw0rd //登陆到MDM
scli --extract_root_ca --certificate_file /tmp/sys1.cert //生产证书
将sys0.cert文件拷贝到第二个集群MDM中
scp /tmp/sys0.cert root@172.44.44.161:/tmp/ //回车后输入密码
登陆到第二个集群的MDM
scli --login --username admin --password P@ssw0rd //登陆到MDM
scli --add_trusted_ca --certificate_file /tmp/sys1.cert --comment Acme_HQ //导入证书
6.2添加对端存储
点击“Peer Systems”页面，点击右上“ADD”按钮
输入对端存储名称，ID，IP，此处IP为对端存储的SDR外部IP
对端存储ID从对端存储的“Cluster Settings”页面查看
或使用命令行查看ID
同样的操作在对端存储重复操作一次。
添加完成后“Peer Systems”界面，可以看到对端存储已经连接，连接状态为“Connected”
6.3创建一致性组
在“RCGs”界面，点击“ADD”按钮
输入名称，RPO时间，选择本地保护域，对端存储名称及对端保护域，点击“NEXT”
选择源端卷和目标端卷，点击右上“ADD PAIR”按钮，点击“NEXT”按钮
确认信息，点击“ADD RCG &START REPLICATION”按钮，开始复制
创建完成。
6.4复制监视
查看“REPLICATION”>“Overview”界面，查看复制概况
查看“REPLICATION”>“RCGs”界面，查看复制任务状态
6.5复制管理
选中复制任务，点击右上“MANAGE”按钮可对复制任务进行管理
6.5.1暂停
Pause:暂停写操作的复制。这将防止在复制再次恢复之前将日志发送到目标集群。
6.5.2创建快照
Create Snapshots:生成目标系统上RCG中每个卷的快照。这对于远程测试应用程序或DR活动非常有用。没有删除快照的工具，因此必须在目标系统上取消映射和手动删除快照。
此时目标存储卷生成快照，此快照可进行挂载
6.5.3故障转移
Failover:强制一个故障转移事件，将RCG内卷的主要所有权传递给目标系统。完成此操作后，对于计划中的故障转移，您还可以选择Reverse命令以保持原始源卷的同步。
故障转移之前，首先停止主机I/O，卸载存储。
6.5.4测试故障转移
Test Failover:这将自动在目标系统上创建一个快照，并用到该快照的映射替换原始目标卷映射。使用此命令，您可以对卷执行写测试，同时防止源卷被测试活动损坏。
此时同步目标为目标端生成的快照，原始目标卷可以映射挂载。
6.5.5复制修改
选中“RCGs”界面找那个的复制任务，点击“MODIFY”>“Modify RPO”
可以修改RPO时间
选中“RCGs”界面找那个的复制任务，点击“MODIFY”>“Add Pair”
七、关机/开机
关机：
1.在 配置中，勾选保护域并单击“MORE”>“Inactivate”按钮。
输入管理密码，点击“INACTIVATE”按钮
确定保护域状态为“Inactive”
退出 PowerFlex GUI。
关闭操作系统。
开机：
操作系统开机。
验证所有软件定义存储 (SDS) 是否在线。验证所有磁盘是否联机。
在 “CONFIGURATION”à“Protection Domains”中，选择保护域，单击“MORE”>“Activate”。
