DellEMC XtremIO X2初始化文档
一、介绍
1.1硬件介绍
Storage Controller
DAE
InfiniBand Switches
12-Port InfiniBand Switch
36-Port InfiniBand Switch
物理XMS
注：1口为管理口，2为TECH端口
2.2内部连接
单X-Brick
双X-Brick
四X-Brick同双X-Brick同理
二、初始化准备
2.1连接存储控制器
通过TECH USB端口连接到存储控制器。
注：TECH USB端口有以下预配置IP地址：169.254.254.1/20（子网掩码：255.255.240.0）
笔记本的IP设置可用于连接到存储控制器：IP：169.254.254.2（子网掩码：255.255.240.0）
加Easy-Install命令：
登录到存储控制器，登录用户名xinstall
2.2验证SC中XtremIO的安装镜像
在开始之前，确保所有的存储控制器上运行相同的XIO版。输入数字2编号，显示本地存储控制器信息
确认输出：
如果显示的XtremApp版本与您当前安装的版本的发行说明中显示的存储控制器救援映像版本相匹配，则表示存储控制器基础映像已安装在存储控制器上。现在可以继续“配置存储控制器管理接口”。
如果显示的XtremApp版本与您当前安装的版本的发行说明中显示的存储控制器救援映像版本不匹配，则说明存储控制器基础映像已更改，而不是从工厂发货的映像。需要在存储控制器上重新安装存储控制器救援映像。在存储控制器上重新安装存储控制器救援映像。
2.3配置存储控制器管理接口
2.3.1单X-brick
当你在一个单一的x-brick群集配置存储控制器，您需要提供本地和远程存储控制器IP。
登录到一个存储控制器，使用xinstall用户凭据。在“Installation（安装）”菜单中，输入1编号“Configuration menu（配置菜单）”。
在“Storage Controller Configuration Sub-Menu（存储控制器配置子菜单）”中，输入1编号“Configure all Storage Controllers（配置所有存储控制器）”。
验证是否发现了预期的存储控制器数量，以便继续配置过程(在本例中，单个X-Brick集群应该发现两个存储控制器)。
为本地存储控制器(以X1-SC1为例)提供以下配置细节:
•群集名称
•存储控制器ID
•存储控制器的IP地址(来自X-Brick 1的存储控制器)
•存储控制器的网络前缀
•存储控制器的网关IP地址。
提供第二个存储控制器的IP地址
选择最后一个菜单选项（退出）退出。
2.3.2多X-brick
当你在使用连续的IP地址分配多X-brick群集配置存储控制器，你只需要提供第一存储控制器地址和群集的存储控制器，其余分配IP地址自动递增。
登录到一个存储控制器，使用xinstall用户凭据。在“Installation（安装）”菜单中，输入1编号“Configuration menu（配置菜单）”。
在“Storage Controller Configuration Sub-Menu（存储控制器配置子菜单）”中，输入1编号“Configure all Storage Controllers（配置所有存储控制器）”。
等待存储控制器的发现过程来完成和确认结果进行配置（在这个例子中，两x-brick集群应该发现四存储控制器）。
等待连接检查完成。
输入yes确认执行IB交换机连接测试，每个存储控制器，在IB交换机LED匹配的闪烁。
提供以下的本地存储控制器配置细节（例子中的X1-SC1）：
•群集名称
•存储控制器的IP地址(来自X-Brick 1的存储控制器)
•存储控制器的网络前缀
•存储控制器的网关IP地址
为X-Brick 1中的第二个存储控制器提供IP地址(在示例X1-SC2中)。
选择最后一个菜单选项（退出）退出。
2.4安装XMS Server
XMS只需要一台，如果已经有了就不需要安装了。
2.4.1连接XMS
虚拟XMS
进入DellEMC官网下载OVA。使用vCenter服务器，部署OVF模板，选择精简模式的磁盘格式
配置虚拟机的高可用性（推荐）：使用vSphere HA或vSphere Fault Tolerance配置虚拟机高可用。
打开虚拟机电源，打开虚拟控制台，准备配置XMS
物理XMS
XMS TECH端口（即网卡2）有以下预配置IP地址：169.254.254.1/20（子网掩码：255.255.240.0）
下面的IP设置可用于车站连接到存储控制器：IP：169.254.254.2（子网掩码：255.255.240.0）
2.4.2配置XMS
XMS管理IP是由Easy-Install过程定义。
登录到XMS，使用xinstall用户凭据，在“Install menu（安装菜单）”中键入1编号，“Configure XMS（配置）”。
为XMS主机提供一个有意义且唯一的名称。注：要求指的是为XMS的主机名
DNS配置设置（可选）如果你打算将XMS连接至ESRS、配置DNS是强制性的
提供XMS的IP地址、网络前缀和默认网关IP地址。
等待脚本验证配置更改并批准它。
2.5安装XtremIO软件
使用SSH工具登录XMS管理IP地址。
注：虚拟XMS不要使用虚拟控制台，物理XMS也可以使用TECH端口执行此步骤。
使用xinstall用户凭据，在“Install Menu（安装菜单）”中，键入13编号，“Installation Package Pre-loaded on Storage Controller Menu（存储控制器上预加载的安装包菜单）”
在“Installation Package Pre-loaded on Storage Controller Sub-Menu（存储控制器上预装的安装包子菜单）”中输入1编号，“Display Installation package on Storage Controller（显示存储控制器上的安装包）”选项的编号。
输入需要安装软件包的存储控制器的IP地址。确认列出的预加载安装包就是要安装的安装包。
在“Installation Package Pre-loaded on Storage Controller Sub-Menu（存储控制器上预装的安装包子菜单）”中输入3编号，“Exit Installation Package Pre-loaded on Storage Controller Sub-Menu（退出存储控制器子菜单中预加载的安装包）”
从Install菜单中，输入4编号，“Install XMS only（仅安装XMS）”。
输入2编号，“Installation using package preloaded on a Storage Controller（使用预先加载在存储控制器上的包进行安装）”，用于在存储控制器上安装预加载的安装包。
输入存储控制器的IP地址，存储控制器中包含了预加载的安装包。等待安装成功完成。
从XMS安装的输出中，记下在形成集群时要使用的列出的预加载包名称(格式为upgrade-to-<versions>.tar)。
2.6检查集群设置
通过TECH端口，使用xinstall用户连接控制器。
选择3编号，“Check cluster setup（检查集群设置）”
选择4编号，“Check DAE controllers connectivity(检查DAE控制器连接)”,然检2.查IB交换机连接(如果有)，3.检查专用IPMI连接，4.电源连接
验证完毕选择“Exit sub-menu”和“Exit”
三、初始化过程
使用xmsadmin用户登录XMS，再次输入tech用户名和密码，执行以下命令验证XMS版本:show-xms
运行create-cluster命令，该命令的参数取决于您是要创建具有两个iSCSI端口和两个FC端口的集群，还是要创建具有四个iSCSI端口的集群，在这种情况下使用set-four-iscsi-ports参数。
创建具有两个iSCSI端口和两个FC端口的集群：
create-cluster expected-number-of-bricks=<i> sc-mgr-host="<j>" cluster-name="<k>" package="<l>"
创建具有4个iSCSI端口的集群：
create-cluster expected-number-of-bricks=<i> sc-mgr-host="<j>" cluster-name="<k>" package="<l>" set-four-iscsi-ports
<i>=X-Brick的数量
<j>=其中一个存储控制器的管理IP地址
<K>=集群名称
<l>=升级包名称
如果使用预加载的包安装XMS，则使用在XMS安装过程中记录的包名(该名称应包含在show-sw-images命令输出中，如下所示：
注意:加密的集群默认设置。如果需要禁用集群加密功能，请在执行create-cluster命令时使用disable-encryption标志。
创建集群输出示例
验证为每个X-Brick发现的ssd数量是否符合预期，然后输入yes继续。注意:校验SSD盘个数有20分钟的时间限制。
验证每个列出的存储控制器的LED都是打开的，然后输入yes。注意:如果发现问题，请输入no并调整布线。注意:每个存储控制器的验证时间限制为20分钟。
当出现以下确认信息时，进行下一步操作:
Cluster <cluster-name> [<cluster index in XMS>] Created
注意:如果设置管理XMS的SSH密钥失败，则会显示如下提示: Failed to update SSH keys on clusters:<cluster-name>在这种情况下，确保所有集群都可用，然后运行命令:refresh-xms-ssh-key
四、初始化收尾
4.1验证集群初始化
从DellEMC官网下载健康检查脚本，在XMS上运行以下命令验证集群状态
run-script script="system_health-v200.1.X-s4.0.0.py" arguments="--cluster-id 1"
4.2禁用ssh访问（可选）
登录XMS的Essy-Install模式，选择11编号“Disable Remote Shell（禁用远程访问）”
4.3加密配置
某些国家地区禁用加密的情况，可在初始化完成后禁用加密。
开启加密
1.使用tech用户登录XMS，输入命令show-cluster-info，验证Encryption-Supported是True，Encryption-Mode是Disabled。
2.暂停集群：stop-cluster cluster-id=<cluster ID>
3.使用命令show-clusters查看集群状态为stopped。
4.使用如下命令加密集群: 5. 使用如下命令加密集群:
modify-clusters-configuration cluster-id=<cluster ID> encryption-command=switch-mode encryption-mode=self
5.输入命令show-cluster-info，验证Encryption-Moode-Stateode是none，Encryption-Mode是selt。
6.开启集群：start-cluster cluster-id=<cluster ID>
关闭加密
关闭集群后输入命令modify-clusters-configuration cluster-id=<cluster ID> encryption-command=switch-mode encryption-mode=disabled，再打开集群。
更换加密PIN
关闭集群后输入命令modify-clusters-configuration cluster-id=<cluster ID> encryption-command=re-encrypt encryption-mode=self，再打开集群。
4.4配置DNS和NTP
配置DNS命令：modify-dns-servers primary="<server IP address>" secondary="<server IP address>"
show-dns-servers命令查看DNS
配置NTP命令modify-datetime ntp-servers=["<server 1 IP address>","<server 2 IP address>"...]
修改时区命令modify-datetime timezone=<time zone>
使用show-timezones命令查看可用的时区列表
执行show-datetime命令并检查NTP配置是否正确输出与配置一致
4.5收集日志
在admin用户下使用命令xmcli (admin)> create-debug-info debug-info-name="Initial-Setup"
复制http://xxxxxxxxxx到浏览器下载日志
五、升级
准备文件
升级包：upgrade-to-4.0.27-1_XIOS_6.2.1-36_XMS.tar
健康检查脚本：system_health-v200.0.18-s4.0.0.py.gpg
PS：升级包可从support.emc.com下载到，健康检查脚本需从ftp.emc.com中下载，目录为：/pub/rcm/xtremio/scripts/systemhealth/203.4.0。下载后使用md5工具验证md5是否正确，我之前下载的有问题，导致运行脚本XMS卡死。
5.1上载文件
1.使用WinSCP通过“ xmsupload”登录名连接到XMS IP地址，并浏览到“ /var/lib/xms/images”目录并将XMS软件文件拖到该目录（“ upgrade-to-4.0.27-1_XIOS_6.2.1-36_XMS.tar”）。
2.使用WinSCP将XtremIO系统运行状况检查脚本（在此示例中为“ system_health-v200.0.18-s4.0.0.py.gpg”）复制到“ /var/lib/xms/images/scripts”目录。
5.2健康检查
1.打开SSH工具ssh到XMS IP地址，然后使用“ xmsadmin”登录，然后使用用户名“ tech”登陆，PS：登陆密码如附件1
2.使用命令“ show-sw-images”列出可用的升级软件包。
3.使用命令“ show-clusters”获取集群的当前状态。它们应该已连接。
4.使用命令“ show-storage-controllers”来获取存储控制器的当前状态。他们应该健康并且保持连接。
5.使用命令“ show-storage-controllers-info”来获取存储控制器的详细状态。
6.使用命令“run-script script =” <脚本名称>””执行XtremIO系统运行状况检查脚本。所有测试均应通过。注：此处有问题如下：
运行健康检查脚本，出现5个error，并给出kb分别为：205045、524106、483391、525172、531785
解释：
205045：系统版本过低，可忽略。
524106：挂载主机操作系统已设置为“其他”，可忽略。
483391：连接ESXi主机需更改为adp模式，使用命令“xmcli (admin)> modify-clusters-parameters esx-device-connectivity-mode=apd”
525172：如果存储控制器的IPMI LAN 1接口处于活动状态并设置为通过DHCP获取IP地址，则客户启动的网络扫描可能会导致BMC卡死。此错误的配置源自XtremIO代码错误，运行脚本“disable_ipmi_dhcp-v1.0-s4.0.0.py.gpg”修改地址为静态，并设置地址为0.0.0.0。
531785：XtremIO运行状况检查脚本已在XMS数据库上检测到较大的Storage Controller历史记录表大小，使用脚本“trunc_sc_history-v1.0-s4.0.0.py.gpg”清楚历史记录。
7.运行命令“test-cluster-upgradability package=” <程序包名称>”” 测试:不正确的固件版本、主机多路径(缺少路径)、非活动XtremIO IO模块(xEnvs)、XMS上的空闲空间、其他各种已知问题
5.3升级XMS和X-Brick
1.使用命令“ upgrade-xms package =” <程序包名称>””来升级XMS（大约20分钟）。
2.使用命令“ upgrade-cluster package =” <package name>” cluster-psnt=“<sn>””来升级X-Brick（每个X-Brick大约40分钟）。
注:cluster-psnt=“<sn>”,此值可使用show-clusters-info查看。
5.4升级后健康检查
再次执行前面的show命令及健康检查脚本，并确认升级成功并且所有组件都正常且已连接。
六、开关机操作
注意：不按正常步骤进行存储开关机会引起数据丢失
6.1计划内关机步骤
存储关机前检查
存储关机前请务必确认：
当前需要关闭存储的Cluster名称是正确的，以免关错存储，以及该存储上没有任何活动IO。
1. SSH登陆XMS运行以下命令：
show-clusters
输出举例：
xmcli (admin)> show-clusters
Cluster-Name Index State Conn-State Num-of-Vols Vol-Size UD-SSD-Space Logical-Space-In-Use UD-SSD-Space-In-Use Total-Writes Total-Reads Stop-Reason Size-and-Capacity
SBTJT-XIO 1 active connected 1 1.465T 3.262T 970.674G 386.629G 2.559T 1.189T none 1X10TB
需确认：
· Cluster-Name 参数显示是正确的Cluster名称. SBTJT-XIO
· State 参数显示为 active.
· Conn-State 参数显示为 connected.
如果Cluster状态不是 active或者 connected，请联系EMC售后技术支持8008190009 / 4006700009
序列号: CKM00151600221
2. 确认主机上没有任何IO请求，应用数据库已经下线以及文件系统已经Unmount
SSH登陆XMS运行以下命令：
show-clusters-performance
输出举例：
xmcli (admin)> show-clusters-performance
Cluster-Name Index Write-BW(MB/s) Write-IOPS Read-BW(MB/s) Read-IOPS BW(MB/s) IOPS Total-Write-IOs Total-Read-IOs
SBTJT-XIO 1 0.373 37 0.003 0 0.376 37 14531758 21422736
需确认：
· IOPS显示为0
SSH登陆XMS运行以下命令：
show-targets-performance
输出举例：
需确认：
· IOPS显示为0
3. 关闭存储服务
检查Cluster的状态，如果不是stopped或者active，请联系EMC售后技术支持，降低数据丢失的风险。
SSH登陆XMS执行以下命令：
stop-cluster-unorderly
选择YES
执行完成输出显示：
SSH登陆XMS运行以下命令：
show-clusters
确认cluster状态为stopped (unorderly)
4. 关闭存储硬件
· 检查cluster服务已经关闭
· 关闭PDU开关（需确认没有其他设备连接在这PDU上）
· 关闭BBU开关
· 关闭XMS开关
硬件XMS
如果关闭虚拟XMS需执行以下命令：
shutdown-xms shutdown-type=machine
6.2紧急关机步骤（计划外）
1. 紧急情况按步骤拔出相应的电源连线
该步骤只适用于用XMS无法正常关闭cluster的情况。
· 拔出第一个X-Brick上DAE（磁盘柜）的电源线（红色端口）
· 必须等待5分钟，让Cluster保护磁盘上易失性数据。（否则会引起数据丢失）
· 关闭机柜PDU开关（需确认没有其他设备连接在这PDU上）
· 关闭XMS开关
硬件XMS
如果关闭虚拟XMS需执行以下命令：
shutdown-xms shutdown-type=machine
6.3开机步骤
1. 磁盘柜加电
如果之前是紧急关机状态，则需要先将两根电源线插入第一个X-brick相应端口的DAE并开启机柜PDU电源开关。
2. 开启XMS
硬件XMS：按下电源开关
虚拟XMS：vsphere client选取相应的XMS 主机，右键点击Power On
3. 开启BBU
按下前面板右上开关
4. 开启Storage Controller
· 命令开启
SSH登陆XMS执行以下命令：
show-storage-controllers
如果每个SC的Conn-state 和 IPMI-state 都不是connected，执行以下命令，直到状态都显示为connected：
power-on sc-id="<Storage Controller name or index>"
· 物理方式开启
如果命令开启SC失败，则手动按下SC右上角的开关
5. 启动Cluster
· 确认以下设备都已经加电并开启
硬件XMS
BBU电池（并且已经充电70%以上）
Storage Controller存储控制器
DAEs 磁盘柜
InfiniBand 交换机（2个X-Brick以上才有）
· 执行命令启动Cluster
start-cluster
· 检查Cluster状态，确认State是active，Conn-State是connected
show-clusters
如果状态不正常，请联系EMC售后技术支持
