华为OceanStor Pacific存储配置手册(一)

2023-04-09 17:37 作者:墨小胎 0人读过 | 我要投稿

一、初始化

1.1技术说明

1.1.1硬件拓扑

文件服务（DPC场景）\块服务

文件/对象/大数据服务（标准协议场景）

DPC和标准协议混合使用场景

1.1.2软件拓扑

文件/对象/大数据服务

块服务：VBS部署在计算节点

块服务：VBS部署在存储节点

1.1.3地址规划

文件服务(DPC场景)

文件、对象、大数据服务(标准协议场景)

DPC和标准协议混合使用场景

块服务

1.1.4安装流程

1.1.5软件介绍

安装文件/对象/大数据服务（标准协议场景）：

安装文件服务（DPC场景）：

安装文件服务（标准协议和DPC混合使用场景）：

和安装文件服务（DPC场景）一致。

安装块服务：

1.2安装过程（LLD）

1.2.1准备LLD文件

访问http://support.eservice.huawei.com，输入华为账户密码，点击“交付维护”>“交付”>“LLDesigner”按钮

点击“创建LLD”

点击“分布式存储”>“自定义设备创建”按钮

选择产品版本，输入项目名称，点击“确定”

输入集群名称，DeviceManager管理IP，选择其他信息

输入BMC、管理、存储平面地址信息，点击“确定”按钮

查看拓扑，点击“导出LLD”按钮

点击“确定”按钮

下载以项目名称为为的zip压缩文件

1.2.2使用SmartKit初始化节点

安装PC必须与节点iBMC默认地址互通

打开SmartKit软件，点击“功能管理”按钮

勾选“存储”>“分布式存储”>“分布式部署助手”，点击“安装”按钮

点击“身份认证”按钮

输入华为账号

认证完成后，点击“分布式部署助手”后的安装按钮

安装完成后点击“返回首页”

点击“开局交付”下的“更多”按钮

点击“分布式部署助手”按钮

打开分布式部署助手页面，点击“分布式部署助手”按钮

单击“选择”导入LLDesigner工具规划的部署文件模板，通过下拉框选择需要部署的版本，单击“确定”。

导入完成后，在“全量部署”界面中勾选需要部署的节点，单击“执行部署”按钮

1.2.3安装Pacific软件

解压“OceanStor-Pacific_8.1.3_DeviceManagerClient.zip”，然后在解压目录下双击“run.bat”，浏览器将自动打开DeviceManager Client，点击“LLD配置”，选择LLD模板文件和基础服务包OceanStor-Pacific_8.1.3.tar.gz，点击“上传”按钮，上传完成后，点击“部署”按钮

开始安装

系统将自动开始部署集群，部署完成后，请在一个节点ping其他节点的管理IP/存储IP/控制IP，确认节点之间的网络通信正常。

1.3安装过程（向导）

1.3.1 9950配置管理IP地址

使用PuTTY工具登录NIC1和NIC2网口的默认IP:192.168.2.1\192.168.2.2，用户名密码：Administrator\Admin@9000。首次登录需要修改默认密码。执行以下命令修改默认NIC网口的IP，两个NIC网口都需要修改：ipmcset -d ipaddr -v ipaddr mask gateway

1.3.2配置iBMC地址

默认IP地址说明

1） OceanStor Pacific 9340/OceanStor Pacific 9540/OceanStor Pacific 9520/OceanStor Pacific 9920的iBMC管理网口默认IP地址为：192.168.2.100

2）OceanStor Pacific 9950有8个节点其iBMC的默认IP为：192.168.2.101 到 192.168.2.108。OceanStor Pacific 9950的iBMC网口可任意选择其中一个Mgmt口连接

3）OceanStor Pacific 9550/OceanStor Pacific 9350有2个节点，对于iBMC的默认IP，Mgmt-0口对应的默认IP为192.168.2.101，Mgmt-1口对应的默认IP为192.168.2.102。OceanStor Pacific 9550/OceanStor Pacific 9350的iBMC网口需要分别连接Mgmt-0和Mgmt-1

4）OceanStor Pacific 9546(1机箱1节点)/OceanStor Pacific 9346(1机箱1节点)其Mgmt口对应的iBMC默认IP为192.168.2.102

5）OceanStor Pacific 9546(1机箱2节点)有2个节点，Mgmt-0口对应的iBMC的默认IP为192.168.2.101，Mgmt-1口对应的iBMC的默认IP为192.168.2.102。OceanStor Pacific 9546(1机箱2节点)的iBMC网口需要分别连接Mgmt-0和Mgmt-1

使用默认用户密码Administrator\Admin@9000登录iBMC管理界面，

进入“iBMC管理”>“网络配置”>“网络协议”，选择“手动配置”修改iBMC IP地址

1.3.3检查软件固件版本

在浏览器中输入修改后的iBMC IP地址，登录节点的iBMC系统，检查是否满足《OceanStor Pacific系列8.1.3版本配套表》的要求。

1.3.3.1检查固件版本

适用所有机型

分别检查节点“iBMC固件版本”、“CPLD版本”和“BIOS版本”

1.3.3.2检查操作系统版本

适用所有机型

打开虚拟KVM界面，输入用户名“root”，登录存储节点操作系统，首次登录需要修改默认密码。运行以下命令检查操作系统版本：cat /proc/version

1.3.3.3检查系统盘缓存策略

适用于OceanStor Pacific 9540 Kunpeng-EXP/OceanStor Pacific 9520 Kunpeng-EXP/OceanStor Pacific 9340 Kunpeng-EXP/OceanStor Pacific 9540 x86/OceanStor Pacific 9520 x86/OceanStor Pacific 9520 DP2200/OceanStor Pacific 9540 DP4200/OceanStor Pacific 9920 DP2200机型

1.选择“系统管理”>“存储管理”，选中RAID Card或PCIe Card，在右侧的详细信息界面查看“类型”信息

如果类型为LSI SAS 3008，跳过以下操作。如果类型不为LSI SAS 3008，继续执行下一步

注：对于LSI SAS 3008卡，系统已经默认关闭系统盘缓存策略，无需执行以下操作。

2.选择需要修改的系统盘，单击“设置”，将“物理盘缓存策略”设置为“Disabled”

1.3.3.4检查JBOD功能

1.选择“系统管理”>“存储管理”，选中RAID Card或PCIe Card，在右侧的详细信息界面查看“类型”信息，当节点上配置的RAID卡是3908型号时，需要检查并启用JBOD功能。

2.单击“设置”，将“JBOD模式”设置成“启用”。

1.3.3.5检查BIOS设置

适用于OceanStor Pacific 9950/OceanStor Pacific 9550/OceanStor Pacific 9546/OceanStor Pacific 9350/OceanStor Pacific 9346机型

择“iBMC管理”>“配置更新”>“配置导出”，单击“导出”按钮，在导出的配置文件中查询以下内容。

“BbuBackForCpuOff”的值是否为“Enable”。

“OneNumaEnable”的值是否为“Enable”。

OceanStor Pacific 9950的“BbuNvSize”的值是否为32G。

OceanStor Pacific 9550的“BbuNvSize”的值是否为16G。

OceanStor Pacific 9546的“BbuNvSize”的值是否为16G。

OceanStor Pacific 9350的“BbuNvSize”的值是否为16G。

OceanStor Pacific 9346的“BbuNvSize”的值是否为16G。

适用于OceanStor Pacific 9540 Kunpeng-直通/OceanStor Pacific 9520 Kunpeng-直通/OceanStor Pacific 9920 Kunpeng-直通/OceanStor Pacific 9340 Kunpeng-直通/OceanStor Pacific 9540 Kunpeng-EXP/OceanStor Pacific 9520 Kunpeng-EXP/OceanStor Pacific 9340 Kunpeng-EXP机型

“EnableSMMU”（对应BIOS中的属性显示名为SupportSmmu）的值是否为“Disabled”。

“DieInterleaving”的值是否为“Enabled”。

“NUMAEn”（对应BIOS中的属性显示名为NUMA）的值是否为“Enabled”。

“OneNumaEnable”（对应BIOS中的属性显示名为OneNumaPerSocket）的值是否为“Enabled”。

“ColdBootFastSupport”的值是否为“Disabled”。

“BbuNvSize”的值是否为“16G”。

须知：

请确保配置文件中的“NUMAEn”和“OneNumaEnable”的值与上述值一致，请勿更改为其他值。

若设备为32核CPU机型，则无需检查“OneNumaEnable”参数。CPU核心数查看方法：登录iBMC系统>系统管理>系统信息>处理器>核数/线程数。

对于BIOS的“SecureBoot”选项，默认出厂配置为“Disable”的状态，为了避免出现安装问题，建议安装前检查配置为“Disable”的状态。检查方式：

登录iBMC系统，选择“维护诊断 > 系统日志”，下载“systemcom.tar”文件后查看文件内容，搜索“SecureBoot CurrentValue”，检查“SecureBoot CurrentValue”值是否为“0”。

适用于OceanStor Pacific 9540 x86/OceanStor Pacific 9520 x86/OceanStor Pacific 9520 DP2200/OceanStor Pacific 9540 DP4200/OceanStor Pacific 9920 DP2200机型

NUMAEn”的值是否为“Disabled”。

1.3.3.6检查设备固件驱动版本

适用所有型号

1.在虚拟控制台，以用户密码root/Huawei@123登录节点，为存储节点配置临时管理IP。

ifconfig enp125s0f4 192.168.40.15/24 up

route add default gw 192.168.40.1

2.使用PuTTY工具以用户密码fsadmin/IaaS@OS-CLOUD9!登录存储节点，执行以下命令切换为root用户：su -root。

3.检查网卡、硬盘、RAID卡、SAS、NVMe、背板Expander固件。

检查和升级方法参考《OceanStor Pacific系列 8.1.3 固件安装升级指导书》

1.3.3.7检查硬盘背板的兼容性

适用除OceanStor Pacific 9950/OceanStor Pacific 9550/OceanStor Pacific 9546/OceanStor Pacific 9350/OceanStor Pacific 9346以外的所有型号

1.查询硬盘模块型号。

使用用户密码fsadmin/IaaS@OS-CLOUD9!登录目标节点，换到root帐户执行命令查询硬盘模块的型号：lsscsi -g

当回显中disk所在行的MODE为HUS726T6TALE600或WUS721010ALE6L4时，执行下一步，否则无兼容性问题。

2.查询硬盘背板型号

选择“系统管理”>“系统信息”>“其他”>“硬盘背板”，查询硬盘背板的“单板ID”

当单板ID是“0x0083”时，请联系华为技术工程师。当单板ID是“0x0073”时，执行下一步，否则无兼容性问题。

3.使用root帐户，执行命令lsscsi -g查询硬盘背板的固件版本。

当回显中enclosu所在行的版本为331时，无兼容性问题。否则请联系华为技术工程师。

1.3.3.8直通机型和EXP机型判断方法

选择“系统管理”>“存储管理”，查看是否含有RAID卡，若含有RAID卡则为EXP机型，否则为直通机型。

1.3.4配置节点管理网络

1.3.4.1配置单物理端口

确认网卡对应的网口名称，可选择“系统管理”>“系统信息”>“网络适配器”，选择对应的网卡，查看网口名。

使用putty工具fsadmin用户登录节点，切换至root用户，编辑网卡配置文件

vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

BOOTPROTO=static

ONBOOT=yes

STARTMODE=onboot

IPADDR=IPv4 address

NETMASK=subnet mask

DEFROUTE=yes

NETWORKING=yes

GATEWAY=管理网络网关

修改网口配置文件权限

chmod 644 /etc/sysconfig/network-scripts/ifcfg-网口名称

chown -h root:root /etc/sysconfig/network-scripts/ifcfg-网口名称

重启网络服务

service network restart

如添加VLAN信息，则配置如下

vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0BOOTPROTO=noneONBOOT=yesSTARTMODE=onbootDEFROUTE=yesNM_CONTROLLED=novi /etc/sysconfig/network-scripts/ifcfg-v.XXXIPADDR=IPv4 addressNETMASK=subnet maskDEFROUTE=yesBOOTPROTO=staticPHYSDEV=eth0ONBOOT=yesUSERCTL=noVLAN=yesVID=XXX /*VID为指定VLAN ID，需要和交换机配置的VLAN ID保持一致。*/NM_CONTROLLED=noNETWORKING=yesGATEWAY=管理网络网关chmod 644 /etc/sysconfig/network-scripts/ifcfg-网口名称chown -h root:root /etc/sysconfig/network-scripts/ifcfg-网口名称service network restart

1.3.4.2配置网卡绑定端口

确认网卡对应的网口名称，可选择“系统管理”>“系统信息”>“网络适配器”，选择对应的网卡，查看网口名。

使用putty工具fsadmin用户登录节点，切换至root用户，编辑网卡配置文件

vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0BOOTPROTO=noneONBOOT=yesMASTER=bondEthSLAVE=yesUSERCTL=noNM_CONTROLLED=novi /etc/sysconfig/network-scripts/ifcfg-eth1DEVICE=eth1BOOTPROTO=noneONBOOT=yesMASTER=bondEthSLAVE=yesUSERCTL=noNM_CONTROLLED=novi /etc/sysconfig/network-scripts/ifcfg-bondEthDEVICE=bondEthIPADDR=IPv4 addressNETMASK=subnet maskDEFROUTE=yesONBOOT=yesBOOTPROTO=staticUSERCTL=noTYPE=BondingMTU=1500NM_CONTROLLED=noBONDING_OPTS='mode=1 miimon=100'NETWORKING=yesGATEWAY=管理网络网关chmod 644 /etc/sysconfig/network-scripts/ifcfg-网口名称chown -h root:root /etc/sysconfig/network-scripts/ifcfg-网口名称service network restart

如添加VLAN信息，则配置如下

vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0BOOTPROTO=noneONBOOT=yesMASTER=bondEthSLAVE=yesUSERCTL=noNM_CONTROLLED=novi /etc/sysconfig/network-scripts/ifcfg-eth1DEVICE=eth1BOOTPROTO=noneONBOOT=yesMASTER=bondEthSLAVE=yesUSERCTL=noNM_CONTROLLED=novi /etc/sysconfig/network-scripts/ifcfg-bondEthDEVICE=bondEthONBOOT=yesBOOTPROTO=noneUSERCTL=noTYPE=BondingMTU=1500NM_CONTROLLED=noBONDING_OPTS='mode=1 miimon=100'vi /etc/sysconfig/network-scripts/ifcfg-v.XXXDEVICE=v.XXXIPADDR=IPv4 addressNETMASK=subnet maskDEFROUTE=yesBOOTPROTO=staticPHYSDEV=bondEth /*与设置的绑定端口的名称保持一致。*/ONBOOT=yesUSERCTL=noVLAN=yesVID=XXX /*VID为管理交换机上指定的VLAN ID。*/NM_CONTROLLED=noNETWORKING=yesGATEWAY=管理网络网关chmod 644 /etc/sysconfig/network-scripts/ifcfg-网口名称chown -h root:root /etc/sysconfig/network-scripts/ifcfg-网口名称service network restart

1.3.5安装Pacific软件

解压“OceanStor-Pacific_8.1.3_DeviceManagerClient.zip”，然后在解压目录下双击“run.bat”，浏览器将自动打开DeviceManager Client，点击“向导式配置”

1.3.5.1安装管理节点

单击“增加管理节点”，弹出“增加管理节点”对话框

单击“配置管理节点”，弹出“配置管理节点”对话框，输入管理信息

业务模式选择“通用”适用于OceanStor Pacific 9950/OceanStor Pacific 9550/OceanStor Pacific 9546/OceanStor Pacific 9540/OceanStor Pacific 9520/OceanStor Pacific 9920机型

业务模式选择“智能视图”适用于OceanStor Pacific 9350/OceanStor Pacific 9346/OceanStor Pacific 9340机型

需要配置管理网络隔离时点击“管理网络隔离”进行管理网络隔离配置

安装模式选择“预安装”的场景，已经完成基础服务包的安装，单击“安装”，开始安装管理节点。

安装模式选择“常规安装”的场景，需要先上传基础服务包OceanStor-Pacific_8.1.3.tar.gz，再开始安装管理节点。

单击“安装”，开始安装管理节点。待安装成功后，单击“下一步”，按照页面提示忽略安全警示信息。

1.3.5.2增加存储节点

单击“手动增加节点”，弹出“增加节点”对话框，

生产预安装操作系统时：使用fsadmin用户进行鉴权

输入存储节点信息，单击“确定”

1.3.5.3配置存储网络

选择“前后端共享网络”，“仅使用已配置IP”选择“否”

传输协议TCP、绑定模式bond4、输入存储IP地址段\掩码、创建端口

1.3.5.4安装存储节点

单击“安装”，开始安装存储节点。

1.3.5.5创建控制集群

输入控制集群信息，名称、元数据存储方式（物理硬盘\系统盘分区）、可选节点

元数据存储方式说明：

OceanStor Pacific 9950/OceanStor Pacific 9550/OceanStor Pacific 9546/OceanStor Pacific 9350/OceanStor Pacific 9346型号，元数据存储方式仅支持选择“系统盘分区”

当选择“物理硬盘”时OceanStor Pacific 9540 Kunpeng/OceanStor Pacific 9340 Kunpeng/OceanStor Pacific 9520 Kunpeng 12盘位节点/OceanStor Pacific 9920 Kunpeng SAS SSD 12盘位节点这几种机型选择使用M.2 SSD硬盘。OceanStor Pacific 9540 x86/OceanStor Pacific 9520 x86 12盘位节点选择使用NVMe SSD硬盘。