配置集群资源
- 登录iBMC,选择“Configuration > local User”,给Administrator用户添加“IPMI”登录接口权限。
- 在主节点执行以下命令配置双机资源基本参数。
[root@hw00001 ~]# pcs property set no-quorum-policy="stop" [root@hw00001 ~]# pcs resource defaults default-resource-stickness=1000 [root@hw00001 ~]# pcs resource defaults default-migration-threshold=5000 [root@hw00001 ~]# pcs resource op defaults timeout=600s
- 在主节点执行以下命令配置stonith资源实例,当发生脑裂时,通过IPMI重启对端服务器,(\>是连接符,若要复制该文本请去掉该符号后执行)。
[root@hw00001 ~]# pcs stonith create st_ipmi_hw00001 fence_ipmilan \ > ipaddr=192.126.126.13 \ > lanplus=on \ > login="Administrator" \ > passwd="Admin@9000" \ > pcmk_host_list="hw00001" [root@hw00001 ~]# pcs stonith create st_ipmi_hw00002 fence_ipmilan \ > ipaddr=192.126.126.14 \ > lanplus=on \ > login="Administrator" \ > passwd="Admin@9000" \ > pcmk_host_list="hw00002"
表11-1 参数说明参数
说明
st_ipmi_hw00001
表示stonith资源的名称,请根据实际主机名进行修改。
fence_ipmilan
表示使用的接口类型为“ipmilan”。
ipaddr
表示本节点的iBMC IP地址。本例中为节点hw00001的iBMC IP地址192.126.126.13。
login
表示登录iBMC的用户名。本例中为“Administrator”。
passwd
表示登录iBMC的密码。本例中为“Admin@9000”。
pcmk_host_list
表示本stonith资源对应的主机名。本例中资源“st_ipmi_hw00001”对应的主机名为hw00001。
- 在主节点执行以下命令配置stonith资源约束,资源“st_ipmi_hw00001”不在节点hw00001上运行,同理“st_ipmi_hw00002”不在节点hw00002上运行。
[root@hw00001 ~]# pcs constraint location st_ipmi_hw00001 avoids hw00001 [root@hw00001 ~]# pcs constraint location st_ipmi_hw00002 avoids hw00002
- 在主节点执行命令pcs status查询stonith资源是否配置成功。
[root@hw00001 ~]# pcs status Cluster name: hacluster WARNING: corosync and pacemaker node names do not match (IPs used in setup?) Last updated: Fri Oct 13 18:12:00 2017Last change: Fri Oct 13 18:11:35 2017 by root via cibadmin on hw00001 Stack: corosync Current DC: hw00001 (version 1.1.13-10.el7_2.4-44eb2dd) - partition with quorum 2 nodes and 2 resources configured Online: [ hw00001 hw00002 ] Full list of resources: st_ipmi_hw00001(stonith:fence_ipmilan):Started hw00002 st_ipmi_hw00002(stonith:fence_ipmilan):Started hw00001 PCSD Status: hw00001: Online hw00002: Online Daemon Status: corosync: active/enabled pacemaker: active/enabled pcsd: active/enabled [root@hw00001 ~]#
- 分别在主备节点检查集群iBMC IPMI链路连接是否正常。
在集群主、备节点分别执行命令ipmitool -I lanplus -H 192.168.1.232 -U Administrator -P Huawei12#$ chassis power status查看对端节点的电源状态,如果输出“Chassis Power is on”说明IPMI链路连接正常。
主节点:
[root@hw00001 ~]# ipmitool -I lanplus -H 192.126.126.14 -U Administrator -P Huawei12#$ chassis power status Get Device ID command failed: 0xc1 Invalid command Chassis Power is on
备节点:
[root@hw00002 ~]# ipmitool -I lanplus -H 192.126.126.13 -U Administrator -P Huawei12#$ chassis power status Get Device ID command failed: 0xc1 Invalid command Chassis Power is on [root@hw00002 ~]#
表11-2 参数说明参数
说明
-H 192.168.1.232
表示对端节点的iBMC IP地址。请使用实际IP地址替换。
-U Administrator
表示登录对端节点iBMC的用户名。
-P Huawei12#$
表示登录对端节点iBMC的密码。请使用实际密码替换。
- 在主节点执行命令pcs resource create vip_S00_00 ocf:heartbeat:IPaddr2 \配置虚拟IP,要求虚拟IP地址与业务IP在同一网段。具体命令如下,其中ip为规划的虚拟IP地址。
[root@hw00001 ~]# pcs resource create vip_S00_00 ocf:heartbeat:IPaddr2 ip="126.126.126.223" cidr_netmask=24 nic=bond_vip op monitor interval=10s timeout=20s [root@hw00001 ~]#
表11-3 参数说明参数
说明
vip _<SID>_< InstNo >
表示虚拟IP的名称,其中“SID”请根据实际情况修改,本例中为“S00”。InstNo为InstanceNumber,本例为00。
- 在主节点执行命令pcs resource create SAPHanaTopology_S00_00 SAPHanaTopology \创建克隆资源。
[root@hw00001]# pcs resource create SAPHanaTopology_S00_00 SAPHanaTopology SID=S00 InstanceNumber=00 --clone clone-max=2 clone-node-max=1 interleave=true
表11-4 参数说明参数
说明
SAPHanaTopology_<SID>_<InstNo>
表示克隆资源的名称,其中“SID”请根据实际情况修改,本例中为“S00”。InstNo为InstanceNumber,本例为00。
InstanceNumber=00
表示数据库的实例号,本例中为“00”。
- 在主节点执行命令pcs resource create SAPHana_S00_00 SAPHana \创建Saphana Master&Slave资源。
[root@hw00001 ~]# pcs resource create SAPHana_S00_00 SAPHana SID=S00 InstanceNumber=00 PREFER_SITE_TAKEOVER=true DUPLICATE_PRIMARY_TIMEOUT=7200 AUTOMATED_REGISTER=false master notify=true clone-max=2 clone-node-max=1 interleave=true [root@hw00001 ~]#
表11-5 参数说明参数
说明
SAPHana_<SID>_<InstNo>
表示SAP HANA资源的名称,其中“SID”请根据实际情况修改,本例中为“S00”。InstNo为InstanceNumber,本例为00。
PREFER_SITE_TAKEOVER
表示自动takeover功能,本例设置为打开。
DUPLICATE_PRIMARY_TIMEOUT
表示SR主备切换超时时间。
AUTOMATED_REGISTER
表示自动注册功能,本例设置为关闭。
- 在主节点执行以下命令配置资源约束及资源先后顺序。
“SAPHanaTopology_S00_00”、“SAPHana_S00_00”、“vip_S00_00”是本例配置的资源名称,请根据实际修改。
[root@hw00001 ~]# pcs constraint order SAPHanaTopology_S00_00-clone then SAPHana_S00_00-master symmetrical=false [root@hw00001 ~]# pcs constraint colocation add vip_S00_00 with master SAPHana_S00_00-master 2000
- 在主节点执行pcs resource create r_ping ocf:pacemaker:ping dampen=5s multiplier=1000 name=pingdtest host_list=126.126.126.254 --clone命令增加上行网络监控的ping资源,其中host_list的值是上行业务网络的网关IP地址(必须是实际存在,且主备节点上可以ping通的IP地址),请根据实际情况修改。
[root@hw00001 ~]# pcs resource create r_ping ocf:pacemaker:ping dampen=5s multiplier=1000 name=pingdtest host_list=126.126.126.254 --clone
- 在主节点执行pcs constraint location vip_S00_00 rule score=-INFINITY pingdtest lt 1 or not_defined pingdtest命令配置资源约束,当上行业务口故障时,虚拟IP不在该节点运行。“vip_S00_00”是本例中虚拟IP的名称,请根据实际修改这些参数。
[root@hw00001 ~]# pcs constraint location vip_S00_00 rule score=-INFINITY pingdtest lt 1 or not_defined pingdtest
- 在主节点执行命令pcs resource cleanup获取最新的资源状态。
[root@hw00001 ~]# pcs resource cleanup
- 在主节点执行命令pcs status查询主备双机状态。
执行完pcs resource cleanup后,需要等待5分钟左右才能获取资源最新状态,获取到资源最新状态后再查询主备双机状态。
[root@hw00001 yum.repos.d]# pcs status Cluster name: hacluster WARNINGS: Corosync and pacemaker node names do not match (IPs used in setup?) Stack: corosync Current DC: hw00002 (version 1.1.19-8.el7-c3c624ea3d) - partition with quorum Last updated: Tue May 21 20:26:31 2019 Last change: Tue May 21 20:25:42 2019 by root via crm_attribute on hw00001 2 nodes configured 9 resources configured Online: [ hw00001 hw00002 ] Full list of resources: st_ipmi_hw00001 (stonith:fence_ipmilan): Started hw00002 st_ipmi_hw00002 (stonith:fence_ipmilan): Started hw00001 Clone Set: SAPHanaTopology_S00_00-clone [SAPHanaTopology_S00_00] Started: [ hw00001 hw00002 ] Master/Slave Set: SAPHana_S00_00-master [SAPHana_S00_00] Masters: [ hw00001 ] Slaves: [ hw00002 ] Clone Set: r_ping-clone [r_ping] Started: [ hw00001 hw00002 ] vip_S00_00 (ocf::heartbeat:IPaddr2): Started hw00001 Daemon Status: corosync: active/enabled pacemaker: active/enabled pcsd: active/enabled