E9000刀片服务器重启后丢失外置SAN存储(FCoE融合组网)

发布时间:  2017-01-08 浏览次数:  256 下载次数:  0
问题描述
【组网】
1.现场组网图:
2.组网备注:CH242 V3 DDR4 刀片服务器配置一块MZ510(FCoE模式)扣卡。


【配置操作】
1.按《E9000 服务器 V100R001 开局指导书 13.pdf》中的"3.7.1 FCoE 融合组网应用场景(内置)"章节完成CX311的以太交换配置和MX510配置。
2.配置验证:
配置完成后,在以太交换板上看到端口10GE2/1/1上有FCoE会话(表示Slot 1刀片服务器的FCoE端口,通过CX311的以太交换模块,成功与MX510模块建立FCoE通道):
3.在OceanStor SNS2248光纤交换机和OceanStor 5800 V3存储系统完成初始化配置后,刀片服务器可正常发现和使用存储。

【附:以太交换板连接MX510端口的配置(根据开局指导书配置)】:
#
interface 10GE2/20/1
port link-type trunk
port trunk allow-pass vlan 1002
port-isolate enable group 1
stp disable
storm suppression broadcast block outbound
storm suppression unknown-unicast block outbound
lldp tlv-disable basic-tlv all
lldp tlv-disable dot1-tlv all
lldp tlv-disable dot3-tlv all
lldp tlv-enable dcbx
fcoe role vnp
dcb pfc enable mode manual
dcb ets enable DCBX
dcb compliance intel-oui
traffic-policy FCOE-p1 outbound
#

【附:以太交换板连接刀片服务器的端口配置(在开局指导书的配置上,根据客户的网络VLAN要求,增加了"pvid vlan 211"和"untagged vlan 211"的配置)】
#
interface 10GE2/1/1
port link-type hybrid
port hybrid pvid vlan 211
port hybrid tagged vlan 1002
port hybrid untagged vlan 211
stp disable
lldp tlv-enable dcbx
dcb pfc enable mode auto
dcb ets enable DCBX
dcb compliance intel-oui
#
处理过程
1..在端口10GE2/20/1至10GE2/20/8端口上放行vlan 211,在接口视图下执行命令“port trunk allow-pass vlan 211”。如:10GE2/20/1端口配置:
#
interface 10GE2/20/1
port link-type trunk
port trunk allow-pass vlan 211 1002
port-isolate enable group 1
stp disable
storm suppression broadcast block outbound
storm suppression unknown-unicast block outbound
lldp tlv-disable basic-tlv all
lldp tlv-disable dot1-tlv all
lldp tlv-disable dot3-tlv all
lldp tlv-enable dcbx
fcoe role vnp
dcb pfc enable mode manual
dcb ets enable DCBX
dcb compliance intel-oui
traffic-policy FCOE-p1 outbound
#

根因
1.FCoE通道建立原理。
刀片服务器上的FCoE端口与MX510模块建立FCoE通道的方式是:
    a.由刀片服务器FCoE端口负责发送建立FCoE通道的广播报文,
    b.MX510模块收到广播报文后,将根据在MX510模块上配置的VLAN ID(此处是vlan 1002)与刀片服务器建立FCoE通道。

2.根据开局指导书的配置后,刀片服务器FCoE端口通过pvid vlan(即vlan 1)广播报文和tagged vlan 1002数据通信vlan已与MX510模块建立FCoE通道。
  所以在配置端口的"pvid vlan 211"和"untagged vlan 211"的配置时,不影响刀片的FCoE通道的数据通信。

3.重启刀片,CX311以太交换连接刀片服务器的端口会shutdown然后up,此时FCoE通道中断需要重新建立通信。
  刀片服务器的FCoE端口在vlan 211发送广播报文,而MX510模块收不到广播报文所以无法建立FCoE通道,该刀片重启后刀片服务器无法扫描到存储。
解决方案
为了使MX510模块可以正常收到刀片服务器发送的建立FCoE通道的报文,需要在CX311以太交换与MX510模块连接的端口(即从10GE2/20/1至10GE2/20/8)上放行刀片服务器端口的pvid vlan

参考:E9000 服务器 V100R001 开局指导书  3.7.1.6章节的注意事项说明。


建议与总结
1.在工程实施完成后,增加“掉电测试”;以免上业务后,有重启操作时导致异常发生。

2.在开局指导书中增加注意项。
  以太交换连接刀片服务器的端口类型必须为trunk或hybrid(因为需要允许FCoE的vlan通过)。
  在普遍组网中,需要设置pvid vlan和untagged vlan,那么容易有重启丢失存储的这种情况发生。

END