组网推荐
HPC高性能计算场景下部署智能无损网络推荐以下组网:
组网1:单层组网
如图4-4所示,在PoD内部署单层组网,服务器使用100GE直接接入Leaf交换机,服务器网卡需要支持RoCEv2协议,服务器间的RoCEv2流量只在PoD内传输。
当服务器节点数目小于等于64节点时,推荐采用单层组网,Leaf交换机采用CE8850-64CQ-EI。
组网2:两层组网
如图4-5所示,在PoD内部署Spine-Leaf的两层CLOS架构,Leaf和Spine之间采用100GE链路全互联。服务器使用100GE接入Leaf交换机,服务器网卡需要支持RoCEv2协议,服务器间的RoCEv2流量只在PoD内传输。
若更注重低时延的效果,可以采用单归接入。根据服务器节点规模,设备推荐选型如表4-1所示。目前仅支持IPv4 Underlay组网。
服务器节点数N |
Leaf |
Spine |
说明 |
---|---|---|---|
N<=3K (K表示1024) |
CE8850-64CQ-EI |
CE8850-64CQ-EI |
|
N>3K |
CE8850-64CQ-EI |
CE16800(安装CE-MPUE系列主控板) |
以组建1K台服务器规模的网络为例,Spine和Leaf交换机均采用CE8850-64CQ-EI,支持64个100GE接口,收敛比采用1:1。服务器单归接入Leaf交换机。在上述交换机选型下,所需具体设备计算方法为:
- 计算上行带宽:Leaf交换机采用16个100GE接口作为每台Leaf交换机的上行链路与Spine互联,那么对于每台Leaf交换机来说,上行带宽为16*100GE;
- 计算Leaf数量:已知收敛比采用1:1,上行带宽为16*100GE,在接入带宽采用100GE的情况下,需要16个下行链路,即每台Leaf交换机需要接入16台服务器。那么部署1K台服务器,在单归接入下,共需要1024/16 = 64台Leaf交换机。
- 计算Spine数量:已知Leaf交换机有64台,每台Leaf有16个100GE接口与Spine互联,而CE8850-64CQ-EI支持64个100GE接口,那么可得Spine交换机需要的数量为16台。