组网推荐
分布式存储场景下部署智能无损网络推荐以下组网:
组网1:两层组网
如图2-2所示,在PoD内部署Spine-Leaf的两层CLOS架构,Leaf和Spine之间采用100GE链路全互联。服务器使用25GE接入Leaf交换机,支持M-LAG双归接入。计算和存储服务器的节点数量按3:1比例部署,服务器网卡需要支持RoCEv2协议,服务器间的RoCEv2流量只在PoD内传输。
由于分布式存储场景的存储性能主要依赖于存储介质,对计算性能的要求不高,一般采用CPU处理器,所以服务器规模一般比较大,根据服务器节点规模,设备推荐选型如表2-1所示。
服务器节点数N |
Leaf |
Spine |
说明 |
---|---|---|---|
N<=1K (K表示1024) |
CE6865-48S8CQ-EI |
CE8850-64CQ-EI |
|
1K<N |
CE6865-48S8CQ-EI |
CE16800(安装CE-MPUE系列主控板) |
以组建1K台服务器规模(计算节点+存储节点)的网络为例,Spine交换机采用CE8850-64CQ-EI,支持64个100GE接口;Leaf交换机采用CE6865-48S8CQ-EI,支持48个25GE接口和8个100GE接口,收敛比采用4:3。服务器通过M-LAG双归接入Leaf交换机。在上述交换机选型下,所需具体设备计算方法为:
- 计算上行带宽:2台Leaf交换机间的M-LAG链路采用2个100GE接口,剩余6个100GE接口作为每台Leaf交换机的上行链路与Spine互联,那么对于每台Leaf交换机来说,上行带宽为6*100GE;
- 计算Leaf数量:已知收敛比采用4:3,上行带宽为6*100GE,在接入带宽采用25GE的情况下,需要32个下行链路,即每台Leaf交换机需要接入32台服务器。那么部署1K台服务器,在M-LAG双归接入下,共需要1024/32 * 2 = 64台Leaf交换机。
- 计算Spine数量:已知Leaf交换机有64台,每台Leaf有6个100GE接口与Spine互联,而CE8850-64CQ-EI支持64个100GE接口,那么可得Spine交换机需要的数量为6台。
组网2:跨PoD两层组网
计算服务器和存储服务器分别部署在不同的PoD中。服务器间的RoCEv2流量可跨PoD转发,PoD之间通过Core交换机转发流量。Core和Spine之间采用100GE链路全互联。PoD内部署上述Spine-Leaf两层组网。
设备推荐选型如表2-2所示。