什么是微突发？如何定位微突发？

通过网管监控端口流量

那设备为什么不实现毫秒级统计呢？主要因为：交换机端口众多，当设备统计端口报文时，CPU会遍历所有端口，获取端口报文统计性能比较低，无法在微突发的时间段遍历获取所有端口流量信息；而且毫秒级轮询所有端口对CPU性能的消耗非常大，可能会影响到交换机的正常业务，因此设备自身无法捕获微突发信息。

通过设备观察端口的出接口报文的最大速率

当网络产生微突发现象（即丢包）时，设备观察端口的出接口报文的最大速率，远远达不到端口的速率，端口利用率甚至都不到10%。

因为设备转发芯片只记录收到的总报文数，所以要想计算交换机上任何报文速率，都是只能通过总报文数量除以统计时间，所以最终统计精度还是取决于统计周期的长短。对于华为CloudEngine交换机而言，无论峰值速率和瞬时速率，默认都是按照300s的周期计算的平均值，其中峰值速率统计的周期是可配置的，最小为10s，也就是说精度只能达到10s。

通过Telemetry监控微突发

Telemetry是一个闭环的自动化运维系统，分为OSS侧和设备侧，由网络设备、采集器、分析器和控制器等部件组成。其中，网络设备、采集器、分析器、控制器即可以使用第三方的系统，也可以使用华为的系统。华为Telemetry系统中，网络设备对应的产品为：CloudEngine交换机，采集器、分析器对应的产品为：iMaster NCE-FabricInsight，控制器对应的产品为：iMaster NCE-Fabric。

通过Telemetry可以监控网络中是否存在微突发。Telemetry的系统架构和处理流程如图1-7所示。

图1-7 Telemetry系统架构及处理流程

如下将详细介绍华为Telemetry系统的详细操作及处理过程：

1. 在设备上，创建基于微突发监控的Telemetry静态订阅。
   1. 创建采样数据目标采集器所在的目标组，主要包含：目标采集器的IP地址、端口号、推送协议和加密方式。

      system-view
      telemetry//进入Telemetry视图。
      destination-group destination-group-name//创建采样数据目标采集器所在的目标组，并进入Destination-group视图。
      ipv4-address ip-address port port [ vpn-instance vpn-instance ] [ protocol grpc [ no-tls ] ]//配置目标采集器的IP地址、端口号、推送协议和加密方式。
      commit

   2. 配置采样传感器组名称，包括：采样路径和过滤条件。当设置的采样路径的满足过滤条件时，设备会及时上报给采集器。

      如下以配置自定义事件的采样路径和过滤条件为例。

      1. 创建采样传感器组名称。

         system-view
         telemetry//进入Telemetry视图。
         sensor-group sensor-name//创建采样传感器组名称，并进入Sensor-group视图。

      2. 配置自定义事件的采样路径，并进入自定义事件视图。
         CloudEngine交换机当前支持的采样路径为队列的缓存占用信息：huawei-qos:qos/qosQueueBufUsageStats/qosQueueBufUsageStat（最小精度为100ms）。

         sensor-path huawei-qos:qos/qosQueueBufUsageStats/qosQueueBufUsageStat self-defined-event

      3. 创建采样路径的条件过滤器。

         filter filter-name//创建采样路径的条件过滤器名称，并进入过滤器视图。
         op-field field op-type { eq | gt | ge | lt | le } op-value value//配置过滤条件。
         condition-relation { and | or }//配置多个过滤条件间的逻辑运算关系。
         commit

   3. 创建静态订阅。

      该订阅用于关联目标采集器所在的目标组和采样传感器组，并配置gRPC传输协议的相关信息。

      1. 创建订阅。

         system-view
         telemetry//进入Telemetry视图。
         subscription subscription-name//创建订阅用于关联目标采集器所在的目标组和采样传感器组，并进入Subscription视图。
         destination-group destination-name//关联目标采集器所在的目标组。
         sensor-group sensor-name//关联采样传感器组。

      2. （可选）配置gRPC传输协议的相关信息。
         如下配置均有默认值，默认内容已经满足要求，可以跳过此步。

         protocol gRPC [ no-tls ]//配置gRPC传输协议的加密方式。缺省情况下，没有配置gRPC传输协议的加密方式。
         local-source-address ipv4 ip-address//配置上送报文的源IP地址。缺省情况下，配置上送报文的源IP地址为Socket选取路由出接口的IP地址。
         dscp value//配置上送数据报文的DSCP值。缺省情况下，配置上送报文的DSCP值为0。
         encoding { json | gpb }//配置上送数据报文的编码格式。缺省情况下，上送数据报文的编码格式为GPB。

      3. （可选）配置Telemetry采样数据时可占用主控板CPU的最大占用率。
         缺省情况下，配置Telemetry采样数据时可占用主控板CPU的最大占用率为5%。

         cpu-usage max-percent usage

      4. 提交配置。

         commit

2. 在设备上，配置微突发监控的采样参数，主要包括：缓存低门限、缓存高门限、采样周期。
   1. 配置缓存低门限和缓存高门限。

      system-view
      interface interface-type interface-number
      qos [ queue queue-index ] buffer-monitoring percent low low-percent high high-percent//配置队列的缓存低门限和缓存高门限。
      quit//退出接口视图。

      当满足如下任意条件时，设备认为出现微突发流量，记录相应的微突发流量信息，包括：微突发流量发生的时间以及发生时对应队列的缓存使用率。

      • 在读取到的队列缓存使用率高于缓存高门限或缓存低门限值配置为0场景下：
        • 读取到的队列缓存使用率与上一次记录的队列缓存使用率的变化率大于2%。
        • 微突发流量发生时间与上一次记录的微突发流量发生时间相比超过1s。
      • 在读取到的队列缓存使用率介于高低门限之间场景下：
        • 读取到的队列缓存使用率与上一次记录的队列缓存使用率的变化率大于2%，且上一次出现微突发流量。
        • 微突发流量发生时间与上一次记录的微突发流量发生时间相比超过1s，且上一次出现微突发流量。
   2. 配置采样周期。

      telemetry//进入Telemetry视图。
      subscription subscription-name//进入已经创建的订阅，并进入subscription视图。
      sensor-group sensor-name sample-interval sample-interval//配置关联传感器组的采样周期。
      commit

3. 当Telemetry数据采样周期到达后，设备会将此采样周期内记录的微突发流量信息按照Telemetry数据格式上送给采集器。
   频繁读取端口队列缓存信息对设备的CPU使用率会产生影响。此时设备会根据CPU的使用率来调整微突发监控的采样周期：

   • 当CPU的使用率低于或等于60%时，设备按照配置的采样周期读取端口队列的缓存使用率。
   • 当CPU的使用率高于或等于80%时，设备停止读取端口队列的缓存使用率。
   • 当CPU的使用率高于60%且低于80%时，设备按照10:1的采样比例读取端口队列的缓存使用率，即每10个采样周期读取1次端口队列的缓存使用率。

4. 分析器读取采集器（华为iMaster NCE-FabricInsight）收到设备上送的数据后，对数据进行分析。
   1. 在设备侧完成iMaster NCE-FabricInsight与设备的对接配置，主要包括如下：
      1. 配置iMaster NCE-FabricInsight采集器集群接入数据中心网络的路由。
      2. 在设备侧配置SNMPv3协议。配置SNMP协议的目的是将设备添加到iMaster NCE-FabricInsight进行正常管理。

         system-view 
         snmp-agent sys-info version v3 
         snmp-agent mib-view included iso-view iso  //iso-view为设置的MIB视图名称。为了保证iMaster NCE-FabricInsight能正常管理设备，MIB视图需要包含iso节点。
         snmp-agent group v3 snmpv3group privacy write-view iso-view notify-view iso-view //snmpv3group为设置的用户组；指定写视图名和通知视图名为iso-view。写视图缺省具有读权限，因此不需要设置read-view；通知视图用于限制设备向iMaster NCE-FabricInsight发送告警的MIB节点。 
         snmp-agent usm-user v3 snmpv3user group snmpv3group //snmpv3user为设置的用户名，与iMaster NCE-FabricInsight的安全名保持一致。用户的安全级别不能低于所在用户组的安全级别，否则无法正常通信。例如设置用户组snmpv3group安全级别为privacy，则所属用户snmpv3user的安全级别必须为认证且加密。 
         snmp-agent usm-user v3 snmpv3user authentication-mode sha2_512 //设置用户的认证协议和认证密码，与iMaster NCE-FabricInsight的鉴权协议和认证密码保持一致。sha2_512为认证协议，8937561bc为根据设备提示需要输入的认证密码。
         Please configure the authentication password (8-255) 
         Enter Password: 
         Confirm Password:
         snmp-agent usm-user v3 snmpv3user privacy-mode aes256 //设置用户的加密协议和加密密码，与iMaster NCE-FabricInsight的私有协议和加密密码保持一致。aes256为加密协议，68283asd为根据设备提示需要输入的加密密码。
         Please configure the privacy password (8-255) 
         Enter Password: 
         Confirm Password: 
         snmp-agent trap enable 
         snmp-agent target-host trap address udp-domain destip-address source loopback 0 udp-port 10162 params securityname snmpv3user v3 privacy //destip-address为iMaster NCE-FabricInsight数据采集器的IP地址（部署了分析器和采集器的场景下，使用采集器浮动IP地址；仅部署了分析器的场景下，使用分析器南向浮动IP地址）；loopback 0为Trap报文源地址所在接口；10162为Trap报文的端口号，不建议修改为其他值，如果需要修改请寻求技术支持；securityname设置为用户名。 
         snmp-agent packet max-size 12000  //设置SNMP Agent能接收和发送的SNMP报文的最大尺寸为12000字节；缺省情况下，SNMP报文的最大尺寸为12000字节，为了避免该参数值可能被修改，因此重置该参数值。 
         commit

      3. 配置Syslog协议。目的是将设备的异常日志信息输出到iMaster NCE-FabricInsight进行分析和可视化呈现，并应用于问题分析和辅助排障。

         system-view 
         info-center enable //使能信息中心。
         info-center channel channel-number name fabricSyslog //配置信息通道，选用的通道号为6、7或8，fabricSyslog为自定义的通道名。
         info-center loghost destip-address source-ip source-ip-address { public-net | vpn-instance vpn-instance-name } port 28305 channel fabricSyslog level debugging transport tcp ssl-policy policy1 //配置向iMaster NCE-FabricInsight输出debugging级别的日志信息。
         undo info-center statistic-suppress enable //关闭重复日志抑制。
         commit

   2. 在iMaster NCE-FabricInsight侧完成iMaster NCE-FabricInsight与设备的对接配置，即添加设备到iMaster NCE-FabricInsight。具体操作如下：
      1. 设置SNMPv3协议模板。
         1. 在导航树中选择“资源”，单击“协议模板 > SNMP”。
         2. 单击“创建”，根据设备侧的SNMP协议信息配置模板中SNMPv3的参数。iMaster NCE-FabricInsight侧参数需要与设备侧SNMP参数保持一致。
         3. 单击“确定”，完成SNMP协议参数模板创建。
      2. 将设备添加到iMaster NCE-FabricInsight。
         1. 在导航树中选择“资源”，单击“资源 > 设备”。
         2. 单击“增加设备”。
         3. 在“基本信息”中，输入设备的“IP地址”和“名称”，并选择对应的“Fabric”和“设备角色”。
         4. 在“SNMP协议”中，设置SNMP协议参数。
         5. 单击“确定”，完成单个设备添加。
   3. 通过iMaster NCE-FabricInsight的如下界面，可以查看到队列性能指标信息。
      1. 在导航树中选择“Telemetry”，并选择“队列”页签。查看队列已使用缓存分布。
         图1-8 队列已使用缓存分布
         
      2. 查看队列详情，主要包括：队列缓存趋势、队列拥塞丢包趋势、队列拥塞丢包详情。
         图1-9 队列详情
         
   4. 当有微突发流量信息产生时，iMaster NCE-FabricInsight将会根据异常事件，识别为健康度问题。
      1. 在导航树中选择“健康度”，选择“问题”页签。
      2. 当有微突发流量信息产生时，可以通过“交换机端口拥塞导致业务受损”问题，查看队列缓存的丢包趋势和丢包详情，即不同时间点的丢包数量等信息。

5. 依据分析结果，通过控制器（华为iMaster NCE-Fabric）对网络进行调整。
   1. 在设备侧完成华为iMaster NCE-Fabric与设备的对接配置，主要包括如下：
      1. 配置iMaster NCE-Fabric接入数据中心网络的路由。
      2. 在设备侧配置SNMPv3协议。配置SNMP协议的目的是将设备添加到iMaster NCE-Fabric进行正常管理。具体配置请参考4.a.ii。
   2. 在iMaster NCE-Fabric侧完成iMaster NCE-Fabric与设备的对接配置，即添加设备到iMaster NCE-Fabric。具体操作如下：
      1. 进入“自动发现”页面。

         从菜单进入，在“网络初始化”APP的菜单中选择“物理资源 > 设备 > 设备管理”，进入“设备管理”页面。在“设备发现”的下拉框中，单击“自动发现”。

      2. 配置SNMPV3协议参数。

         选择“自定义”，在页面中填写SNMPV3协议参数。

      3. 单击“开始”，控制器开始发现设备。

         发现成功的设备将会呈现在“扫描成功列表”中。

   3. 在华为iMaster NCE-Fabric“故障闭环”APP的菜单中选择“事件管理 ”。
   4. 在故障事件页签中，查看“交换机端口拥塞导致业务受损”事件，并根据界面中给出的参考建议处理故障。
      图1-10 “交换机端口拥塞导致业务受损”事件处理建议
      

通过报文捕获及流量分析工具监控微突发

通过借助报文捕获及流量分析工具（如Wireshark软件）来监控网络中是否存在微突发。具体操作步骤如下：

1. 使用报文捕获功能来捕获报文，并生成报文文件。
   1. 在设备出现丢弃报文计数的端口下，配置出方向镜像。
   2. 将流量镜像到同等速率的观察口。
   3. 在PC或服务器上，使用报文捕获及流量分析工具捕获观察口的报文，并生成报文文件。

      受性能影响，PC最多只能捕获1Gbps的接口速率的报文，服务器最多只能捕获10Gbps的接口速率的报文。推荐使用高性能PC，否则可能会影响报文捕获。

2. 使用流量分析功能监控微突发。
   1. 使用报文捕获及流量分析工具，打开捕获到的报文文件。
   2. 在“I/O图表”中，可以看到流量图。
   3. 将“IO图表”中的流量单位修改为“Bits”，同时将时间间隔修改为“1毫秒”，这样就能看到毫秒级流量的突发。
      图1-11 Wireshark IO图表
      

通过设备的丢弃报文捕获功能

通过设备的丢弃报文捕获功能来定位微突发。具体操作步骤如下：

1. 在发生微突发的设备的端口的出方向上使能丢弃报文捕获功能。

   system-view 
   qos capture drop-packet enable tcb egress

2. 查看捕获到的丢弃报文的信息。

   display qos capture statistics drop-packet { ip | ipv6 | ethernet } [ tcb ] slot slot-id

流量分析

1. 接入层
   1. 南北向流量：例如每台设备上行2个40GE接口接入汇聚层，下行48个10GE接口接入服务器等设备，则收敛比为6:1，微突发风险较高。
   2. 东西向流量：存储、计算集群、Hadoop集群，存在多个服务器同时访问一个服务器的情况，微突发风险较高。
2. 汇聚层
   1. 南北向流量：从北向南流量，公网流量小于接入流量，不存在微突发拥塞风险；从南向北流量，分为过墙和不过墙两种场景。南到北流量过墙场景，存在收敛，但是一般数据中心中南北流量仅占总体流量的10%~25%，风险较低，且交换机的转发能力远强于防火墙，瓶颈点在于防火墙。南到北流量不过墙场景与过墙场景类似。
   2. 东西向流量：东西向分配的带宽相同，收敛比基本为1：1，突发风险低。

优化措施

问题

当端口存在DISCARD丢弃，并且端口的带宽使用率较低时，如何判断是否存在微突发？

适用产品及版本

适用产品：CE6851HI、CE6855HI、CE6856HI、CE6860EI、CE6865EI

适用版本：V200R005C10及之后版本

回答

1. 加载V200R005C10SPH025及之后补丁。
2. 登录设备，进入用户视图。
3. 开启端口的微突发高精度检测功能，并且配置微突发监测时长。

   high-precision rate detection interface interface duration monitortime

   其中，monitortime为微突发监测时长（单位：分，范围1~1440），需要根据现网端口下的DISCARD计数产生频率来进行设置。

   具体案例，如下：

   <HUAWEI>high-precision rate detection interface 10GE 2/0/20 duration 10
   Info: High-precision rate detection is enabled, duration 10 minutes.

4. 当端口下的DISCARD计数有增长，可以通过查看峰值速率，来判断是否存在微突发。

   display high-precision rate detection interface interface

   具体案例，如下：

   <HUAWEI>display high-precision rate detection result interface 10GE 2/0/12 
   Interface                     : 10GE2/0/12
   Configured detection duration : 10 Min
   Detection start time          : 2020-09-28 10:24:19
   Detection end time            : --
   Average input rate            : 0 Mbits/sec
   Average output rate           : 0 Mbits/sec
   
   Top 10 input rate:
   -----------------------------------------------
   Time                     Input  Rate(Mbits/sec)
   -----------------------------------------------
   2020-09-28 10:24:38.912                       0
   2020-09-28 10:24:38.915                       0
   2020-09-28 10:24:38.909                       0
   2020-09-28 10:24:38.903                       0
   2020-09-28 10:24:38.900                       0
   2020-09-28 10:24:38.893                       0
   2020-09-28 10:24:38.896                       0
   2020-09-28 10:24:38.884                       0
   2020-09-28 10:24:38.887                       0
   2020-09-28 10:24:38.881                       0
   -----------------------------------------------
   
   Top 10 output rate:
   -----------------------------------------------
   Time                     Output Rate(Mbits/sec) //主要关注“Output Rate”列中数据，当10GE端口的峰值速率达到10000Mbits/sec左右，说明已经达到端口能力上限，即存在微突发。
   -----------------------------------------------
   2020-09-28 10:24:29.345                    10000 
   2020-09-28 10:24:21.799                    10000
   2020-09-28 10:24:31.751                    10000
   2020-09-28 10:24:38.648                    10000
   2020-09-28 10:24:20.178                    10000
   2020-09-28 10:24:24.954                    10000
   2020-09-28 10:24:26.718                    10000
   2020-09-28 10:24:22.270                    10000
   2020-09-28 10:24:22.129                    10000
   2020-09-28 10:24:20.767                    10000
   -----------------------------------------------

5. 关闭微突发端口高精度检测功能。

   undo high-precision rate detection interface interface

   具体案例，如下：

   <HUAWEI>undo high-precision rate detection interface 10GE 2/0/12
   Info: High-precision rate detection is disabled.