一个虚拟机运行缓慢问题的根因分析及解决办法

发布时间:  2012-12-27 浏览次数:  104 下载次数:  0
问题描述
虚拟机登录及运行异常缓慢;创建虚拟机失败(超过2个小时而失败)
告警信息
1. 存储平面的交换机端口出现大量被丢弃的错误报文;
2. 在CNA上执行dd if=/dev/sdb of=/dev/null bs=1M count=100粗略测试存储读带宽只有2~3MB/s;
3. OMS Portal报“存储链路中断”(ID:15.1003002);
4. OMS Portal报“服务器网口状态异常”(ID:15.1000204);
处理过程
1. 逐一更换全部劣质以太网信号线为合乎规范的信号线(对称双绞线缆-100Ω-非屏蔽超5类 CAT5e SFTP-0.51mm-24AWG-8芯-PANTONE 445U);
2. 逐一在所有CNA节点上执行以下3个步骤的操作,以恢复丢失的另外4条路径:
a) 在E6000的B2槽位上插上交换板,并配置交换板,使得CNA节点上可以ping通IPSAN上两个存储控制器分别对应的后两个iscsi端口的IP地址;
b) 将CNA节点上所有的Domain-U虚拟机迁移到其他CNA上;
c) 完成上一步骤后,在没有Domain-U虚拟机的CNA节点上执行以下两条命令,以重启CNA节点上的IPSAN服务:
/etc/init.d/ipsan-service stop
/etc/init.d/ipsan-service start
3. 检查:
a) 在CNA节点执行: iscsiadm -m session查看存储链接数,可以看到有8条存储路径:
b) 在CNA节点执行:dd if=/dev/sdb of=/dev/null bs=1M count=100粗略测试存储读带宽应该恢复到70MB/s以上。
根因
1. 存储平面使用的网线不符合规范(必须使用对称双绞线缆-100Ω-非屏蔽超5类 CAT5e SFTP-0.51mm-24AWG-8芯-PANTONE 445U),导致存储平面丢弃了大量的错误报文;
2. E6000服务器的B2交换板插上,CNA节点无法ping通IPSAN上两个存储控制器分别对应的后两个iscsi端口的IP地址,导致CNA节点到IPSAN的存储链路少了4条。
建议与总结
SingleCLOUD环境搭建一定要使用合乎规范的以太网信号线,否则导致复杂的网络问题。

END