所选语种没有对应资源,请选择:

本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>

提示

尊敬的用户,您的IE浏览器版本过低,为获取更好的浏览体验,请升级您的IE浏览器。

升级
案例库

openstack,journal文件损坏,导致mongodb无法启动

发布时间:  2018-09-17  |   浏览次数:  558  |   下载次数:  0  |   作者:  hWX465738  |   文档编号: EKB1001862363

目录

问题描述

一个mongodb故障,无法手动拉起

告警信息

一个mongodb状态是fault

处理过程

1.一线反馈已通过cps命令重启组件、后台杀死进程重新拉,都无法正常启动。

2.执行df -h、df -i查看磁盘空间,都正常。

3.查看mongodbControl日志发现启动过程中无法fork子进程,没有更详细信息。

4.查看mongdb日志,发现在组件初始化时发生异常,journal文件存在异常,导致启动过程终止。

5.一线反馈前一天存在网络风暴,节点的IO存在问题,因此文件读写出现异常了。


恢复方法是通过cps命令停止问题节点上的mongodb组件、ps -ef|grep mongo查询后台是否已经不存在了(存在可用kill -9强杀)、rm -rf *删除问题节点上/var/ceilometer/目录下的所有文件、cps命令启动该节点的mongodb组件。

正常启动后,会进行数据同步,所以组件可能还会显示fault,ps -ef|grep mongod有进程就耐心等待下。

根因

节点的IO存在问题,因此文件读写出现异常了

解决方案

恢复方法是通过cps命令停止问题节点上的mongodb组件、ps -ef|grep mongo查询后台是否已经不存在了(存在可用kill -9强杀)、rm -rf *删除问题节点上/var/ceilometer/目录下的所有文件、cps命令启动该节点的mongodb组件。

正常启动后,会进行数据同步,所以组件可能还会显示fault,ps -ef|grep mongod有进程就耐心等待下。

建议与总结