FusionInsight HD C80SPC203HDFS出现DataNode容量故障

版本信息：FusionInsight C80SPC203

组网概述：113台节点，其中2个主备节点。

组网：双层面组网

故障现象：HDFS原生界面的Datanode Volume Failures报对应数据节点目录出错，对应节点目录一个没有挂载上去，一个系统感知不到。

HD集群（一台数据节点目录没有挂载不上去，数据目录权限是root root）

步骤：1、首先执行lsblk查看对应目录是否没有挂载上

      2、没有挂载上，执行如：mount /dev/sdf1 /srv/Bigdata/hadoop/data4

      3、df -h 查看对应目录是否挂载上去。对应目录 /data4目录是否对应权限已经不是root root。

HD集群（一台数据节点目录前面是一堆红色问号，服务器测回复磁盘没有问题）

步骤：1、首先将出问题的目录进行umount,如果umount不成功

      2、执行强制命令列如：umount -l /dev/sdf1

      3、下一步执行xfs_repair -L /dev/sdf1 如果有报错信息显示没有umount下来，进入/etc/fstab将对应问题目录注释点，重启系统。

        如果没有报错，继续执行 xfs_repair /dev/sdf1，重启系统也继续执行xfs_repair /dev/sdf1

      4、进入对应目录 /etc/fstab目录将对应注释点的目录释放掉

      5、执行mount /dev/sdf1 /srv/Bigdata/hadoop/data4

      6、查看对应目录，是否已经正常。

数据目录一个没有挂载上去，一个OS侧的XFS元数据损坏

换盘之后要查看hdfs原生界面是否没有容量故障的节点，换盘之后可能会出现OS侧的元数据损坏，及时修复。

按照上面的处理过程就可以修复。

日程维护，换硬件时候，查看硬盘是否做了raid,同时保证业务少的时候进行换磁盘。