N8500告警“文件系统的子目录数超过阀值限制”

发布时间:  2015-12-16 浏览次数:  184 下载次数:  1
问题描述

N8500告警,显示文件系统的子目录数超过阀值限制

处理过程

1、 先查看告警时间,根据告警时间在主节点上查找日志信息


告警时间为2015-11-24日下午1507分,日志在每天的1115分归档,所以查看2015-11-25的日志。





在日志
中搜索关键字vx_maxlink





2、 通过日志中的inode查找子目录超过阀值的目录





3、 进入目录检查子目录个数

使用命令ls |grep ‘^d’|wc –l  查看该目录下的子目录数


下图中由于目录下全是目录没有文件,所以直接使用了命令ls | wc -l



4、 通过目录名可以看出是一个用于存放缓存数据的目录,排查该目录对应的应用,通过重启应用中的某个服务来释放缓存,从而减少该目录的子目录数。

 

 

 

5、手动清除告警,观察一段时间告警不再发生。

 


根因

由于N8500操作系统SUSE的限制,一个目录下的子目录数最多为为32K(即32768个),除去系统只带的 ‘.’’..’两个目录,一个目录下最多只能创建32765个子目录,超过32765后系统将无法创建子目录,会在日志中记录告警。

建议与总结

该问题是由于操作系统的文件系统限制导致,研发表示通过升级版本可以支持到64K65534个目录,但是用户处于业务连续性考虑,通过排查应用层面的原因解决了此问题。

END