S5500上远程增量复制800MB数据时同步较慢

发布时间:  2014-09-30 浏览次数:  213 下载次数:  0
问题描述
某局点采用S5500存储阵列与容灾中心的S6800E阵列通过广域网专用网络搭建异地数据容灾架构,采用异步复制的模式。
所有配置完成后,启动某个大小为300G的LUN,其上增量写入数据约800MB进行数据增量传输。传输过程启动后,发现进度很慢,通过估算得知需要约二十几个小时才能完成数据传输。
涉及版本:V1R5C01SPC004
主机操作系统:Windows 2003 Server
告警信息
登录ISM,无任何告警信息
处理过程
根据对此现象的原因分析,对每种可能导致该现象出现的原因进行具体的针对性的排查,以进行问题的定位和解决。
1.仔细回顾进行远程复制配置的所有操作步骤,确认所有的操作均按照指导书进行,没有发生误操作;

2.通过我司研发支持,得知虽然在应用层实际增量写入LUN的数据是约800MB,但在进行远程复制增量传输时,需要传输的数据量大约14GB。而某局点与其容灾中心的实际专网连接链路的传输速率平均大约200KB/s,从而估算出在现有数据量和网络情况下,需要花费二十几个小时左右的实际才能完成数据的增量传输;

3.通过分析使用该LUN的应用、操作系统、文件系统,使用该LUN的操作系统为Windows 2003 server,文件系统为NTFS,而写入该LUN的文件为大量的小文件。而NTFS文件系统会为每个文件都更新写入相关控制的元数据,但这部分空间占用空间并不会在操作系统层面统计所有小文件大小时显示。并且众多的小文件与相关的元数据会比较分散的存储在LUN上,从而导致利用远程复制增量传输时实际需要传输的数据量远远超过在操作系统上简单统计写入文件大小的数据量;

4.重建S5500上的LUN,并重建S5500与S6800E之间的复制关系,将原来应用服务器上需要写入此LUN的所有小文件打包为一个700MB左右的大文件,然后进行数据增量传输,花费约30分钟即完成增量数据同步。
根因
根据现场环境的现象分析,初步分析导致此现象的可能的原因包括:
     1. 远程复制配置错误
      2. 远程复制增值软件有BUG
      3. 上层应用、文件系统与数据导致的正常现象
建议与总结
1. 在远程复制增量传输时,实际增量的数据大小与远程复制需要传输的数据大小并不一致,实际需要传输的数据量会更大;

2. 根据上层应用系统、操作系统、文件系统的不同,会出现本案例中实际传输数据远远大于上层应用增量写入数据的情况,从而导致远程复制数据增量传输需要花费很长的时间。针对这种情况,本案例提供了一种参考解决方法,即分析上层应用的特点后,将小文件打包为一个大文件,然后再写入LUN;

3.采取扩大局点之间网络传输带宽的方法。

END