配置实例
介绍LUN克隆特性典型应用场景对应的配置实例,包括需求分析、配置规划、配置操作和结果验证等。
使用LUN克隆进行数据分析
本配置实例讲解如何通过LUN克隆实现在不影响生产业务性能的前提下进行数据分析。
需求分析
介绍某企业进行数据分析的具体需求、对需求的分析以及结论。
用户需求来源
某企业搭建了一套用于实时存储交易数据并进行分析的信息系统,包括3台应用服务器组成的生产集群、2台应用服务器组成的后台分析集群,由1台存储系统提供业务数据存储空间,另有1台维护终端负责管理存储系统。应用服务器和存储系统之间通过2台光纤交换机进行冗余连接。设备组网图如图2-2所示。
组网图中,各集群的作用和特点如表2-4所示。
应用服务器集群 |
作用 |
工作时间 |
I/O特征和要求 |
---|---|---|---|
生产集群 |
承载生产业务,用于存储客户交易数据,同时对客户提供查询功能。 |
全天候。 |
规模大,要求时延低、性能高。 |
后台分析集群 |
承载数据分析业务,用于对交易数据进行后台分析,需要短时间内输出报告。 |
不定时,需求触发,每月1~3次。 |
启动分析测试后规模较大,要求时延低、性能高。 |
存储系统中建有多个LUN,每个LUN存储了1个月的生产集群业务数据。存储系统相关的配置信息表2-5所示。
硬盘配置 |
LUN |
容量 |
映射主机 |
---|---|---|---|
600GB SAS硬盘 × 48块 |
|
每个LUN各1TB |
|
在这套系统搭建初期,由于交易数据量还不大,生产业务和数据分析业务并行工作时并不会对各自性能产生明显影响。
随着业务逐渐增长,交易数据访问量逐渐增加,每当数据分析业务开始工作以后,由于要和生产业务从同一处数据源(同一存储系统中的同一个LUN)争抢数据,导致客户交易数据读写时延明显增加,客户通过生产集群查询交易信息的响应速度也显著下降,直接影响了该企业业务的正常开展。
此外,由于生产业务占用了大量存储系统资源,数据分析业务的分析性能瓶颈也出现在了存储系统侧,导致数据分析报告无法按时生成。
基于上述问题,用户需要一个解决方案,能够同时保障生产业务和数据分析业务的性能,并且要尽量节约成本,具体需求为:
- 需求1:生产业务和数据分析业务之间性能无明显影响,做到各自独立。
- 需求2:生产业务和数据分析业务的数据要保持实时同步,保证分析业务的数据源是最新的。
- 需求3:每月当中最多有3次数据分析需求。
- 需求4:节约开支,不另行采购设备。
需求分析及结论
- 特性选择分析
如果要实现生产业务和数据分析业务的性能互不干扰,首先要做到它们的数据相互独立,这就要求存储系统中必须建立与生产数据完全一致的副本。存储系统中和数据副本相关的特性有快照、LUN拷贝、远程复制和克隆,从中选择适合此场景的特性成为了关健。表2-6比较了这四种特性和用户需求的匹配关系。
用户需求 |
快照 |
LUN拷贝 |
远程复制 |
克隆 |
---|---|---|---|---|
业务间性能无明显影响a |
否(指针式指向数据的原理决定了对主LUN性能有影响) |
是 |
是 |
是(分裂后对主LUN性能无任何影响) |
数据实时同步 |
是 |
否(需手动启动拷贝) |
是 |
是(分裂前实时同步) |
数据分析3次/月 |
是 |
是 |
是 |
是(配置足够从LUN即可) |
开支小,不另购设备 |
是 |
是 |
否 |
是 |
a:指数据分析业务运行时带来的影响。 |
从上表可以得出结论:在所有特性中,只有克隆能够满足本场景的用户需求。
- 配置策略分析
- 可在现有存储系统内部进行配置,无需添加硬件设备,也不需要改变现网组网。
- 由于用户要求生产业务和数据分析业务之间性能无明显影响,克隆的主LUN(存储生产数据的LUN)和从LUN(提供给数据分析业务使用的LUN)所在的硬盘域必须不同。如果主LUN和从LUN配置在相同硬盘域中,那么主、从LUN的性能会受单个硬盘域的整体性能瓶颈影响,无法发挥出克隆的优势。
- 由于用户要求生产业务和数据分析业务之间数据必须实时同步,克隆的主、从LUN应在数据分析业务开始前才分裂,之前需要一直保持同步的状态。
- 由于用户每月最多有3次数据分析的需求,则每月需要保证有3份数据副本可用。为此有2种实现方案:
- 为主LUN建立1个从LUN。每次数据分析均使用此从LUN。从LUN使用完毕后,与主LUN再次同步,供后续数据分析使用。
- 为主LUN同时建立3个从LUN,每次数据分析时只使用其中1个从LUN。使用完毕后,可以删除此从LUN。
因为数据分析需求是不定时按需触发的,所以供数据分析的从LUN必须时刻可用。方案1中的从LUN在上一次数据分析使用完毕后,必须再经历一次同步过程,才能和主LUN数据保持一致,这个过程需要耗费一定时间。在此过程中从LUN是不能使用的。因此,只能选择方案2。
- 由于用户有节约成本的需求,所以必须尽量减少硬盘空间的占用。因此每月月初时建议删除上月已创建的所有从LUN(无论是否被使用过),以释放出硬盘空间,供当月创建克隆从LUN使用。
配置规划
介绍使用LUN克隆实现数据分析的配置规划。
通过需求分析的结论可知用户使用LUN克隆能实现在不影响生产业务性能的前提下进行数据分析。为了实现用户的需求,配置思路如图2-3所示。
配置实例中涉及的配置操作及规划项如表2-7所示。
以下规划项中未涉及的参数值,请按照系统默认值进行配置。
配置思路 |
涉及主要操作及作用 |
规划项 |
界面参数 |
规划值 |
---|---|---|---|---|
使用克隆前的准备 |
|
克隆从LUN所在硬盘域的参数 |
名称a |
Domain_Analysis |
硬盘类型 |
性能层(SAS):9块b |
|||
热备策略 |
高 |
|||
克隆从LUN所在存储池的参数 |
名称 |
Pool_Analysis |
||
硬盘域 |
Domain_Analysis |
|||
存储介质 |
|
|||
克隆从LUN参数 |
名称 |
|
||
容量 |
每个LUN各1TB |
|||
归属、工作和镜像控制器 |
和主LUN相同 |
|||
配置和管理克隆 |
|
克隆相关参数 |
名称 |
clone_for_analysis |
主LUN名称 |
LUN_201304c |
|||
从LUN名称 |
|
|||
拷贝速率 |
中d |
|||
初始同步 |
是 |
|||
使用从LUN资源 |
创建映射视图,将分裂后的从LUN映射给数据分析集群使用。 |
映射视图参数 |
名称 |
map_for_analysis |
映射的主机 |
数据分析集群,主机名称如下:
|
|||
映射的LUN |
每次有数据分析业务需求时,分裂其中一个从LUN加入映射视图使用,使用完毕后删除。可用从LUN如下:
|
|||
从LUN所属的LUN组 |
名称 |
LG_analysis |
||
数据分析集群所属的主机组 |
名称 |
HG_analysis |
||
a:为避免性能影响,数据分析业务和生产业务数据使用的LUN建议配置在不同的硬盘域中。 b:由于该存储池需要容纳3个1TB的LUN,需要至少3TB空闲空间。考虑到RAID校验数据、热备空间和存储池元数据等额外空间的占用,约需要不少于5TB的空间。选择9块600GB的SAS硬盘可满足需求。 c:本例中以201304当月数据为例进行配置。后续每月均可参照该规划进行配置。 d:初始同步时,克隆速率越高,对主LUN性能的影响越大。为了在拷贝速率和对主LUN性能影响之间均衡考虑,建议速率设置为“中”。 |
配置操作
通过在DeviceManager界面上进行相应的配置,可以通过LUN克隆为数据分析提供数据源。
前提条件
在配置前,请确保所有配置项数据都已规划完毕。
操作步骤
- 检查克隆License文件。
存储系统中必须已经有克隆License文件,且在有效期内。
操作入口:“
设置>
License管理 ”
- 创建存储资源。
- 创建供克隆使用的硬盘域。
操作入口:“
资源分配 > 硬盘域 > 创建”
- 创建供克隆使用的存储池。
操作入口:“
资源分配 > 存储池 > 创建”
- 查询主LUN的归属控制器。
操作入口:“
资源分配 > LUN”,选择主LUN“LUN_201304”,依次单击“属性 > 高级”。
- 在刚创建的存储池上,创建供克隆使用的3个从LUN。
从LUN必须和主LUN创建在同一个归属控制器下。
操作入口:“
资源分配 > LUN > 创建”
- 创建供克隆使用的硬盘域。
- 创建克隆。
创建1个克隆,添加进刚创建的3个从LUN。
操作入口:“
数据保护 > 克隆 > 创建”
创建克隆后,主LUN和从LUN会进行初始同步。初始同步完成后,主LUN和从LUN将一直保持实时同步,确保从LUN数据也是最新的。
- 分裂Pair。
当需要启动数据分析业务时,分裂Pair。
对于非立即可用克隆,请等待Pair同步完成,即“数据状态”为“完整”时才可以进行分裂;如果在“数据状态”为“同步中”时分裂,会导致主、从LUN数据不一致。
在“克隆”页面,右键单击克隆“clone_for_analysis”,在弹出的快捷菜单中选择“分裂”,分裂从LUN“LUN_201304_ana_01”。
分裂后的从LUN作为数据分析的数据源。
- 使用分裂的从LUN。
将分裂后的从LUN映射给数据分析集群使用。
- 新建1个LUN组,将分裂后的从LUN“LUN_201304_ana_01”添加进去。
操作入口:“
资源分配 > LUN > LUN组 > 创建”
- 新建1个主机组,将数据分析集群对应的主机“ana_01”和“ana_02”添加进去。
操作入口:“
资源分配 > 主机 > 主机组 > 创建”
- 新建1个映射视图,将分裂后的克隆从LUN映射给数据分析集群的所有主机。
操作入口:“
资源分配 > 映射视图 > 创建”
- 在数据分析集群的主机上扫描到映射的从LUN,并以此为数据源,启动数据分析业务。
- 新建1个LUN组,将分裂后的从LUN“LUN_201304_ana_01”添加进去。
结果验证
主要从性能、数据实时性和可用数据源个数三个方面来验证是否解决了用户的问题。
操作步骤
- 验证生产业务和数据分析业务之间的性能影响问题是否解决。
在生产集群和数据分析集群分别进行IOPS和时延监控,比较数据是否优于应用克隆前。
- 是 => 克隆已解决生产业务和数据分析业务之间的性能影响问题。
- 否 => 克隆未解决生产业务和数据分析业务之间的性能影响问题。建议检查配置步骤是否正确,并进一步排查整个系统中是否存在其他瓶颈。
请勿将分裂后的主、从LUN映射给同一台Windows主机来验证数据一致性,该操作可能会导致主机系统崩溃。
- 验证生产业务和数据分析业务的数据是否保持实时同步。
- 分裂一对克隆pair,记录下分裂的时间。
- 将从LUN映射给数据分析集群。
- 在数据分析集群侧检查从LUN中数据文件(如检查时间戳等属性),判断数据是否与克隆分裂时一致。
- 是 => 克隆满足数据实时同步的要求。
- 否 => 克隆未满足数据实时同步的要求。建议检查配置步骤是否正确。
- 验证可用数据源是否为3个。
在之前的配置过程中已经验证了其中1个LUN是可用的,在本步骤中继续验证剩下2个从LUN是否可用。