Veritas/Symantec DMP多路径
存储侧
当双活场景下使用操作系统自带第三方DMP多路径时,启动器需要勾选“使用第三方多路径”,如图6-18所示:
“切换模式”及“路径类型”参数需要根据实际业务场景决定,具体配置如表6-11所示:
操作系统 |
DMP |
存储系统上的配置 |
||||||
双活工作模式 |
存储 |
操作系统 |
使用第三方多路径 |
切换模式 |
特殊模式类型 |
路径类型 |
||
AIX |
DMP7.1 or later |
负载均衡模式 |
本端存储系统 |
AIX |
勾选 |
特殊模式 |
模式1 |
优选路径 |
远端存储系统 |
AIX |
勾选 |
特殊模式 |
模式1 |
优选路径 |
|||
本端优选模式 |
本端存储系统 |
AIX |
勾选 |
特殊模式 |
模式2 |
优选路径 |
||
远端存储系统 |
AIX |
勾选 |
特殊模式 |
模式2 |
非优选路径 |
|||
AIX |
DMP6.0.x~DMP7.0 |
负载均衡模式 |
本端存储系统 |
AIX |
勾选 |
不使用ALUA |
- |
优选路径 |
远端存储系统 |
AIX |
勾选 |
不使用ALUA |
- |
优选路径 |
1,OceanStor Dorado V300R002C20,OceanStor V500R007C50,OceanStor V300R006C60版本开始支持DMP双活场景,具体支持组合参见华为存储兼容性列表
2,若已将LUN映射给主机使用,修改启动器参数后需要重启主机生效,如果主机侧有上层业务,需要停业务导出磁盘组才能重启主机,初次映射配置启动器参数不用重启。
3,DMP7.1之前版本DMP双活不支持本端优选模式。
4,请按照推荐模式配置,否则可能会存在DMP多路径无法正确识别路径和路径处理异常等问题。
5,SF DMP5.x版本支持情况请咨询华为技术支持工程师。
6,负载均衡模式推荐场景为双活本地数据中心部署,即双活两端存储系统部署在同园区不同机房中。
7,存储系统对接DMP7.x多路径,存储启动器配置为“使用第三方多路径+特殊模式”时,因Veritas VxVM(DMP)默认RTPG的buffer长度为255,影响存储侧单阵列或者双活阵列支持的最大在线端口(FC/FCOE/ETH)总个数,具体请咨询华为工程师进行评估,否则可能会出现路径识别异常等问题。
8,双控存储系统对接DMP多路径,存储启动器配置为“使用第三方多路径+不使用ALUA”模式,A/A模式关闭时,不支持在线扩控或在线创建双活,不支持非双活和双活LUN同时存在,否则可能导致主机业务中断。注:查询A/A模式是否打开的命令,融合存储系统为show tgt_switch storage_work_mode,Dorado存储系统为show scsi_upgrade_config storage_work_mode。
实例如下,进入developer模式查询结果如下。
developer:/>show scsi_upgrade_config storage_work_mode
Switch Type : A/A Work Mode
AA Switch : Off
该回显“Off”表明A/A模式关闭。双控存储系统如果存在在线扩控或在线创建双活场景,需要执行如下命令开启A/A模式:
融合存储系统为change tgt_switch storage_work_mode switch=on,Dorado存储系统为change scsi_upgrade_config storage_work_mode aa_switch=on
9,当需要更换阵列上LUN映射时,包括并不限于修改Host LUN ID,在线更换连接端口,移除又重新添加LUN等,请参考FAQ完成正确更换LUN映射步骤,否则会有导致业务中断的风险。
主机侧
安装前检查
安装Veritas DMP多路径之前需要检查确认系统自带多路径没有接管华为存储。执行实例如下,针对映射的一个LUN共8条子路径,操作系统层共识别到8个显示为“Other FC SCSI Disk Drive”的hdisk,表明系统自带多路径没有接管华为存储。
bash-3.2# lsdev -Cc disk hdisk0 Defined Virtual SCSI Disk Drive hdisk1 Defined Virtual SCSI Solid State Drive hdisk2 Available 04-00-00 SAS RAID 0 Disk Array hdisk3 Available 04-00-00 SAS RAID 0 Disk Array hdisk4 Available 01-00-02 Other FC SCSI Disk Drive hdisk5 Available 01-00-02 Other FC SCSI Disk Drive hdisk6 Available 01-00-02 Other FC SCSI Disk Drive hdisk7 Available 01-00-02 Other FC SCSI Disk Drive hdisk8 Available 0A-00-00 SAS RAID 0 Disk Array hdisk9 Available 0A-00-00 SAS RAID 0 Disk Array hdisk10 Available 01-01-02 Other FC SCSI Disk Drive hdisk11 Available 01-01-02 Other FC SCSI Disk Drive hdisk12 Available 01-01-02 Other FC SCSI Disk Drive hdisk13 Available 01-01-02 Other FC SCSI Disk Drive
如果显示为“Huawei MPIO FC Disk Drive”的hdisk,需要停业务卸载ODM,卸载ODM请参考《AIX ODM for MPIO 用户指南》。
ASL安装
DMP通常集成在Veritas Storage Foundation/InfoScale软件包中,且通常配合Veritas Volume Manager(VxVM)和Veritas File System(VxFS)一起使用。
本章节以AIX7.1TL4操作系统上安装Veritas InfoScale 7.3.1为例。Veritas InfoScale 7.3.1安装方法详见Veritas官网《Veritas InfoScale安装指南》。
安装完InfoScale 7.3.1软件后,需要额外安装Veritas的阵列支持库(ASL)。Dynamic Multi-Pathing (DMP) 使用阵列支持库 (ASL) 为多路径处理提供特定于阵列的支持。阵列支持库 (ASL) 是一种可动态加载的共享库。在设备发现期间 ASL 实现特定于硬件的逻辑以发现设备属性。
推荐安装最新版本ASL包。Veritas针对华为存储的ASL安装包可以从如下地址获取:https://sort.veritas.com/asl。ASL支持在线安装和离线安装,请根据Veritas官网ASL下载页面的Readme file安装说明来安装ASL。缺省的路径策略是MinimumQ。
1,Veritas AVID特性不支持华为存储。
2,安装完Veritas软件后,需要修改AIX FC HBA的的dyntrk和fc_err_recov参数,具体修改方法参见如何修改FC HBA设备的dyntrk和fc_err_recov参数。
3,DMP提供了MinimumQ以及Round-Robin选路算法,具体可结合客户业务配置修改。修改选路算法时,请使用vxdmpadm setattr ENCLR_NAME iopolicy=xxx命令设置。其中,xxx代表选路算法,可取“MinimumQ”或者“Round-Robin”。
配置检查
- 执行vxddladm listsupport all | grep huawei确保ASL已经正确安装。实例如下所示,多路径已经正确识别到XSG1。
bash-3.2# vxddladm listsupport all | grep huawei libvxhuawei.so HUAWEI, HUASY S5100, S5300, S5500, S5600, S6800E, S8000, S8000-I, VIS6000, S5500T, S5600T, S5800T, S6800T, S2600T, V1500, V1800, S2100, S2200T, S2300, S2300E, S2600, S3900-M100, S3900-M200, S3900-M300, S5900-M100, S5900-M200, S6900-M100, Dorado2100, Dorado2100 G2, Dorado5100, HVS85T, HVS88T, XSG1 bash-3.2#
如果没有XSG1,则需要在线升级VRTSaslapm阵列支持库到支持华为存储的ASL版本。Veritas针对华为存储的ASL安装包可以从如下地址获取:https://sort.veritas.com/asl。请根据Veritas官网ASL下载页面的Readme file安装说明在线升级ASL。
- 执行vxddladm list devices查看每条子路径disk是否已经被Veritas CLAIMED。实例回显如下所示,共映射了1个双活LUN,每个LUN有8条子路径,libvxhuawei.so共识别到8个devices。
bash-3.2# vxddladm list devices DEVICE TARGET-ID STATE DDL-STATUS (ASL) =============================================================== hdisk8 - Online CLAIMED (Disk) hdisk9 - Online CLAIMED (Disk) hdisk3 - Online CLAIMED (Disk) hdisk2 - Online CLAIMED (Disk) hdisk4 - Online CLAIMED (libvxhuawei.so) hdisk7 - Online CLAIMED (libvxhuawei.so) hdisk5 - Online CLAIMED (libvxhuawei.so) hdisk6 - Online CLAIMED (libvxhuawei.so) hdisk12 - Online CLAIMED (libvxhuawei.so) hdisk11 - Online CLAIMED (libvxhuawei.so) hdisk10 - Online CLAIMED (libvxhuawei.so) hdisk13 - Online CLAIMED (libvxhuawei.so) bash-3.2#
- 执行vxdisk list查看主机侧双活LUN是否已经聚合,聚合后的Device可以正确的识别为huawei-xxx字样。实例如下所示,DMP识别了聚合后的1个双活LUN,LUN识别为huawei-xsg12_#。
bash-3.2# vxdisk list DEVICE TYPE DISK GROUP STATUS huawei-xsg12_0 auto:cdsdisk T00DG1 T00DG online sanboot_disk_0 auto:LVM - - LVM sanboot_disk_1 auto:LVM - - LVM sanboot_disk_2 auto:LVM - - LVM sanboot_disk_3 auto:LVM - - LVM bash-3.2#
- 执行vxdisk list device查看,路径数识别为两端阵列逻辑路径之和(与实际配置一致),路径状态识别正确。如果切换模式配置成特殊模式,则存在优选路径与非优选路径之分,此处还需要正确识别出优选路径和非优选路径状态和路径数量。实例如下所示,聚合后的1个双活LUN共识别到8条本端阵列和远端阵列路径hdisk4,hdisk5,hdisk6,hdisk7,hdisk10,hdisk11,hdisk12和hdisk13,所有路径状态都是enabled。由于本实例采用的特殊模式,其中4条优选路径type正确识别为active/optimized,4条非优选路径type正确识别为active/non-optimized。
bash-3.2# vxdisk list huawei-xsg12_0 Device: huawei-xsg12_0 devicetag: huawei-xsg12_0 type: auto hostid: sanboot disk: name=T00DG1 id=1554913890.8.sanboot group: name=T00DG id=1554913945.10.sanboot info: format=cdsdisk,privoffset=256 flags: online ready private autoconfig autoimport imported pubpaths: block=/dev/vx/dmp/huawei-xsg12_0 char=/dev/vx/rdmp/huawei-xsg12_0 guid: {1894fca2-5bae-11e9-b15b-183b2c4835d0} udid: HUAWEI%5FXSG1%5F2100845b125f50bb%5F6845B121005F50BB00146F0900000001 site: - version: 3.1 iosize: min=512 (bytes) max=512 (blocks) public: slice=0 offset=65792 len=10411776 disk_offset=0 private: slice=0 offset=256 len=65536 disk_offset=0 update: time=1556059236 seqno=0.8 ssb: actual_seqno=0.0 headers: 0 240 configs: count=1 len=48144 logs: count=1 len=7296 Defined regions: config priv 000048-000239[000192]: copy=01 offset=000000 enabled config priv 000256-048207[047952]: copy=01 offset=000192 enabled log priv 048208-055503[007296]: copy=01 offset=000000 enabled lockrgn priv 055504-055647[000144]: part=00 offset=000000 Multipathing information: numpaths: 8 hdisk13 state=enabled type=active/optimized hdisk10 state=enabled type=active/optimized hdisk11 state=enabled type=active/non-optimized hdisk12 state=enabled type=active/non-optimized hdisk6 state=enabled type=active/non-optimized hdisk5 state=enabled type=active/non-optimized hdisk7 state=enabled type=active/optimized hdisk4 state=enabled type=active/optimized bash-3.2#
- 执行vxdmpadm listenclosure all可以看到双活阵列的ENCLR_NAME正确聚合为一个,ARRAY_TYPE识别正确。如下实例所示,配置双活切换模式为特殊模式,ARRAY_TYPE已经正确显示为双活模式ALUA,双活阵列已经正确聚合成一个huawei-xsg12。
bash-3.2# vxdmpadm listenclosure all ENCLR_NAME ENCLR_TYPE ENCLR_SNO STATUS ARRAY_TYPE LUN_COUNT FIRMWARE =================================================================================================== disk Disk DISKS CONNECTED Disk 4 huawei-xsg12 HUAWEI-XSG1 2100845b125f50bb CONNECTED ALUA 1 4303 bash-3.2#
如果对接DMP7.1之前版本,配置双活切换模式为不使用ALUA,ARRAY_TYPE显示为A/A。