所选语种没有对应资源,请选择:

本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>

提示

尊敬的用户,您的IE浏览器版本过低,为获取更好的浏览体验,请升级您的IE浏览器。

升级

OceanStor 9000 V300R006C10 文件系统特性指南 05

评分并提供意见反馈 :
华为采用机器翻译与人工审校相结合的方式将此文档翻译成不同语言,希望能帮助您更容易理解此文档的内容。 请注意:即使是最好的机器翻译,其准确度也不及专业翻译人员的水平。 华为对于翻译的准确性不承担任何责任,并建议您参考英文文档(已提供链接)。
原理描述

原理描述

分析HDFS接口与NFS接口转换机制,深入了解HDFS特性的运作原理。

HDFS Plugin介绍

HDFS Plugin用于将HDFS协议的文件访问请求转换为NFS协议请求。

定位

对接OceanStor 9000后,HDFS Plugin在Hadoop软件架构中的位置如图14-2所示。

图14-2  引入HDFS Plugin后的Hadoop架构
功能

图14-3所示,HDFS Plugin通过继承开源HDFS提供的FileSystem类和AbstractFileSystem类,对外提供如表14-3所示的文件访问接口。

说明:

要了解关于开源HDFS FileSystem类和AbstractFileSystem类的代码与描述信息,请访问http://hadoop.apache.org/

图14-3  HDFS Plugin原理
表14-3  HDFS Plugin支持的接口

函数名称

描述

FileSystem

initialize

初始化HDFS Plugin。

getFileBlockLocations

获取文件偏移信息。

append

追加写文件。

create

创建文件。

delete

删除文件或者文件夹。

getFileStatus

获取文件的信息。

listStatus

列举文件的信息。

open

打开文件。

rename

重命名文件或文件夹。

mkdirs

创建文件夹。

setOwner

设置文件或者文件夹的属主与属组。

setPermission

设置文件或者文件夹的权限。

AbstractFileSystem

createSymlink

创建一个软链接。

getFileLinkStatus

获取给定软链接对应的文件信息。

文件读写流程

描述部署HDFS Plugin后的简要文件读写流程。

文件读写流程如图14-4所示。

图14-4  文件读写流程

流程描述如表14-4所示。

表14-4  文件读写流程

编号

过程

备注

1

Hadoop节点内应用程序发起文件读写请求,或操作人员在Hadoop客户端内执行HDFS Shell命令,本地HDFS Plugin接收请求并将其转化为NFS协议请求。

-

2

HDFS Plugin通过前端业务网络发送NFS协议请求给OceanStor 9000某个存储节点处理。

OceanStor 9000根据InfoEqualizer特性中的均衡策略配置选择合适的节点。

3

此存储节点根据文件所属目录的数据保护级别选取一组存储节点内的一组硬盘,然后通过后端存储网络读写该硬盘组。

要了解关于OceanStor 9000数据保护级别与数据下盘的详细信息,请参见OceanStor 9000 文件系统管理员指南》中的Erasure Code(N+M保护级别)。

数据存储与任务调度机制对比分析

分析Hadoop对接OceanStor 9000前后的数据存储与任务调度机制存在的主要区别。

对接OceanStor 9000前,数据以副本机制存储,如图14-5所示。

图14-5  HDFS副本机制

对接OceanStor 9000后,数据采用Erasure Code机制以N+M保护级别存储,如图14-6所示。

图14-6  Erasure Code机制

数据存储与任务调度机制对比如表14-5所示。

表14-5  数据存储与任务调度机制对比

对比项

对接OceanStor 9000

对接OceanStor 9000

数据块存储机制

文件按所定义的块大小和副本机制存储在多个DataNode中。

默认数据块大小为64MB,一般设置为64MB~128MB;默认采用三副本机制。

文件被切分为Strip,通过矩阵运算生成若干个校验Strip,然后将这些Strip存储在多个节点中。

Strip大小可设置为512KB、256KB、128KB、32KB或16KB,保护级别可设置为N+1、N+2、N+3、N+4、N+2:1和N+3:1模式。
  • 当平均文件大小小于等于64KB时,设置条带值为16KB。
  • 当平均文件大小大于64KB且小于等于256KB时,设置条带值为32KB。
  • 当平均文件大小大于256KB且小于等于2048KB时,设置条带值为128KB。
  • 当平均文件大小大于2048KB且小于等于4096KB时,设置条带值为256KB。
  • 当平均文件大小大于4096KB时,设置条带值为512KB。

任务调度策略

采用本地优先原则、数据就近获取原则,尽可能将任务分配给靠近数据所在节点执行,减少网络中的数据搬迁量。

计算与存储物理分离,存储集群采用全对称架构的多个节点,所有计算节点到存储节点的路径开销相等。

翻译
下载文档
更新时间:2019-03-30

文档编号:EDOC1000162199

浏览量:30809

下载量:108

平均得分:
本文档适用于这些产品
相关文档
相关版本
Share
上一页 下一页