所选语种没有对应资源,请选择:

本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>

提示

尊敬的用户,您的IE浏览器版本过低,为获取更好的浏览体验,请升级您的IE浏览器。

升级

OceanStor 9000 V300R006C10 文件系统特性指南 05

评分并提供意见反馈 :
华为采用机器翻译与人工审校相结合的方式将此文档翻译成不同语言,希望能帮助您更容易理解此文档的内容。 请注意:即使是最好的机器翻译,其准确度也不及专业翻译人员的水平。 华为对于翻译的准确性不承担任何责任,并建议您参考英文文档(已提供链接)。
简介

简介

介绍HDFS特性的背景、定义、目的和受益。

背景

HDFS(Hadoop Distributed File System)是开源Hadoop的主要组件之一,适用于大规模数据集存储。当前,HDFS存在如下主要问题:

  • 容量利用率低,成本过高

    HDFS采用副本机制(一般为三副本)存储数据。以10PB业务数据为例,在采用三副本机制时,实际存储到硬盘中的数据量将放大为30PB,容量利用率仅为33%。考虑硬件采购、机房空间占用、能源消耗等多方面因素,实际存储成本是有效数据存储成本的2倍以上,且随着数据存储量的不断增大,此问题愈加突出。

  • 硬件容错能力低

    采用三副本机制时,最大仅容忍2个数据节点故障,且开源HDFS仅可容忍1个元数据节点故障。

此外,HDFS不支持远程复制特性,因而无法提供业务级容错及异地容灾能力;不支持分级存储、配额管理、病毒扫描、NDMP备份等各类商用增值服务,给海量数据的使用和管理带来不便。

为解决上述问题,OceanStor 9000引入HDFS特性。

定义

OceanStor 9000 HDFS特性也称为HDFS接口特性,通过在Hadoop节点与客户端中部署华为HDFS Plugin,将HDFS协议的文件访问请求转换为NFS协议请求,从而实现将Hadoop业务数据直接存储到OceanStor 9000中。简要示意如图14-1所示。
图14-1  HDFS特性示意

目的和受益

HDFS特性给企业带来的目的和受益如表14-1所示。

表14-1  HDFS特性的目的和受益

目的和受益

详细说明

大幅提升容量利用率,降低总体拥有成本

容量利用率提升至60%以上,最高可达95%。

提升硬件容错能力

不区分数据与元数据节点,最大可容忍4节点失效(指采用N+4保护级别,此时容量利用率范围为60%~80%)。

为Hadoop业务数据提供专业存储增值服务,最大化数据价值

将Hadoop业务数据存储在OceanStor 9000中后,通过OceanStor 9000提供的丰富基本功能和增值功能,可允许外部NFS/CIFS/FTP客户端访问,可启用远程复制、快照、分级存储、配额管理、病毒扫描、NDMP备份等各类商用增值服务。此外,待分析数据迁入Hadoop集群时,可灵活选择NFS/CIFS/FTP/HDFS接口。

翻译
下载文档
更新时间:2019-03-30

文档编号:EDOC1000162199

浏览量:29230

下载量:105

平均得分:
本文档适用于这些产品
相关文档
相关版本
Share
上一页 下一页