所选语种没有对应资源,请选择:

本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>

提示

尊敬的用户,您的IE浏览器版本过低,为获取更好的浏览体验,请升级您的IE浏览器。

升级

OceanStor 9000 V300R006C10 文件系统特性指南 05

评分并提供意见反馈 :
华为采用机器翻译与人工审校相结合的方式将此文档翻译成不同语言,希望能帮助您更容易理解此文档的内容。 请注意:即使是最好的机器翻译,其准确度也不及专业翻译人员的水平。 华为对于翻译的准确性不承担任何责任,并建议您参考英文文档(已提供链接)。
约束与限制

约束与限制

介绍HDFS特性的约束与限制。

对接后FusionInsight Hadoop的功能约束

详细介绍对接OceanStor 9000后,FusionInsight Hadoop存在的主要功能约束。

HDFS Plugin支持对接的FusionInsight Hadoop组件与实例,如表14-6所示。

表14-6  HDFS Plugin支持对接的FusionInsight Hadoop组件与实例

组件

实例

HDFS

DataNode

JournalNode

NameNode

Zkfc

Hive

HiveServer

MetaStore

WebHCat

HBase

HMaster

RegionServer

ThriftServer

Mapreduce

JobHistoryServer

Yarn

NodeManager

ResourceManager

Spark

JDBCServer

JobHistory

SparkResource

Solr

SolrServer

SolrServerAdmin

HDFS Plugin支持的对外接口包括:Shell和Java API,不支持C API和HTTP REST API。

另外,数据迁移与扩容场景中存在如下约束:

  • 对接前HBase、Hive表中如果存在数据,则对接后需要手工处理。

    如果需要保留这些数据,请完成相应数据迁移操作;如果不需要保留,则需要手工删除并重启Hadoop集群。要了解详细信息,请参见(可选)迁移业务数据

  • 迁移HDFS数据时,无法迁移NameNode中的元数据信息,包括文件的目录权限、属组等。

    对于采用Kerberos认证的Hadoop集群,迁移后数据的原有权限失效,统一转变为777(即rwxrwxrwx)。

  • 扩容Hadoop节点后无法立即生效,需要按扩容Hadoop节点完成相应处理。

  • 对接完成后,使用Hive组件时,创建表操作会有ERROR异常提示,但不影响使用。

对接后Cloudera Hadoop的功能约束

详细介绍对接OceanStor 9000后,Cloudera Hadoop存在的主要功能约束。

HDFS Plugin支持对接的Cloudera Hadoop组件与实例,如表14-7所示。

表14-7  HDFS Plugin支持对接的Cloudera Hadoop组件与实例

组件

实例

HDFS

DataNode

NameNode

SeconaryNameNode

Hive

Hive Metastore Server

HiveServer

WebHCat Server

HBase

HBase Thrift Server

RegionServer

Master

MapReduce

JobTracker

TaskTracker

Yarn

JobHistory Server

ResourceManager

NodeManager

Spark

History Server

Solr

Solr Server

HDFS Plugin支持的对外接口包括:Shell和Java API,不支持C API和HTTP REST API。

另外,数据迁移与扩容场景中存在如下约束:

  • 对接前HBase、Hive表中如果存在数据,则对接后需要手工处理。

    如果需要保留这些数据,请完成相应数据迁移操作;如果不需要保留,则需要手工删除并重启Hadoop集群。要了解详细信息,请参见(可选)迁移业务数据

  • 迁移HDFS数据时,无法迁移NameNode中的元数据信息,包括文件的目录权限、属组等。

    对于采用Kerberos认证的Hadoop集群,迁移后数据的原有权限失效,统一转变为777(即rwxrwxrwx)。

  • 扩容Hadoop节点后无法立即生效,需要按扩容Hadoop节点完成相应处理。

翻译
下载文档
更新时间:2019-03-30

文档编号:EDOC1000162199

浏览量:29371

下载量:107

平均得分:
本文档适用于这些产品
相关文档
相关版本
Share
上一页 下一页