微信号:dellemc_tech

介绍:为戴尔易安信客户提供技术支持服务,为广大IT行业用户分享技术文章与行业信息。

Hadoop多租户部署,Isilon Access Zone功能与案例

2017-09-19 16:56 EMC中国技术社区

多租户是模式是企业云计算服务的必要条件,也是云计算的核心原则。它在企业在不同的业务单元间共享基础架构和数据信息中扮演者着关键角色。在数据存储层面,多租户意味着存储平台可以根据不同的需求,让数据以不同数据访问协议,应用,将业务单元、数据、应用之间实现隔离,且同时提供服务。Hadoop是目前行业内主要的数据分析平台,它由HDFS、MapReduce以及其他Hive、Pig、Sqoop、Flume等生态系统组成。在Hadoop环境中应用多租户的一大优势是可以为无论是内部或外部的客户提供数据分析即服务、Hadoop即服务,让IT组织可以更好地应对云计算转型。本篇白皮书介绍了EMC Isilon存储阵列的Access Zone功能面向Hadoop大数据分析应用的多租户支持与案例。


本篇白皮书的主要内容从企业数据分析的需求入手,描述了多租户功能特点,并着重介绍了Isilon的Access Zone多租户功能如何满足这些需求。主要分为以下4个部分:


企业数据分析中遇到的问题

原生态的Hadoop本身是不支持多租户的,而且它有一个最最主要的限制是,储在Hadoop集群中HDFS上的数据只能被所在Hadoop集群的相关应用所访问,如果其他应用需要访问存储在Hadoop集群中的数据,需要额外的ETL流程。而且,对于Hadoop集群中本身的计算来说,数据扩展起来成本相对比较高,而且不灵活。白皮书中详细描述了这些问题,并通过存储效率、可用性、数据获取、安全、性能等方面描述了这些需求。


多租户的需求与Isilon如何满足这些需求

这部分内容列出满足多租户的需求和Isilon横向扩展整理的 Access Zone如何实现这些需求。主要有以下几点:

  • 支持多租户:通过Access Zone隔离用户数据和租户(用户和用户组)。

  • 每个Access Zone支持混合的负载:包括Hadoop、R、HAWQ、Pig、Hive和其他应用,并且还支持不同供应商的Hadoop应用,例如Cloudera、Pivotal HD、Apache Hadoop,Horonworks等等,而且数据允许被Hadoop 1.0和2.0同时访问。

  • 一个Access Zone中存储不同的类型数据集:包括视频、图片、半结构化数据、非结构化数据等大量不同类型的数据。

  • 支持多协议访问:同一份数据可以支持多协议NFS、HTTP、SMB等混合应用负载。

  • Access Zone安全验证:支持多种验证方式、支持配额、存储池和其他企业级应用。


Access Zone的细分功能介绍

白皮书的后半部分根据隔离租户与数据集、混合应用负载支持、管理数据集几个方面介绍了Access Zone的细节功能。


用例

最后白皮书例举了两个用例,一个是某大学通过Isilon解决数据孤岛的案例,另外一个是让一份数据服务于不同Hadoop集群的例子。


综合来看,这篇白皮书和以往的解决方案白皮书略有不同,它是一篇功能性介绍的文章,就Isilon的Access Zone这一个功能展开比较详细的介绍,并提供一些配置的案例与用户案例。为希望了Hadoop多租户部署的读者提供参考。




其它参考文章:

说说EMC解决方案中的那些产品和案例



更多精彩内容,请点击阅读原文”进行查看!

如何每天都能收到如此精彩的文章?

①点击右上角点击查看官方账号”→点击关注

②长按并识别下图中的二维码,直接访问EMC中文支持论坛


 
戴尔易安信技术支持 更多文章 满足变化中存储需求的高效架构 谈重复数据删除技术的风险和预防之策 NAS环境中的备份 制定备份策略需要考虑哪些因素? 备份系统的设计和备份技术的选择
猜您喜欢 【大数据周记】一周大数据News总结(0907-0913) [Android] 优雅的处理登录页面跳转逻辑 距离全方位掌握Apache spark 2.0你就差最后两步 log4j-over-slf4j与slf4j-log4j12共存stack overflow异常分析 麦肯锡:做好3件事,让员工死心塌地