微信号:dellemc_tech

介绍:为戴尔易安信客户提供技术支持服务,为广大IT行业用户分享技术文章与行业信息。

Hadoop as Service,HaaS混合云部署解决方案

2017-09-18 20:15 EMC中国技术社区

这篇解决方案主要介绍了如何在现有的EMC联邦的混合云环境中快速部署Hadoop即服务。HaaS的实现是通过在EMC联邦混合云提供的IaaS基础上,集成VMware Big Data Extensions、Pivotal HD、和EMC Isilon,并通过VMware vRealize Automation进行控制的、可供最终用户自助服务、自动化的Hadoop部署解决方案。



白皮书的主要内容介绍了这些实现HaaS的组件的具体操作与配置的步骤,分别是:


VMware Big Data Extensions(BDE)


Serengeti是一个VMware的开源项目,它让Hadoop可以在VMware vCenter管理的环境中运行。而VMware Big Data Extensions是Serengeti的商业版本,它运行于Serngeti Management Server之上,提供了额外的诸如针对vSphere Web Client的GUI、优化vSphere中物理计算资源的分配等等企业级HaaS功能。而这些功能需要配合Pivotal HD(PHD)安装后才能够实现。白皮书中第三章提供了详细的安装PHD与配置BDE的过程。安装完BDE和PHD之后,用户可以通过在GUI中创建虚拟的Hadoop集群(关于虚拟化Hadoop集群的优势可以参考:)、定义发布版本、拓扑、计算规模、节点的类型等等。



支持HDFS的Isilon存储阵列


Isilon作为数据存储的载体,当通过BDE结合Isilon创建Hadoop集群的时候,Hadoop的数据节点可以根据配置创建在Isilon阵列上,并通过Secure Access Zone URL实现安全隔离。Isilon的横向扩展架构能够与Hadoop紧密集成,方便计算端和存储端都可以横向扩展。白皮书的第四章提供了Isilon配置HDFS的详细步骤以及设置Secure Access Zone的方法。


自定义的VMware vRealize Automation工作流


通过VMware vCloud Orchestrator中自定义的工作流,可以实现Hadoop集群的自动化,并通过自助服务门户提供给最终用户,将经过预先配置好的Hadoop部署,根据不同情形让用户在目录中进行选择并部署。白皮书的第5章提供了创建工作流的步骤。


总的来看,这篇白皮书花了大部分内容介绍了在EMC的混合云中实现HaaS的三个组件的具体配置过程,是一篇很好的配置参考文档。




其它参考文章:

说说EMC解决方案中的那些产品和案例



更多精彩内容,请点击阅读原文”进行查看!

如何每天都能收到如此精彩的文章?

①点击右上角点击查看官方账号”→点击关注

②长按并识别下图中的二维码,直接访问EMC中文支持论坛



 
戴尔易安信技术支持 更多文章 EMC和戴尔超融合是什么关系?这位CTO来告诉你! 数据缩减技术效率对比 满足变化中存储需求的高效架构 谈重复数据删除技术的风险和预防之策 NAS环境中的备份
猜您喜欢 记在项目管理中的一些体会 | 岂安低调分享 一起聊聊:是什么让你从 iOS 转向 Andriod ? 最适合做程序员的6类人,你属于哪一类呢? 微博技术大V老师木的机器学习水平怎么样? 入门级别UI设计规范(IOS APP版)