微信号:dellemc_tech

介绍:为戴尔易安信客户提供技术支持服务,为广大IT行业用户分享技术文章与行业信息。

大数据即服务,ECS的Hadoop企业级支持

2017-09-13 17:25 EMC中国技术社区

EMC在转型为云计算公司之前,一直是一家领先的数据存储公司。而这种数十年的数据存储技术与产品积累让EMC在转型到云和大数据上的过程中,能充分利用原有的技术优势, EMC除了通过健壮的基础架构产品帮助客户IT向云计算转型之外(本篇连载的中之前的文章有比较详细的介绍)。EMC还帮助客户利用大数据获得更多的业务价值。通过EMC提供的技术与产品,用户能够在拥抱新技术所带来变化之外,还能充分利用现有的基础架构,让已有的IT基础架构快速地融入到新的技术浪潮中一直以来是EMC在大数据方面的一个发展方向。另外,EMC还迎合业界发展,在软件定义数据中心、软件定义存储等方面不断推出新的产品满足客户在数据分析方面新的需求。而这些创新同时也完全保留了EMC产品原有的高可用,企业级的特点。使得客户能够快速上手,方便部署于管理,并相比其他解决方案提供更多的附加功能,且更节省人力成本。本篇开始,楼主会介绍这些有关于EMC在大数据方面的解决方案。


这部分的第一篇,我们先来看一下EMC弹性云存储(EMC Elastic Cloud Storage)针对Hadoop的企业级支持。Hadoop及其生态系统从诞生至今,一直是大数据分析中的主力军。HDFS则是Hadoop中数据存储的载体,Hadoop及其生态系统中的软件都需要通过这个分布式文件系统来获取数据,然后将处理后的数据再次存储到HDFS作为结果。



本篇白皮书对Hadoop及其生态系统进行了一个简短的介绍之后。列出了一些原生态HDFS在存储上的限制。它们是:



可以看到,原生态的HDFS其实在高可用,多协议支持和存储效率及多租户支持上还是存在某些限制的,而这些功能对于企业用户又是必不可少的。所以,通过ECS,用则可以在享受Hadoop带来的大数据分析的业务优势之外,再获得更高的企业级存储的服务标准。ECS架构如下:



ECS能够为企业的Hadoop的数据存储提供以下的特点:

  • 大规模扩展:支持PB到EB级的数据,能够将计算与存储节点分开进行扩展。

  • 多协议支持:ECS中的数据不但可以通过HDFS为Hadoop访问,还能够通过对象API为其他应用服务,用户无需将HDFS中的数据再次拷贝其他地方供其它应用使用。

  • 支持跨地域保护:支持跨站点的灾难恢复。

  • 多站点访问:数据可以在异地第一时间被应用访问。

  • 效率与灵活:传输效率增加并且用户可以用不同供应商提供的Hadoop应用程序访问ECS中的一份数据拷贝


总得来看,Hadoop是一个低成本、高扩展、分布式的分析引擎,可以降低处理大型数据集的时间与提升数据分析的效率,为企业提供有价值的业务见解。而通过结合ECS部署Hadooo,企业还能够充分享受到软件定义存储架构为大数据分析所带来的简易、灵活和快速的部署体验。




其它参考文章:

说说EMC解决方案中的那些产品和案例



更多精彩内容,请点击阅读原文”进行查看!

如何每天都能收到如此精彩的文章?

①点击右上角点击查看官方账号”→点击关注

②长按并识别下图中的二维码,直接访问EMC中文支持论坛


 
戴尔易安信技术支持 更多文章 VMAX全闪存部署Splunk性能测试与最佳实践 RecoverPoint拷贝测试、生产数据恢复和故障切换的实践 Fibre Channel over IP protocol(FCIP)基本概念 如何在安装或更换硬件组件时避免静电放电损害(ESD) EMC和戴尔超融合是什么关系?这位CTO来告诉你!
猜您喜欢 思考,快与慢(P88) 【破风】互联网出海这一年 【征文】我的2014年度征文盘点 如何用数据驱动产品和运营 Webpack 2 快速入门