微信号:dellemc_tech

介绍:为戴尔易安信客户提供技术支持服务,为广大IT行业用户分享技术文章与行业信息。

EMC存储上的大数据 – HDFS on Isilon(一)

2017-06-20 17:12 EMC中国技术社区

  企业一直在处理快速增长的数据量(也称为大数据)的存储和管理问题。

    

     本文为系列的第四篇,介绍HDFS与Isilon的集成功能。

 

     HDFS中的所有通讯都根据TCP/IP协议分层,因此Isilon已将HDFS层作为一种适用于OneFS的网络协议集成。借助于该集成,用户可以将横向扩展NAS平台用作Hadoop核心组件以及任何生态系统组件的Hadoop体系结构的原生部分。(关于更多Isilon OneFS的介绍,请看参考中列出的几篇文档)

     

     另外,客户还能借此在整个Hadoop工作流中充分利用OneFS的简单性、灵活性、可靠性和效率。

 


     上图显示了在通过网络协议(HDFS)将Isilon横向扩展NAS集成到Hadoop计算群集时的体系结构。这使得Isilon横向扩展NAS可以成为企业Hadoop工作流中的一等Hadoop公民。它还允许将Hadoop工作流的以下两个核心组件分开:计算层(MapReduce层)以及Hadoop分布式文件系统(HDFS,或存储层)。由于目前可用的网络带宽已经显著提高,而且OneFS在构建时在其核心使用了分布式并行的概念,因此企业客户可以在其使用Hadoop的数据分析工作流中利用共享的横向扩展存储模型。


     下面一张图是深入显示了与Isilon横向扩展NAS协同工作的Hadoop的所有核心组件以及生态系统组件。

 

 

     目前,EMC Isilon OneFS文件系统可以在单一文件系统和单一全局命名空间中扩展至15PB以上。在该容量下,它还可以扩展至85GB/s并发吞吐量。有关OneFS如何线性扩展至该容量以及Hadoop工作流性能要求的详细信息,请参阅specsfs2008基准测试结果(www.spec.org


     后续文章中会介绍Hadoop工作流中利用EMC Isilon横向扩展NAS的重大优势。




其它参考文章:

【存储入门必读】存储基础知识



更多精彩内容,请点击阅读原文”进行查看!

如何每天都能收到如此精彩的文章?

①点击右上角点击查看官方账号”→点击关注

②长按并识别下图中的二维码,直接访问EMC中文支持论坛



 
戴尔易安信技术支持 更多文章 Raid-7小七的故事 【新年快乐】EMC中文支持论坛简报(2016年12月下) 2017 新年快乐! 浅谈硬盘构造及IOPS的计算 公共、私有或混合:哪种云最适合 您的应用程序?
猜您喜欢 对话Bruce Sterling:人类为什么要关心Siri的「感受」? 机器学习中如何处理缺失数据? 前端开发真的没有后端工资高? 1900页Python系列PPT分享六:面向对象程序设计(86页) 徐敏:网络安全的博弈之术