微信号:dellemc_tech

介绍:为戴尔易安信客户提供技术支持服务,为广大IT行业用户分享技术文章与行业信息。

EMC存储上的大数据 – HDFS on Isilon(一)

2016-07-05 18:23 EMC中文技术社区

     企业一直在处理快速增长的数据量(也称为大数据)的存储和管理问题。

    

     本文为系列的第四篇,介绍HDFS与Isilon的集成功能。

 

     HDFS中的所有通讯都根据TCP/IP协议分层,因此Isilon已将HDFS层作为一种适用于OneFS的网络协议集成。借助于该集成,用户可以将横向扩展NAS平台用作Hadoop核心组件以及任何生态系统组件的Hadoop体系结构的原生部分。(关于更多Isilon OneFS的介绍,请看参考中列出的几篇文档)

     

     另外,客户还能借此在整个Hadoop工作流中充分利用OneFS的简单性、灵活性、可靠性和效率。

 


     上图显示了在通过网络协议(HDFS)将Isilon横向扩展NAS集成到Hadoop计算群集时的体系结构。这使得Isilon横向扩展NAS可以成为企业Hadoop工作流中的一等Hadoop公民。它还允许将Hadoop工作流的以下两个核心组件分开:计算层(MapReduce层)以及Hadoop分布式文件系统(HDFS,或存储层)。由于目前可用的网络带宽已经显著提高,而且OneFS在构建时在其核心使用了分布式并行的概念,因此企业客户可以在其使用Hadoop的数据分析工作流中利用共享的横向扩展存储模型。


     下面一张图是深入显示了与Isilon横向扩展NAS协同工作的Hadoop的所有核心组件以及生态系统组件。

 

 

     目前,EMC Isilon OneFS文件系统可以在单一文件系统和单一全局命名空间中扩展至15PB以上。在该容量下,它还可以扩展至85GB/s并发吞吐量。有关OneFS如何线性扩展至该容量以及Hadoop工作流性能要求的详细信息,请参阅specsfs2008基准测试结果(www.spec.org


     后续文章中会介绍Hadoop工作流中利用EMC Isilon横向扩展NAS的重大优势。



其它参考文章:

EMC存储上的大数据 – Hadoop软件概述

EMC存储上的大数据 – Hadoop生态系统与体系结构

EMC存储上的大数据 – 利用大数据增强业务可见性


更多精彩内容,请点击阅读原文”进行查看!

如何每天都能收到如此精彩的文章?

①点击右上角点击查看官方账号”→点击关注

②长按并识别下图中的二维码,直接访问EMC中文支持论坛


 
戴尔易安信技术支持 更多文章 备份和归档的区别 云计算的三种模型:公有云、私有云和混合云 正确描述IO类型 【大咖讲网络】谁动了我的网络 浅析I/O处理过程与存储性能的关系
猜您喜欢 Android基于XMPP开发(三)【注册、登录、修改密码、修改头像】 如何使用HTTP标头来保护您的Web应用程序 最新独家原创嵌入式教材,pdf版免费领啦! 第 1 期技术微周刊,又一家公司删生产数据库 周末闲聊:程序员想让对象一辈子跟你的秘籍