微信号:dellemc_tech

介绍:为戴尔易安信客户提供技术支持服务,为广大IT行业用户分享技术文章与行业信息。

EMC存储上的大数据 – HDFS on Isilon(二)

2016-07-06 17:22 EMC中文技术社区

 

     企业一直在处理快速增长的数据量(也称为大数据)的存储和管理问题。


     本文为系列的第五篇,介绍HDFS与Isilon的集成简单的特点。

 

     EMC Isilon OneFS消除了与如下任务相关的复杂性:管理磁盘池;Isilon允许用户对阵列机架之上磁盘进行调配文件系统资源,这种做法相比管理大量Hadoop节点上的存储资源来的更加集中与简单。同时基于阵列的文件系统资源调配还能提供合适的数据保护机制。因此,企业的数据集随时可供访问并且受到充分的故障保护。OneFS让Hadoop变得更加简单易用,让企业可以专注于利用其数据来推导可加速业务发展的见解。这使得企业能够专注于使用Hadoop来发掘重要趋势,并且识别有助于加速业务发展的机会,而不是花费时间来管理其Hadoop生态系统的存储基础架构。


     扩展Isilon存储通常只需要不到60秒的时间,集群在线时只需按下按钮即可完成扩展。要将Isilon节点添加至现有集群,只需将其安装到机架上,开启电源,然后要求其加入现有的Isilon横向扩展集群。该“加入”过程可确保附加容量即刻刻用,而且在要加入的Isilon节点上运行的是正确的OneFS版本和配置。这样,不但可以在60秒钟内得到附加容量,而且还会运行一个后台作业,以在整个Isilon集群均匀地重新平衡当前利用率,从而避免数据热点。此容量扩展全部都是在横向扩展存储保持在线并且服务于MapReduce作业的情况下完成的,而且不会产生任何影响。


     除了支持HDFS协议以外,OneFS还支持NFS、CIFS\SMB、FTP、HTTP、iSCSI、REST等协议。Isilon HDFS实施是OneFS文件系统和HDFS客户端之间的一个轻量级协议层。这意味着文件存储在Isilon集群上的标准POSIX兼容文件系统中。如此,组织可真正地轻松利用上述任意协议,为其Hadoop工作流接受数据,或者将Hadoop得出的业务关键见解导出到数据分析工作流的其他组件。如果数据已经存储在EMC Isilon横向扩展NAS上,客户只要使其Hadoop计算环境指向OneFS,而不必为Hadoop工作流执行耗时耗资源的加载操作。OneFS使企业可以轻松地在其Hadoop环境中将HDFS层作为一个真正的、经过验证的文件系统使用。

 




其它参考文章:

EMC存储上的大数据 – Hadoop软件概述

EMC存储上的大数据 – Hadoop生态系统与体系结构

EMC存储上的大数据 – 利用大数据增强业务可见性

EMC存储上的大数据 – HDFS on Isilon(一)



更多精彩内容,请点击阅读原文”进行查看!

如何每天都能收到如此精彩的文章?

①点击右上角点击查看官方账号”→点击关注

②长按并识别下图中的二维码,直接访问EMC中文支持论坛



 
戴尔易安信技术支持 更多文章 备份和归档的区别 云计算的三种模型:公有云、私有云和混合云 正确描述IO类型 【大咖讲网络】谁动了我的网络 浅析I/O处理过程与存储性能的关系
猜您喜欢 Stack Overflow报告给开发者哪些启示 | 技术解读 前端必会的js知识总结整理 snort部分源码读后感 【干货】超级有用的9个PHP代码片段 经典的机器学习方面源代码库(数据挖掘,计算机视觉,模式识别,信息检索)