微信号:dellemc_tech

介绍:为戴尔易安信客户提供技术支持服务,为广大IT行业用户分享技术文章与行业信息。

EMC存储上的大数据 – 软件定义存储数据服务与HDFS

2017-06-30 17:01 戴尔易安信技术支持

     企业一直在处理快速增长的数据量(也称为大数据)的存储和管理问题。


     本文为系列的第十二篇,介绍了EMC ViPR针对HDFS的数据服务。

 

ViPR全局数据服务:

 

     ViPR全局数据服务允许管理员和开发人员开发跨阵列并支持混合数据类型的新全球数据服务。全局数据服务属于存储抽象化,反映数据类型(文件、对象、数据块和混合数据类型)、访问协议(iSCSI、NFS、REST等)以及持久性、可用性和安全性特征(快照、复制等)的组合。ViPR全局数据服务示例包括:


文件中对象数据服务:


     EMC ViPR文件中对象数据服务提供了将非结构化数据(例如,图像、视频、音频、联机文档)作为基于文件中对象的存储(例如EMC VNX、Isilon和NetApp存储系统)进行存储、访问和操作,而不必重写或重新处理现有基于文件的应用程序。ViPR文件中对象数据服务是在不同硬件平台上透明运行的软件层。最初,ViPR文件中对象数据服务为用户提供了使用Amazon S3、OpenStack Swift和EMC Atmos API管理对象数据以及访问文件系统上的数据的功能。ViPR文件中对象数据服务提供对文件阵列的直接路径访问。特别是,由于企业写入到文件系统的现有应用程序不必重新编码即可利用ViPR,因此他们可以从此功能受益。


HDFS数据服务:


     ViPR作为支持HDFS的优秀平台之一,它可以让组织利用现有的数据存储阵列(例如VNX,Isilon和NetApp)在主流的Hadoop发行上运行大数据分析。基于Hadoop以及成为现阶段企业在大数据之旅上的主要研究与部署对象,且HDFS是Hadoop的核心分布式文件系统,许多企业在实验室中都拥有HDFS项目。然而,许多企业发现Hadoop在部署和扩展上很困难。而ViPR则可以帮助组织利用现有的存储来解决这种困难,而且这种解决方案是被EMC所验证的。相比部署只针对大数据分析的专有存储架构,利用位于已有存储资源的虚拟化ViPR HDFS数据服务,无论是在资源利用率和管理性上都拥有明显的优势。

 

 

     鉴于Hadoop的发展趋势,灵活的软件模型在未来允许计算与存储分离。ViPR也将在未来支持专用的硬件设备,在这种情况下,ViPR可以更好的充当Hadoop的企业级存储子系统。ViPR同时拥有基于地域复制的灾难恢复功能。而且,ViPR还支持将Hadoop分布式文件系统(HDFS)支持将对使用对象和文件数据服务的数据密集型应用程序应用位置感知。处理工作在数据所在的执行器节点上执行,而不必再遍历网络,从而减少了主干网络的流量。

 

 

总结来说,ViPR的优势有:

  • 解决需要部署专用Hadoop专用存储的局限性

  • 允许HDFS运行在已有的存储硬件之上

  • 支持HDFS/对象/文件不同的存储方式

  • 灵活的软件模型



其它参考文章:

【存储入门必读】存储基础知识



更多精彩内容,请点击阅读原文”进行查看!

如何每天都能收到如此精彩的文章?

①点击右上角点击查看官方账号”→点击关注

②长按并识别下图中的二维码,直接访问EMC中文支持论坛


 
戴尔易安信技术支持 更多文章 【存储入门必读】SAN网络性能问题排错指南 【存储入门必读】存储性能瓶颈的成因、定位与排查 【存储入门必读】存储性能瓶颈的成因、定位与排查 什么是zone?如何做zone?如何做好zone? 【存储入门必读】浅谈硬盘构造及IOPS的计算
猜您喜欢 腊月二十三,平安健康过小年 十分钟理解IntentFilter的匹配规则 阿里聚安全一周一讯 | 为防iPhone间谍软件,苹果发布iOS 9.3.5、微信曝远程任意代码执行漏洞,可被远程控制 【震撼】看看亚马逊最先进的第八代物流中心 JSON 的正确用法:Pyhong、MongoDB、Js与Ajax