微信号:dellemc_tech

介绍:为戴尔易安信客户提供技术支持服务,为广大IT行业用户分享技术文章与行业信息。

EMC存储上的大数据 – 软件定义存储数据服务与HDFS

2016-07-15 18:14 EMC中文技术社区

     企业一直在处理快速增长的数据量(也称为大数据)的存储和管理问题。


     本文为系列的第十二篇,介绍了EMC ViPR针对HDFS的数据服务。

 

ViPR全局数据服务:

 

     ViPR全局数据服务允许管理员和开发人员开发跨阵列并支持混合数据类型的新全球数据服务。全局数据服务属于存储抽象化,反映数据类型(文件、对象、数据块和混合数据类型)、访问协议(iSCSI、NFS、REST等)以及持久性、可用性和安全性特征(快照、复制等)的组合。ViPR全局数据服务示例包括:


文件中对象数据服务:


     EMC ViPR文件中对象数据服务提供了将非结构化数据(例如,图像、视频、音频、联机文档)作为基于文件中对象的存储(例如EMC VNX、Isilon和NetApp存储系统)进行存储、访问和操作,而不必重写或重新处理现有基于文件的应用程序。ViPR文件中对象数据服务是在不同硬件平台上透明运行的软件层。最初,ViPR文件中对象数据服务为用户提供了使用Amazon S3、OpenStack Swift和EMC Atmos API管理对象数据以及访问文件系统上的数据的功能。ViPR文件中对象数据服务提供对文件阵列的直接路径访问。特别是,由于企业写入到文件系统的现有应用程序不必重新编码即可利用ViPR,因此他们可以从此功能受益。


HDFS数据服务:


     ViPR作为支持HDFS的优秀平台之一,它可以让组织利用现有的数据存储阵列(例如VNX,Isilon和NetApp)在主流的Hadoop发行上运行大数据分析。基于Hadoop以及成为现阶段企业在大数据之旅上的主要研究与部署对象,且HDFS是Hadoop的核心分布式文件系统,许多企业在实验室中都拥有HDFS项目。然而,许多企业发现Hadoop在部署和扩展上很困难。而ViPR则可以帮助组织利用现有的存储来解决这种困难,而且这种解决方案是被EMC所验证的。相比部署只针对大数据分析的专有存储架构,利用位于已有存储资源的虚拟化ViPR HDFS数据服务,无论是在资源利用率和管理性上都拥有明显的优势。

 

 

     鉴于Hadoop的发展趋势,灵活的软件模型在未来允许计算与存储分离。ViPR也将在未来支持专用的硬件设备,在这种情况下,ViPR可以更好的充当Hadoop的企业级存储子系统。ViPR同时拥有基于地域复制的灾难恢复功能。而且,ViPR还支持将Hadoop分布式文件系统(HDFS)支持将对使用对象和文件数据服务的数据密集型应用程序应用位置感知。处理工作在数据所在的执行器节点上执行,而不必再遍历网络,从而减少了主干网络的流量。

 

 

总结来说,ViPR的优势有:

  • 解决需要部署专用Hadoop专用存储的局限性

  • 允许HDFS运行在已有的存储硬件之上

  • 支持HDFS/对象/文件不同的存储方式

  • 灵活的软件模型



其它参考文章:

EMC存储上的大数据 – Hadoop软件概述

EMC存储上的大数据 – Hadoop生态系统与体系结构

EMC存储上的大数据 – 利用大数据增强业务可见性

EMC存储上的大数据 – HDFS on Isilon(一)

EMC存储上的大数据 – HDFS on Isilon(二)

EMC存储上的大数据 – HDFS on Isilon(三)

EMC存储上的大数据 – HDFS存储可靠性

EMC存储上的大数据 – 基础架构与数据分析

EMC存储上的大数据 – 敏捷分析与可行性洞察

EMC存储上的大数据 – 大数据分析实施路线

EMC存储上的大数据–软件定义存储模型



更多精彩内容,请点击阅读原文”进行查看!

如何每天都能收到如此精彩的文章?

①点击右上角点击查看官方账号”→点击关注

②长按并识别下图中的二维码,直接访问EMC中文支持论坛


 
戴尔易安信技术支持 更多文章 备份和归档的区别 云计算的三种模型:公有云、私有云和混合云 正确描述IO类型 【大咖讲网络】谁动了我的网络 浅析I/O处理过程与存储性能的关系
猜您喜欢 FIT2CLOUD正式支持VMWare vSphere和OpenStack,帮助用户统一管理不同类型云资源 2015年高级师资Android培训暑期班火热报名中 Electron开发,如何入坑? 开源巨头RedHat:容器、OpenStack造就“云蔓延”时代 Spotify的机器管理进化之路