微信号:dellemc_tech

介绍:为戴尔易安信客户提供技术支持服务,为广大IT行业用户分享技术文章与行业信息。

EMC存储上的大数据–软件定义存储模型

2016-07-14 17:28 EMC中文技术社区

     企业一直在处理快速增长的数据量(也称为大数据)的存储和管理问题。


     本文为系列的第十一篇,介绍了EMC ViPR针对的大数据环境的存储模型与体系结构。

 


软件定义的存储模型:

 

     EMC ViPR是存储虚拟化软件平台,它将物理阵列中的存储(无论是基于文件、块还是对象)抽象为虚拟共享存储资源池,从而跨物理阵列实现灵活的存储使用模型,并提供应用程序和创新型数据服务。ViPR从底层硬件阵列抽象出存储控制路径,以便可以在软件中集中执行多供应商存储基础架构的访问和管理。如下图:


 

总体而言,ViPR的软件定义存储模型的特点有三个:


  1. ViPR所实现的将存储路径与数据路径分开,通过抽象出控制路径,存储管理将在虚拟层执行,使得用户能够将其存储池划分为许多虚拟存储阵列。并由策略以独有的方式管理他们,这方式类似于将服务器划分为多个虚拟机。但是,ViPR会干预文件和块存储的数据路径。控制路径与数据路径的这种分离,不仅让ViPR能够集中执行所有数据调配和数据管理任务,而且允许应用程序访问数据和块数据,因为他们始终必须继续使用存储阵列中嵌入的独特数据服务。

  2. ViPR还提供块和文件控制服务,这些服务将物理块和文件存储阵列的所有功能作为虚拟服务进行提供。通过控制服务,用户可管理块卷,文件系统的高级保护服务,例如快照、克隆和复制。相比公有云中的虚拟存储,ViPR可以不需要放弃那些存储阵列的高级功能,同时对存储进行虚拟化。

  3. ViPR还提供了更多扩展,管理员和开发人员可以创建跨阵列的数据服务。例如,开发人员创建对象存储在文件服务器上运行,并利用文件服务器的性能。并且让对象存储和文件服务器同时通过数据路径被访问,再例如,组织可以在高性能的NAS设备上存储、访问和操作对象,而不必重写现有基于文件的应用程序。开发人员可以在软件中一次创建新的阵列功能,然后再任何阵列中运行,也不必执行重写。



ViPR体系结构:

 

     ViPR使用多供应商存储环境看起来就像一个大的虚拟阵列。ViPR使用链接到底层阵列的软件适配器,这类似于设备驱动程序通过设备与PC兼容所采用的方式。ViPR提供了开放式的API,因此,任何供应商、合作伙伴和客户都可以构建新的适配器以添加新阵列。这创建了可扩展的“即插即用”存储环境,从而可以自动连接,发现和映射阵列、主机和SAN结构。


 

     ViPR隐藏了所有底层存储阵列的复杂性,并展示了其作为数据服务的核心功能,同时还保留了阵列的特有属性。存储管理员然后可以在ViPR中创建代表特有应用程序工作负载所需的功能集和虚拟存储池。例如,数据有高性能块存储特征的虚拟存储池来适合事务性工作负载。诸如在线文件和内容共享等云应用程序对性能不敏感,在能够更经济地提供必要的数据保护和可用性级别的普通廉价硬盘上就能运行的很好。或者针对大数据分析环境,对使用对象和文件数据服务的密集型应用程序,利用混合文件与对象,利用高性能的NAS作为存储。对于上述任意一种情况,用户都可以根据其工作负载需求订购虚拟存储池。用户不需要了解或关心将为其应用程序提供数据服务的底层硬件和软件的具体信息。这都得益于ViPR不是在特定阵列中调配空间,而是让存储管理员能够提供独特的,可自定义的硬件和软件资源组合作为可使用的数据服务。



其它参考文章:

EMC存储上的大数据 – Hadoop软件概述

EMC存储上的大数据 – Hadoop生态系统与体系结构

EMC存储上的大数据 – 利用大数据增强业务可见性

EMC存储上的大数据 – HDFS on Isilon(一)

EMC存储上的大数据 – HDFS on Isilon(二)

EMC存储上的大数据 – HDFS on Isilon(三)

EMC存储上的大数据 – HDFS存储可靠性

EMC存储上的大数据 – 基础架构与数据分析

EMC存储上的大数据 – 敏捷分析与可行性洞察

EMC存储上的大数据 – 大数据分析实施路线



更多精彩内容,请点击阅读原文”进行查看!

如何每天都能收到如此精彩的文章?

①点击右上角点击查看官方账号”→点击关注

②长按并识别下图中的二维码,直接访问EMC中文支持论坛


 
戴尔易安信技术支持 更多文章 备份和归档的区别 云计算的三种模型:公有云、私有云和混合云 正确描述IO类型 【大咖讲网络】谁动了我的网络 浅析I/O处理过程与存储性能的关系
猜您喜欢 云中网络实例 一张图对比出——中国的程序员和国外程序猿 为什么说程序员是神一样的存在? HTML 5 视频/音频 【分享写作计划精选】持续集成的重要性与技术挑战