微信号:dellemc_tech

介绍:为戴尔易安信客户提供技术支持服务,为广大IT行业用户分享技术文章与行业信息。

EMC存储上的大数据 – 基础架构与数据分析

2016-07-11 18:54 EMC中文技术社区

     企业一直在处理快速增长的数据量(也称为大数据)的存储和管理问题。


     本文为系列的第八篇,介绍了EMC满足企业大数据部署的基础架构与分析服务的系列产品。

 

     众所周知,在企业部署与利用大数据之旅中,企业若能发掘大数据来改善战略与执行能力,也就代表他们正在拉开与竞争者的优势距离。来自EMC的大数据产品可以从多方位的角度满足企业大数据部署与利用的各项需求,他们包括横向扩展存储,统一分析平台以及业务流程与应用程序开发工具。凭借这些工具,组织可以获得更深入的洞察力,跻身为预测能力更强大的组织。


EMC确定了简单的三个大数据之旅阶段:


  • 大数据基础架构:构建于具有横向扩展存储和分析的大数据基础平台之上。

  • 敏捷分析:让数据科学家能够以一种高效敏捷的协作方式分析大数据。

  • 可行性洞察:让大数据分析嵌入应用程序中,以跻身为预测型组织。


     第一阶段大数据基础架构讲述由横向扩展存储和云存储以及分析平台组成的大数据基础架构技术。大数据存储,要实现大数据规模,组织需要一种横向扩展的自动化存储平台,借此以最低的额外运营成本增加容量,并实现可扩展性、性能和吞吐量。


  • EMC Isilon这种横向扩展平台可以提供理想的大数据存储。在OneFS操作系统的支持下,Isilon节点汇聚成一种高性能的单一存储池。随着大数据量的增加,只需要花几分钟即可增加容量,还能获得线性性能提升。经证明,Isilon对存储的利用率高达80%,IOPS更是高达数百万,它提供的扩展能力和性能可充分满足大数据需求。

  • EMC Atmos大数据云存储针对不管是内容和服务提供商,还是需要分布式大数据的全球企业,EMC Atmos都是理想的选择。EMC Atmos提供多PB级云存储,运用自动化策略推进数据生命周期,借助安全的多租户功能简化资源调配,并提供任意设备自助访问,从而实现全球规模的大数据管理。


     大数据分析,要获得大数据洞察力,需要一种将结构化和非结构化与实时供给和查询相集成的分析平台,EMC大数据平台有Pivotal Greenplum Database和Pivotal HD组成:


  • Pivotal Greenplum Database是一种大规模并行处理(MPP)数据库,它可管理、存储和分析PB级的结构化数据。这种数据库的部署需使用由企业级服务器、存储和以太网交换机组成的横向扩展集群。借助集群中所有节点的计算能力,它可以快速加载数据(高达10TB/小时)和处理查询。

  • Pivotal HD是一种经过开放源代码认证并且受支持的Apache Hadoop堆栈,您可以借此将非结构化数据转换为结构化数据,从而协同处理Pivotal Greenplum Database中的数据。

  • Pivotal和Isilon Hadoop集成解决方案,组织可以使用企业Hadoop解决方案部署基于Apache的Hadoop大数据分析。这种解决方案包含EMC Isilon以及本机HDFS和Pivotal HD,也因此开放源代码逐渐和硬件实现轻松而简单的集成。EMC提供了一种企业级综合解决方案,以在灵活且高度可扩展的高效存储平台上实现强大的大数据分析。

 

其它参考文章:

EMC存储上的大数据 – Hadoop软件概述

EMC存储上的大数据 – Hadoop生态系统与体系结构

EMC存储上的大数据 – 利用大数据增强业务可见性

EMC存储上的大数据 – HDFS on Isilon(一)

EMC存储上的大数据 – HDFS on Isilon(二)

EMC存储上的大数据 – HDFS on Isilon(三)

EMC存储上的大数据 – HDFS存储可靠性



更多精彩内容,请点击阅读原文”进行查看!

如何每天都能收到如此精彩的文章?

①点击右上角点击查看官方账号”→点击关注

②长按并识别下图中的二维码,直接访问EMC中文支持论坛


 
戴尔易安信技术支持 更多文章 备份和归档的区别 云计算的三种模型:公有云、私有云和混合云 正确描述IO类型 【大咖讲网络】谁动了我的网络 浅析I/O处理过程与存储性能的关系
猜您喜欢 一根香肠,一只喵 我进行了一次 1000 个铁杆粉丝的实践 Git 中常用的 4 个命令 玩转 Go Hack 之官方攻略 | 赛前指南 开发者头条联合阿里云送【免费套餐邀请码】啦!总价值超 20000 元!