微信号:dellemc_tech

介绍:为戴尔易安信客户提供技术支持服务,为广大IT行业用户分享技术文章与行业信息。

DSSD Flood中的Hadoop应用插件

2016-08-30 17:12 EMC中文技术社区

     在系列连载的前几帖中,提到了DSSD Flood Direct Memory API允许应用跳过传统的I/O Stack直接对DSSD闪存模块进行存取数据,大大地减少了数据访问延迟。至于应用端,用户可以通过使用“libflood C-library”将现有的基于POSIX I/O Call替换成Flood Direct Memory API I/O命令来实现,但这需要开发对应API的代码。或者,另一种实现的方法就是通过DSSD提供的插件来实现。DSSD的插件利用业界标准的框架开发,DSSD已经创建了针对Hadoop的插件,而支持应用的插件列表也会不断增加。

 

     HDFS是Hadoop生态系统中的底层文件系统。它拥有一些特有的功能允许应用同时访问大批量的数据。Hadoop虽然设计的初衷是利用低成本,低性能设备进行特定大量数据的批量处理,但是随着生态系统的发展,新的需求不仅需要访问大量数据,还需要快速地访问。所以,如果使用DSSD的Hadoop插件,插件可以将HDFS Call转换为DSSD Flood Direct Memory Call,相比其他闪存存储,实现至少2倍的性能提升。用户所需要做的就是将Hadoop的节点链接到DSSD存储,然后安装DSSD Hadoop插件就可以了。




DSSD Hadoop插件的安装手册:DSSD Hadoop Plugin Installation Guide

https://support.emc.com/docu68322_DSSD-Hadoop-Plugin-Installation-Guide.pdf?language=en_US


DSSD Hadoop插件配置手册:Deploying Hadoop on EMC DSSD D5 - Best Known Methods

http://www.emc.com/collateral/white-papers/h15049-td-deploying-hadoop-on-emc-dssd-d5.pdf?_ga=1.128219660.145428950.1437533057


DSSD Hadoop高性能解决方案概述:DSSD High Performance Hadoop Solution Brief

http://www.emc.com/collateral/solution-overview/h14849-so-dssd-d5-hadoop-sol-brief.pdf?_ga=1.128219660.145428950.1437533057


DSSD Cloudera支持概述:DSSD and Cloudera Evolve Hadoop Solution Brief

http://www.emc.com/collateral/solution-overview/h14899-so-emc-dssd-d5-and-cloudera-solution-brief.pdf?_ga=1.128219660.145428950.1437533057



更多精彩内容,请点击阅读原文”进行查看!

如何每天都能收到如此精彩的文章?

①点击右上角点击查看官方账号”→点击关注

②长按并识别下图中的二维码,直接访问EMC中文支持论坛


 
戴尔易安信技术支持 更多文章 备份和归档的区别 云计算的三种模型:公有云、私有云和混合云 正确描述IO类型 【大咖讲网络】谁动了我的网络 浅析I/O处理过程与存储性能的关系
猜您喜欢 关于嵌入式企鹅圈 & 原创团队介绍 Python中的变量绑定[1] 编写高效的C程序与C代码优化 全球顶尖公司的烧脑面试题,普通人一道都答不出来! 【内附动画】东芝14TB氦气硬盘