微信号:gh_8cff31b99ab7

介绍:此账号将用于发布CSDN站内精华技术文章、技术博客,以及CSDN举办的标杆性技术大会及纯干货技术沙龙活动.为开发者提供一个更聚焦的信息传递、交流平台.

存储极客丨Scale-Out与全闪存似乎天然配对儿

2018-07-13 11:22 冬瓜哥

Scale-Out的分布式系统为何离不开SSD/全闪存?如果没有闪存,Scale-Out为什么就让人感觉火候不太够?而Scale-Out的出现,除了得益于闪存助力,还有什么其他因素么?本文冬瓜哥就来分析分析。


本文组织

①  Dell EMC XtremIO X2简介

②  说说Scale-Out架构与全闪存


Dell EMC XtremIO X2简介


2018年5月1日,Dell EMC在Dell Technologies World宣布了最新的计算和存储产品。



戴尔在5月8日宣布了对XtremIO X2的一些重要改变,XtremIO X2在其软件中添加了新功能(提供了将变化数据复制到目标系统的复制方式),这将减少在进行本地复制时传输的数据量。戴尔还宣布,未来版本的XtremIO X2将支持NVMe SCM。

 

Dell EMC的XtremIO X2为一款具备横向扩展能力的全闪存阵列。其相比上一代XtremIO的提升如下图所示:



每个阵列单元称之为X-Brick。每个X-Brick单元可配置18~72个SSD。



上图为XtremIO X2全闪存阵列X-Brick模块外观图。每个X-Brick高度为1U,分别由Storage Controller、DAE(SSD扩展柜)、UPS电源组成,每个控制器为1U双路服务器,每个X-Brick配置了4个16Gb光纤通道端口、4~8个10GbiSCSI端口、4个56Gb Infiniband端口(每Controller配置2个)以及2个1Gb的管理端口。



下图所示为XtremIO X2的X-Brick架构。每个控制器运行了一个定制化的轻量级的Linux内核——XIOS。为了获取最高的性能,I/O处理模块直接运行在用户态,直接操作底层硬件。节点间互联采用基于Infiniband网络的RDMA方式。



XtremIO X2已经在实验室环境中实现了8个X-Brick(16个节点)甚至更大的集群,Dell EMC估计也会很快提供8个X-Brick配置的阵列。从理论上看,8个、16个X-Brick和32个X-Brick并没有区别,但是涉及到很多测试和实际应用场景,即客户当前是否需要这么大的容量和性能。

 

X-Brick具有非破坏性XIOS软件及硬件升级、拥有高可靠性的热插拔升级,且不存在着单点故障。集群化的XtremIO X2阵列中各个X-Brick可以拥有不同存储容量;集成了VMware VAAI、VMware多通道I/O支持,数据分卷能够夸整个系统;拥有丰富的数据保护功能。


XtremIO X2全闪存阵列将数据分为4KB的散列块,这些4KB的散列块完全打散,不按照逻辑地址进行排列存储,而是根据物理位置进行安置。如下图所示:



数据天然带有指纹hash,这也是XtremIO X2实现重复数据消除的基础。



其他一些产品也使用了类似策略,但是其数据存储方式一般都是基于逻辑地址,时间久了之后不可避免的就会产生磁盘碎片化,从而对性能产生影响。XtremIO全闪存阵列的策略则是将数据彻底的打乱完全碎片化,基于4KB的数据块通过指纹来识别、存储、管理等。一方面可以实现全局磨损均衡,另一方面可以让重复数据消除变得非常容易。


XtremIO的数据保护机制XDP,通过双阶数据引擎避免了RAID5、RAID6的写放大外,达到了RAID6的保护效果。



说说Scale-Out架构与全闪存


分布式系统的发展有三个技术条件,分别为:高速网络、大容量硬盘、固态介质。这三者彻底解放了分布式系统的生产力。通俗一点说也就是:网络快了、盘容量大了、盘速度快了。


高速网络

高速网络是分布式系统赖以生存的根本,分布式存储系统早在上世纪中后期就已经形成了理论基础,但是一直到近几年,网络的时延和带宽才足以支撑分布式系统架构。


大容量硬盘

为了降低成本,业界兴起所谓软件定义,也就是利用廉价白牌机或者标准的机架服务器,加上分布式存储软件管理层,搭建出软件定义分布式存储系统,与传统的SAN存储系统瓜分市场。


固态介质

而分布式系统的大行其道,极大的促进了固态存储的需求量,因为为了成本考量,分布式系统中每个节点往往不会连接多级JBOD从而靠大量的硬盘形成高并发性能,而是只靠每个服务器自带的少量盘位,加上固态盘来抵消跨网络通信带来的时延增加,形成让传统机械盘系统望尘莫及的IOPS和时延性能。


所以,Scale-Out与固态盘可以说是天然的一对儿,固态存储系统用于Scale-Out分布式系统是非常自然的一种需求。


 
CSDN精选 更多文章 首个针对数据中心级方案的暴力评测 声网Agora完成3000万美元B+轮融资,加速实时通信云服务全球领先 区块链真的来了,迅雷会是中国的特斯拉吗? 迅雷2017年Q4及全年财报:营收暴增  创上市以来最高增幅 直播答题“躺赢”不能停 百度AI喊你拿150万现金!(结尾有彩蛋)
猜您喜欢 再见,科比 纯CSS实现Scroll Indicator(滚动指示器) 金融壹账通移动技术周报(第五十期) 荐|React Native开源项目-新浪微博客户端 Linux网络子系统安全性模块详细分析之核心文件分析-核心代码注释