微信号:dellemc_tech

介绍:为戴尔易安信客户提供技术支持服务,为广大IT行业用户分享技术文章与行业信息。

Data Domain坚固的架构体系

2017-03-15 16:04 EMC中文技术社区

本文将会介绍EMC Data Domain 数据坚不可摧架构(Data Invulnerability Architecture)。

 


SISL的定义:

 

EMC Data Domain 基于SISL,它的全称是Stream-Informed Segment Layout(SISL),它使得EMC Data Domain实现了内联的数据消重技术,使用fingerprint和RAM来定义磁盘上的segment,避免了为了检查磁盘上的segment而出现的繁重的磁盘读操作。


1.为了检查fingerprint处理了98%的segment而不要求读磁盘。在数据被写入磁盘之前,98%的重复的segment在RAM中就被标识。

2.使用更新更快的CPU和RAM来扩充Data Domain系统,随着CPU性能的提升,直接增加新数据处理吞吐率

3.通过减少磁盘访问,减少磁盘损耗。

 

 

基础术语:

 

 

Segment(图中箭头1):在DD系统里数据被切割成数据段。

Fingerprint(图中箭头2):每个segment都有一个fingerprint ID(segment ID)。

Filter(图中箭头3):对RAM中的fingerprint做判断。假如fingerprint ID是新的,则继续,假如fingerprint ID是重复的,参考,则删除。

Compress(图中箭头4):使用通用压缩技术对新的segment组做压缩。

Write(图中箭头5):把segment(包括fingerprint,metadata和log)写入container,再把container写入磁盘。

 

 

数据坚不可摧架构(Data Invulnerability Architecture)的定义:

 

Data Domain操作系统(DD OS)是为数据保护而建的。DIA架构是重要的EMC Data Domain技术,提供安全可靠的存储,它包括4种技术:端到端验证、故障避免和遏制、持续的故障监测和治愈、文件系统恢复。DIA提供数据完整性、可恢复性和磁盘保护,实现数据安全。下面重点介绍下这4种技术。

 

 

数据坚不可摧架构(Data Invulnerability Architecture)的端到端验证:

 

 

 


端到端验证技术检查所有的文件系统数据和元数据,它的基本流程是:


1.备份软件产生写数据请求;

2.分析数据重复性;

3.保存新的数据segment;

4.保存校验和(checksum);

5.在发生备份I/O之后,DD OS验证它可以从磁盘上通过DD文件系统读取这些数据;

6.验证读取到的校验和与备份时写入磁盘的校验和一致。


如果流程中发生错误,DD通过自我治愈和系统警告再次备份。由于存储系统上的任何部分都可能产生错误,端到端验证能容易地确保数据完整性。端到端验证意味着写入后再读取数据,并把它和发送给磁盘的数据作比较,证明数据可通过文件系统和磁盘进行访问。

 

 

数据坚不可摧架构(Data Invulnerability Architecture)的故障避免和遏制:

 

 


Data Domain系统具备一个特制的日志结构的文件系统,它的特质包括:


1.新数据从不覆盖好的数据,DD系统从不把已经备份好的数据至于危险之中。传统的文件系统常常在数据发生变化时覆盖老的数据块,并继续使用老的数据块地址。DD文件系统只把数据写入新的数据块,分离了由于不正常的数据覆盖造成老数据块损坏的可能性。如图所示,data container log从不覆盖或者更新老的数据块。新数据都写入到新的container。

2.几乎没有复杂的数据结构。在传统的文件系统中,有许多的数据结构(例如:空闲数据块位图和参考数)支持快速数据块更新。对于备份软件,系统开销主要是新数据的顺序写入。而Data Domain系统比较简单,它只需很少的数据结构,来记录data container log头部的信息。这种设计极大的降低了由于软件问题导致的数据损毁。

3.DD系统包含不挥发的内存(NVRAM),NVRAM的写缓存中存放了所有未保存在磁盘上的数据,可实现安全快速的重启,确保断电过程中没有数据丢失。

 

 

数据坚不可摧架构(Data Invulnerability Architecture)的持续的故障监测和治愈:

 

 

 


持续的故障监测和治愈提供了一个额外的数据保护级别,它持续地监测故障并恢复,它的基本流程是:


1.DD系统周期性的检查RAID条带和container log的完整性;

2.DD系统使用RAID 6来实现冗余性的故障保护;

3.每次读数据的时候,都会验证数据完整性;

4.任何监测到的错误都会被治愈。

 

 

数据坚不可摧架构(Data Invulnerability Architecture)的文件系统恢复:

 

 


文件系统回复特性能够重建丢失的或者损毁的文件系统元数据,它自带文件系统检查工具。通过扫描log和重建元数据和数据来恢复文件系统。在传统的文件系统中是不检查数据一致性的。DD系统在每次备份后都会检查新数据的一致性。既然Data Domain文件系统永远不会覆盖旧的数据,并没有块映射和引用计数重建,它只需验证日志的头部就可以安全地把系统重新联机和恢复关键数据。



更多精彩内容,请点击阅读原文”进行查看!

如何每天都能收到如此精彩的文章?

①点击右上角点击查看官方账号”→点击关注

②长按并识别下图中的二维码,直接访问EMC中文支持论坛


 
戴尔易安信技术支持 更多文章 这部看哭无数人的电影让小编想到一个词——Unity 老板让我干完这个月就辞职 特大号这篇文章让万千售前沸腾啦 VxRail打好基础,未来6000个VDI也毫不惧怕 三位20多年的IT老兵在聊存储,干货多,速来!
猜您喜欢 iOS 11又曝相册新Bug!网友痛批:苹果史上最烂系统 让你的手写笔记成为录音的超链接 | 硬件 哈工大-腾讯联合实验室亮相国际学术会议COLING 2016 腾讯云要干什么?马化腾、郁亮、俞敏洪、方洪波等百名大咖都来了! 不要忽视C语言