微信号:dellemc_tech

介绍:为戴尔易安信客户提供技术支持服务,为广大IT行业用户分享技术文章与行业信息。

DataDomain复制简介

2016-10-18 15:53 EMC中国技术社区

     1. DataDomain复制分为两种,一种由DataDomain控制(DataDomain Native Replication),另一种由备份软件控制(Managed File Replication)。

   

 

 

     2. 使用DataDomain复制需要在两端DataDomain设备安装复制授权许可(Replication License)。

 

 

 

     3. DataDomain复制的特点是带宽高效利用,因为
          1)它复制的是重复数据删除后并压缩过的数据;
          2)复制时源端设备发送复制数据的索引(Index)到目标端设备,如果索引已存在,那么目标端设备创建文件并引用现有索引;如果索引不存在,那么源端设备发送复制数据的字段(Segment)到目标端设备。
          3)发送索引只占用少量网络带宽。

 

 

 

     4. DataDomain控制的复制分为三类,分别是Directory,Mtree和Collection。它们复制的是整个目录或者文件系统。一旦配置并初始化,复制将自动运行。
          1)Directory Replication复制的是/data/col1/backup下的子目录;
          2)Mtree Replication复制的是除/data/col1/backup的其它Mtree;
          3)Collection Replication复制的是整个文件系统,包括backup和其它的Mtree。
          * 在DataDomain图形管理界面(Web GUI),复制VTL虚拟磁带池的复制被称为Pool Replication。如果虚拟磁带池使用兼容模式(Backwards Compatibility Mode),那么磁带路径为/data/col1/backup/vtc/<pool_name>/<tape_barcode>,复制实际为Directory Replication;如果虚拟磁带池使用Mtree模式,那么磁带路径为/data/col1/<pool_name>/.vtc/<tape_barcode>,复制实际为Mtree Replication。所有的Pool Replication在DD命令行(CLI)中显示为实际的复制类型(Directory Replication或Mtree Replication)。

 

 

 

     5. 备份软件控制的复制(Managed File Replication)有多种名称,比如在NetBackup中称为SLP(Storage Lifecycle Policy),在NetWorker中称为CCR(Clone Controlled Replication)。它们复制的对象是DDBoost Mtree下面的某个文件。在配置好以后,由备份软件发起,由DataDomain完成并通知备份软件结果。

 

 

 

     6. DataDomain复制支持多种结构,包括一对一(A->B),双向(A->B, B->A),一对多(A->B, A->C),多对一(A->C, B->C)和串联(A->B->C)等。不同的复制类型支持的结构略有不同。

 

 

 

     7. DataDomain控制的Directory Replication和Mtree Replication支持两端设备的DDOS版本差异为不超过两个版本(比如5.0.x和5.2.x),但是Collection Replication要求两端设备运行相同版本DDOS。备份软件控制的Managed File Replication要求目标端设备使用相同或者更高版本DDOS。

 

 

 

     8. Directory Replication
          1)通过复制日志顺序记录复制源目录的操作,包括创建,写入,修改,删除。
          2)系统每隔15分钟检测一次复制源目录是否有变动。
          3)在初始化(initialize)和重新同步(resync)的三个阶段的阶段一中(phase 1 of 3),源端目录不能被写入。
          4)在重新同步时,目标端设备需对目标目录现有数据创建快照并删除所有现有数据,如果现有数据为数量众多的小文件(数百万甚至更多),那么重新同步的阶段一周期将大幅延长直到删除完成(可以达到数小时)。建议在针对文件数量众多的目标端目录进行重新同步时,尽量安排在源端目录没有备份任务时进行。
          5)同一设备可配置多个Directory Replication。

 

 

 

     9. Mtree Replication
          1)通过快照(Snapshot)记录源端Mtree在特定时间的内容,并将快照发送到目标端端设备的目标Mtree。
          2)在复制全部完成的情况下,系统每隔15分钟为源端Mtree创建一个快照。
          3)如果发送上一个快照耗费超过15分钟,那么发送完成后系统立即创建下一个快照。如果没有,那在距离上一快照创建15分钟时,系统创建下一快照。
          4)如果有用户自定义生成的快照,那么系统将在发送完成上一个快照之后立即发送用户自定义快照,并且在发送用户自定义快照时,系统停止自动生成快照。
          5)在初始化(initialize)和重新同步(resync)的三个阶段的阶段一中(phase 1 of 3),源端目录可以被写入。
          6)同一设备可配置多个Mtree Replication。
          7)剩余同步数量(Pre-Comp Remaining)在初始化(initialize)和重新同步(resync)不准确,在完成立即更新正确的数值(即初始化或重新同步1TB数据时,看到的剩余同步数量可能为10TB)。

 

 

 

     10. Collection Replication
          1)通过块级别变动记录需要复制的内容。
          2)每当文件系统的某块有数据修改,那么源端设备立即发送该变动到目标端设备。
          3)不能被重新同步(resync)。
          4)同一设备只可配置一个Collection Replication。

 

 

 

    11. Manage File Replication
          1)由备份软件定义和发起。
          2)由DataDomain执行和返回结果。
          * 目前DDOS版本中,如备份软件中途停止Manage File Replication,备份软件会立即记录复制失败,但在DataDomain上,复制会继续运行直至当前文件全部传输完成并不能通过命令行或者图形管理界面终止,如果实在立即停止DataDomain复制该文件,可以考虑重启DataDomain文件系统或者关闭DDBoost功能(因影响整个文件系统和DDBoost功能,不建议使用)。如复制完成,目标端设备的备份文件不能被软件软件直接调用。

 

 

 

     12. DataDomain Replication Throttle
          1)DataDomain复制使用的网络带宽可由DataDomain Replication Throttle限制。
          2)DDOS 5.5以前,所有源端设备上的复制对(Replication pair/context)使用同一Throttle。
          3)从DDOS 5.5开始,不同目标的复制对可配置不同的Throttle。
          4)Throttle需要在源端设备配置,但如果目标端设备的Throttle设置为0(disabled),那么到该目标端设备的复制对将停止复制。
          5)Throttle对DataDomain Native Replication(Directory/Mtree/Collection)和Managed File Replication同样生效。
          6)Throttle是针对DataDomain设备的物理网络接口生效,如果复制使用的网络接口为虚拟网络接口(virtual network interface),那么Throttle应相应调低(比如复制只允许使用200Mbps带宽,而复制端口为4个物理网络接口聚合的LACP虚拟网络接口veth0,那么Throttle应该设置为50Mbps,而不是200Mbps)。

 

 

 

     13. 最佳实践
          1)备份到DataDomain和DataDomain之间的复制最好使用不同的网络接口。
          2)针对Directory和Mtree复制,将数据分散到尽量多的复制对进行复制,以提高效率。
          3)在网络带宽小于6Mbps时,可以启用Replication Low-Bandwidth-Optimization以减小网络数据量,改动将在下一次文件系统清洁完成后生效,但改动后的第一次文件系统清洁的周期将大幅度增加,比如几小时增加到十几小时。

 

 

 

     14. 复制类型和结构图例

 

 

作者简介:


Sam Li

DataDomain技术支持工程

Data Protection and Availability Solution

EMC客户服务


请直接回复本消息留下您的邮箱地址,让小编帮助您订阅月度简报!


订阅成功后,每月一次将精彩内容以邮件方式直接发送给您!



点击阅读原文”可下载精彩简报


如何每天都能收到如此精彩的文章?

①点击右上角点击查看官方账号”→点击关注

②长按并识别下图中的二维码,直接访问EMC中文支持论坛


 
戴尔易安信技术支持 更多文章 备份和归档的区别 云计算的三种模型:公有云、私有云和混合云 正确描述IO类型 【大咖讲网络】谁动了我的网络 浅析I/O处理过程与存储性能的关系
猜您喜欢 让男人上瘾一辈子的女人 【TED】12岁靠编程当上CEO!“别人家孩子”怎么做到的? 无声信息一周安全资讯:英特尔公布Spectre漏洞新变体Lazy State 微软正式加入CNCF基金会 关于分布式一致性的探究