微信号:gh_287053a877e6

介绍:QQ音乐开发团队公众帐号.关注技术分享与交流

KV存储跨IDC容灾部署

2016-05-27 10:43 feizheng

1.背景

  目前部分KV存储不支持跨IDC部署,所以如果有机房故障的话,就会影响KV存储的可用性。本文提供了一种通过KV存储代理层来实现跨IDC容灾部署的方案。

2.实现原理


  考虑到多地写多地读实现起来比较复杂,而且一旦数据乱了,恢复数据也比较复杂。所以本方案采用的是单写多读的方式,即主IDC支持读写操作, 备IDC对外只读。主IDC的存储代理通过写流水文件到磁盘,通过Notify程序将流水传输到备IDC对应的存储代理Redo服务重做流水。Notify程序做流水文件分发, 可以分发给本地IDC, 也可以发送给备IDC。
  如果主IDC出现故障,就可以把读请求通过负载均衡组件调度到备IDC,做到读操作容灾。如果备IDC出现故障,可以通过将读请求调度到主IDC,读写都不受影响。
  为了降低存储代理的压力,读写服务可以做读写分离,读取操作可以直接访问本地存储。

3.KV存储代理层实现原理


  客户端通过API接入KV存储代理, 如果是写操作, 存储代理会先写流水再操作本地KV存储. 流水转发程序会每隔10ms扫描流水,然后转发给流水转换服务.  流水转换服务会将所有命令的操作转换为Set操作,其value是从本地KV存储通过Get命令读取的最新值. 然后再将流水同步到另一个城市Redo Set命令.另外,一致性校验服务也会扫描1分钟之前的流水文件,一旦发现两地数据不一致,就会生成需要重试的流水.

4.小结

  目前大部分业务都使用了KV存储作为落地存储,而KV存储本身不一定是支持跨IDC容灾部署的。本文提供了一个通用的解决方案,实现KV存储跨IDC容灾部署。

  当然目前还存在配置文件过多导致运维不方便,缺少友好的管理后台,写操作流水跨IDC同步并发量低下,不支持多地写多地读等问题,后续可以继续完善。

 
QQ音乐技术团队 更多文章 【经验分享】React Native在全民K歌APP中的使用分享 RxJava的一些入门学习分享 谁创建谁销毁,谁分配谁释放——JNI调用时的内存管理 React-Native 分包实践 支持跨进程单例的一种实现方案
猜您喜欢 Bitcoin and digital currency|比特币和数字货币 以打麻将的心态,用大数据提升兴业信用卡运营效率 【叁】会用JOIN,却不懂编程的“程序员” 解决光纤信号衰减引发无法上网的故障 EJ系列13-15条