微信号:blogread

介绍:本号收录IT领域的优秀技术博客;在这里你可以找到Web开发、系统架构、数据库、前端技术、用户体验等领域的前沿文章. 官网:http://blogread.cn/it/

Redis多集群主从部署

2015-08-28 22:50 Alien

一、背景


这两天在策划一套Redis多机房多集群的部署方案,一主多从部署;目的是将一些重要、核心、且敏感的数据放在Redis中进行管理,通过异步消息队列的方式,同步到db。


二、方案


1、机房与主库的设定


  • 假设有三个机房,分别是JF-AJF-BJF-C,其中涉及到Redis数据写操作的只在JF-A,其余两个机房只存有读操作,所以Redis主库部署在JF-A。

  • 为了提前考虑到灾备的情况,假设Redis主库宕机,此时需要有快速的主库恢复方案,所以在JF-A同步部署一个Redis master backup,通过运维手段,控制master与backup之间的自动切换。

  • 进一步再考虑到JF-A断网的情况(比如光钎被挖断了:just a joke),需要在B机房也部署一套Redis master backup,通过运维手段控制所有Redis的主从对应关系


2、各机房部署方案


考虑到主库的同步压力,以及跨机房大数据进行VPN同步耗资源的情况,采取树状主从同步方案:


  1. A机房主库:JF-A-Master

  2. A级方备用主库:JF-A-M-Backup(slaveof JF-A-Master)

  3. B级方备用主库:JF-B-M-Backup(slaveof JF-A-Master)

  4. A机房从库1:JF-A-S-1(slaveof JF-A-Master)

  5. A机房从库2:JF-A-S-2(slaveof JF-A-S-1),S-1和S-2属于同一台机器的不同实例

  6. B机房从库1:JF-B-S-1(slaveof JF-A-Master)

  7. B机房从库2:JF-B-S-2(slaveof JF-B-S-1),S-1和S-2属于同一台机器的不同实例

  8. C机房从库1:JF-C-S-1(slaveof JF-A-Master)

  9. C机房从库2:JF-C-S-2(slaveof JF-C-S-1),S-1和S-2属于同一台机器的不同实例


三、通过Master配置检测主从关系



如上图,从slave0~4,分别表示各机房的备用主库以及从库,各从库机器上,还有另外一个从库实例,通过树状方式挂载到这些从库上。


四、主从同步方案


Redis的主从同步基本是采取Pull&Push搭配的方式:


  • 新增Redis从库时,从库采取Pull方式,发送SYNC信号从主库拉数据(第一次)

  • 主库有数据更新时,会遍历connected_slaves主动将数据Push到从库

  • 从库维持一个与主库的连接心跳,以此保证主库能实时将数据同步从库(repl-ping-slave-peroid配置,默认10s)




以下内容转载自:Redis主从实现分析原理


一、主从实现原理


  1. Slave服务器连接到Master服务器.

  2. Slave服务器发送SYNC命令.

  3. Master服务器备份数据库到.rdb文件.

  4. Master服务器把.rdb文件传输给Slave服务器.

  5. Slave服务器把.rdb文件数据导入到数据库中.


上面的这5步是同步的第一阶段, 接下来在Master服务器上调用每一个命令都使用replicationFeedSlaves()来同步到Slave服务器.


二、主从同步实现细节


1、Slave服务器连接到Master服务器 / 发送SYNC命令


Slave服务器通过syncWithMaster()函数来连接Master服务器(如果Master服务器需要密码登陆的话, 先登陆), 并且发送SYNC命令请求同步, 接着打开rdb文件(用于存储由Master发送过来的数据), 创建读rdb的IO事件(readSyncBulkPayload). 代码如下:


int syncWithMaster(void) {
  ......  //登陆master服务器
  if(server.masterauth) {
  syncWrite(fd, "AUTH xxx\r\n", strlen(server.masterauth)+7, 5);
      ......
  }  //发送SYNC命令
  syncWrite(fd,"SYNC \r\n",7,5);
  ......  //打开rdb文件
  dfd = open(tmpfile,O_CREAT|O_WRONLY|O_EXCL,0644);
  ......  //创建读rdb的IO事件
  aeCreateFileEvent(server.el, fd, AE_READABLE, readSyncBulkPayload, NULL);
  ......  return REDIS_OK;
}


2、Master服务器备份数据库到.rdb文件


当Slave服务器发送SYNC命令到Master服务器时, Master服务器便会调用syncCommand()函数来进行同步. 同步的第一步是把数据库的数据存储为rdb文件, 存储完毕后调用updateSlavesWaitingBgsave()函数来发送rdb文件给所有的Slave服务器.代码如下:


void syncCommand(redisClient *c) {  //如果正在保存rdb文件
  if (server.bgsavechildpid != -1) {
      ......      //主要判断当前存储rdb文件是不是由SYNC命令触发的
      //如果当前存储rdb文件不是由SYNC命令触发, 则要等到下一次
      ......
  } else {//否则调用rdbSaveBackground()存储rdb文件
      rdbSaveBackground(server.dbfilename);
  }
}


当rdbSaveBackground()函数执行完毕, 就会调用updateSlavesWaitingBgsave()来发送rdb文件到所有的Slave服务器, 代码如下:


void updateSlavesWaitingBgsave(int bgsaveerr) {
  listRewind(server.slaves,&li);  while((ln = listNext(&li))) {
      slave->repldbfd = open(server.dbfilename,O_RDONLY);
      .......
      aeCreateFileEvent(server.el,slave->fd,AE_WRITABLE, sendBulkToSlave,slave);
  }
}


updateSlavesWaitingBgsave()要做的事情是, 打开rdb文件, 创建发送rdb文件IO事件(sendBulkToSlave). 而sendBulkToSlave()主要的工作就是把rdb文件发送给Slave服务器。而当Slave服务器接收rdb文件完毕之后(readSyncBulkPayload()函数处理), 会清空原来数据库的数据, 然后把rdb文件的数据导入到数据库中。


3、增量同步


完成上面的步骤之后, 同步基本完成. 接下来的工作就是增量同步, 也就是当Master服务器有数据更新的时候, 会立刻同步到所有的Slave服务器. 由replicationFeedSlaves()函数完成。当我们在Master服务器增减数据的时候, 就会触发replicationFeedSlaves(), 代码如下:


void call(redisClient *c, struct redisCommand *cmd) {
    ......    if ((dirty || cmd->flags & REDIS_CMD_FORCE_REPLICATION) && listLength(server.slaves)) {
        replicationFeedSlaves(server.slaves,c->db->id,c->argv,c->argc);
    }
    ......
}


call()函数就是当用户执行命令的时候触发. 而dirty表示是否有数据更新, 如果有数据更新而且slave服务器不为空, 就执行replicationFeedSlaves()。而replicationFeedSlaves()主要做的工作就是把用户执行的命令发送到所有的Slave服务器, 让Slave服务器执行,这样就可以实施同步功能。


 
IT技术博客大学习 更多文章 Linux进程管理命令详解(ps和top) MySQL服务启动脚本完全解析 服务器集群架构的设计与选择 合理使用MySQL的Limit进行分页 相似度计算常用方法综述
猜您喜欢 拿下华为认证,拿下高薪岗位 这个视频太高智商只有程序员能看懂,你看懂了吗? Linux实用技巧:使用快照制作虚拟机 Golang语言社区--视频教程-异常处理 【广州】高大上来了!阿里巴巴UC移动事业群招聘高级测试工程师