Redis主从复制

  Redis为了解决单点数据库问题,会把数据复制多个副本部署到其他节点上,通过复制,实现Redis的高可用性,实现对数据的冗余备份,保证数据和服务的高度可靠性。

一. 旧版复制

  Redis 的复制功能分为 同步(sync)命令传播(command propagate) 两个操作。

  同步是从服务器对主服务器发送 SYNC 命令来完成, 以下是 SYNC 命令的执行步骤:

从服务器连接主服务器,发送SYNC命令;
主服务器接收到SYNC命名后,开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令;
主服务器BGSAVE执行完后,向所有从服务器发送快照文件,并在发送期间继续记录被执行的写命令;
从服务器收到快照文件后丢弃所有旧数据,载入收到的快照;
主服务器快照发送完毕后开始向从服务器发送缓冲区中的写命令;
从服务器完成对快照的载入,开始接收命令请求,并执行来自主服务器缓冲区的写命令;

  命令传播,也可以说是增量复制,主要是指主服务器每执行一个写命令就会向从服务器发送相同的写命令,从服务器接收并执行收到的写命令。当从服务器执行了相同的写命令之后, 主从服务器将再次回到一致状态。

同步策略
  主从刚刚连接的时候,进行全量同步;全同步结束后,进行增量同步。当然,如果有需要,slave 在任何时候都可以发起全量同步。redis 策略是,无论如何,首先会尝试进行增量同步,如不成功,要求从机进行全量同步。
  旧版本全量复制功能,其最大的问题是从服务器断线重连时,即便在从服务器上已经有一部分数据了,也需要进行全量复制,这样做的效率很低。

二. 新版本复制

  在Redis中,从服务器对主服务器的复制可以分为以下两种情况:

  • 初次复制:从服务器以前没有复制过任何主服务器,或者从服务器当前要复制的主服务器和上一次复制的主服务器不同;
  • 断线后重复制:处于命令传播阶段的主从服务器因为网络原因而中断了复制,但从服务器通过自动重连接重新连上了主服务器,并继续复制主服务器。

  对于初次复制来说,旧版复制功能能够很好地完成任务,但对于断线后重复制来说,旧版复制功能虽然也能让主从服务器重新回到一致状态,但效率却非常低。
  Redis 2.8 新添加的部分重同步功能可以解决这个问题。使用PSYNC命令代替SYNC命令来执行复制时的同步操作。

  PSYNC命令具有 完整重同步(full resynchronization)部分重同步(partial resynchronization)两种模式:
  其中 完整重同步 用于处理初次复制情况:完整重同步的执行步骤和SYNC命令的执行步骤基本一样,它们都是通过让主服务器创建并发送RDB文件,以及向从服务器发送保存在缓冲区里面的写命令来进行同步;
  而 部分重同步 则用于处理断线后重复制情况:当从服务器在断线后重新连接主服务器时,如果条件允许,主服务器可以将主从服务器连接断开期间执行的写命令发送给从服务器,从服务器只要接收并执行这些写命令,就可以将数据库更新至主服务器当前所处的状态。

  部分重同步 通过复制偏移量、复制积压缓冲区、服务器运行 ID 三个部分来实现。

  复制偏移量
  执行复制的双方——主服务器和从服务器会分别维护一个复制偏移量:

  • 主服务器每次向从服务器传播N个字节的数据时,就将自己的复制偏移量的值+N;
  • 从服务器每次收到主服务器传播来的N个字节的数据时,就将自己的复制偏移量的值+N;

  通过对比主从服务器的复制偏移量,程序可以很容易地知道主从服务器是否处于一致状态:如果主从服务器处于一致状态,那么主从服务器两者的偏移量总是相同的;相反,如果主从服务器两者的偏移量并不相同,那么说明主从服务器并未处于一致状态。

  复制积压缓冲区
  复制积压缓冲区是由主服务器维护的一个固定长度(fixed-size)先进先出(FIFO)队列,默认大小为1MB。
  当主服务器进行命令传播时,它不仅会将写命令发送给所有从服务器,还会将写命令入队到复制积压缓冲区里面,如图所示。

  因此,主服务器的复制积压缓冲区里面会保存着一部分最近传播的写命令,并且复制积压缓冲区会为队列中的每个字节记录相应的复制偏移量。当从服务器重新连上主服务器时,从服务器会通过PSYNC命令将自己的复制偏移量offset发送给主服务器,主服务器会根据这个复制偏移量来决定对从服务器执行何种同步操作:

  • 如果offset偏移量之后的数据(也即是偏移量offset+1开始的数据)仍然存在于复制积压缓冲区里面,那么主服务器将对从服务器执行部分重同步操作;
  • 相反,如果offset偏移量之后的数据已经不存在于复制积压缓冲区,那么主服务器将对从服务器执行完整重同步操作。

  Redis为复制积压缓冲区设置的默认大小为1MB,如果主服务器需要执行大量写命令,又或者主从服务器断线后重连接所需的时间比较长,那么这个大小也许并不合适。如果复制积压缓冲区的大小设置得不恰当,那么PSYNC命令的复制重同步模式就不能正常发挥作用,因此,正确估算和设置复制积压缓冲区的大小非常重要。复制积压缓冲区的最小大小可以根据second*write_size_per_second来估算。

  服务器运行ID
  除了复制偏移量和复制积压缓冲区之外,实现部分重同步还需要用到服务器运行ID(run ID)。
  每个Redis服务器,不论主服务器还是从服务,都会有自己的运行ID;运行ID在服务器启动时自动生成,由40个随机的十六进制字符组成,例如53b9b28df8042fdc9ab5e3fcbbbabff1d5dce2b3。

  当从服务器对主服务器进行初次复制时,主服务器会将自己的运行ID传送给从服务器,而从服务器则会将这个运行ID保存起来(注意是从服务器保存了主服务器的ID)。当从服务器断线并重新连上一个主服务器时,从服务器将向当前连接的主服务器发送之前保存的运行ID:

  • 如果从服务器保存的运行ID和当前连接的主服务器的运行ID相同,那么说明从服务器断线之前复制的就是当前连接的这个主服务器,主服务器可以继续尝试执行部分重同步操作;
  • 相反地,如果从服务器保存的运行ID和当前连接的主服务器的运行ID并不相同,那么说明从服务器断线之前复制的主服务器并不是当前连接的这个主服务器,主服务器将对从服务器执行完整重同步操作。

Psync 命令流程

  下面开始分析 Psync 命令的流程:
  如果从服务器之前没有复制过任何主服务器,那么从服务器就会向主服务器发送 psync 命令,请求主服务器进行数据的全量同步。
  否则,如果前面从服务器已经同步过部分数据,那么从服务器向主服务器发送 psync <runid> <offset>命令,其中 runid 是上一次主服务器的运行 id,offset 是当前从服务器的复制偏移量。

  前面两种情况主服务器收到 Psync 命令之后,会出现以下三种可能:
  1. 主服务器返回+fullresync <runid> <offset>回复,表示主服务器要求与从服务器进行完整的数据全量同步操作。其中,runid 是当前主服务器运行 id,而 offset 是当前主服务器的复制偏移量。
  2. 如果主服务器应答 +continue,那么表示主服务器与从服务器进行部分数据同步操作,将从服务器缺失的数据同步过来即可。
  3. 如果主服务器应答 -err,那么表示主服务器版本低于 2.8,识别不了 Psync 命令,此时从服务器将向主服务器发送 Sync 命令,执行完整的全量数据同步。


转载自:
https://blog.csdn.net/bohu83/article/details/85074845