前言

Redis是一个开源的高性能键值对数据库。它通过提供多种键值数据类型来适应不同场景下的存储需求，并借助许多高层级的接口使其可以胜任如缓存、队列系统等不同的角色。Redis持久化了解为了让性能更加优异，Redis默认是把所有的数据都存在内存中的。但是当服务器重启或程序异常崩溃时，Redis的数据就会全部丢失。因此出现了持久化的概念。持久化就是将存在内存中的数据同步到磁盘来保证持久化。

1、Redis持久化的方式

两种： RDB 和 AOF

RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照（point-in-time snapshot）。

AOF 持久化记录服务器执行的所有写操作命令，并在服务器启动时，通过重新执行这些命令来还原数据集。 AOF 文件中的命令全部以 Redis 协议的格式来保存，新命令会被追加到文件的末尾。 Redis 还可以在后台对 AOF 文件进行重写（rewrite），使得 AOF 文件的体积不会超出保存数据集状态所需的实际大小。

2、持久化的数据有什么用？

用于重启后的数据恢复。Redis是一个内存数据库，无论是RDB还是AOF，都只是其保证数据恢复的措施；所以Redis在利用RDB和AOF进行恢复的时候，都会读取RDB或AOF文件，重新加载到内存中。

默认持久化了解

其中RDB就是point-in-time snapshot快照存储，也是默认的持久化方式。对于RDB可理解为半持久化模式，即按照一定的策略周期性的将数据保存到磁盘。对应产生的数据文件为dump.rdb，通过配置文件中的save参数来定义快照的周期。Redis的RDB文件不会坏掉，因为其写操作是在一个新进程中进行的。

一、准备工作

默认的持久化设置：

save 900 1                          #当有一条Keys数据被改变时，900秒刷新到Disk一次save 300 10                        #当有10条Keys数据被改变时，300秒刷新到Disk一次save 60 10000                    #当有10000条Keys数据被改变时，60秒刷新到Disk一次

利用持久化迁移数据，下面操作在所有主节点执行

##########查看配置信息及当前存储的key值###########[root@localhost ~]# redis-cli -c -h 10.10.10.10 -p 6379

#########保存最新的key值################

redis 10.10.10.10:6379> BGSAVEBackground saving started##########查看是否保存成功##############redis 10.10.10.10:6379> LASTSAVE(integer) 1420367903

Redis–BGSAVE

在后台异步(Asynchronously)保存当前数据库的数据到磁盘。BGSAVE 命令执行之后立即返回 OK ，然后 Redis fork 出一个新子进程，原来的 Redis 进程(父进程)继续处理客户端请求，而子进程则负责将数据保存到磁盘，然后退出。LASTSAVE返回最近一次 Redis 成功将数据保存到磁盘上的时间，以 UNIX 时间戳格式表示。

转换Unix时间戳的网址

二、安装部署redis-migrate-tool

官方链接：

软件编译安装：

mkdir /opt/cachecloud/  && cd /opt/cachecloud/wget https://github.com/vipshop/redis-migrate-tool/archive/master.zipunzip master.zipmv redis-migrate-tool-master redis-migrate-toolcd redis-migrate-toolmkdir dataautoreconf -fvi./configuremakesrc/redis-migrate-tool -h

三、配置启动redis-migrate-tool

3.1）配置文件实例：

vim /opt/cachecloud/redis-migrate-tool/rmt.conf

示例1：从rdb文件恢复数据到redis cluster集群

[source]type: rdb fileservers: - /data/redis/dump1.rdb - /data/redis/dump2.rdb - /data/redis/dump3.rdb[target]type: redis clusterservers: - 127.0.0.1:7379[common]listen: 0.0.0.0:8888

示例2：从redis cluster集群迁移数据到另外一个cluster集群

[source]type: redis clusterservers:- 127.0.0.1:8379[target]type: redis clusterservers:- 127.0.0.1:7379[common]listen: 0.0.0.0:8888

示例3：从redis cluster集群迁移数据到twemproxy集群

[source]type: redis clusterservers:- 127.0.0.1:6379[target]type: twemproxyhash: fnv1a_64hash_tag: "{}"distribution: ketamaservers:- 127.0.0.1:6380:1 server1- 127.0.0.1:6381:1 server2- 127.0.0.1:6382:1 server3- 127.0.0.1:6383:1 server4[common]listen: 0.0.0.0:34345threads: 8step: 1mbuf_size: 512source_safe: true

3.2）软件运行：

cd /opt/cachecloud/redis-migrate-toolsrc/redis-migrate-tool -c rmt.conf -o log -d

3.3）状态查看：通过redis-cli连接redis-migrate-tool监控的端口，运行info命令

$redis-cli -h 127.0.0.1 -p 8888127.0.0.1:8888> info# Serverversion:0.1.0os:Linux 2.6.32-573.12.1.el6.x86_64 x86_64multiplexing_api:epollgcc_version:4.4.7process_id:9199tcp_port:8888uptime_in_seconds:1662uptime_in_days:0config_file:/ect/rmt.conf# Clientsconnected_clients:1max_clients_limit:100total_connections_received:3# Memorymem_allocator:jemalloc-4.0.4# Groupsource_nodes_count:32target_nodes_count:48# Statsall_rdb_received:1all_rdb_parsed:1rdb_received_count:32rdb_parsed_count:32total_msgs_recv:7753587total_msgs_sent:7753587total_net_input_bytes:234636318total_net_output_bytes:255384129total_net_input_bytes_human:223.77Mtotal_net_output_bytes_human:243.55Mtotal_mbufs_inqueue:0total_msgs_outqueue:0127.0.0.1:8888>

3.4）数据校验：

$src/redis-migrate-tool -c rmt.conf -o log -C redis_checkCheck job is running...Checked keys: 1000Inconsistent value keys: 0Inconsistent expire keys : 0Other check error keys: 0Checked OK keys: 1000All keys checked OK!Check job finished, used 1.041s

附加工具：redis-port

安装go：

wget https://dl.google.com/go/go1.7.5.linux-amd64.tar.gztar zxvf go1.7.5.linux-amd64.tar.gzmv go /usr/local/mkdir $HOME/workecho 'export GOROOT=/usr/local/go' >>/etc/profile echo 'export PATH=$PATH:$GOROOT/bin' >>/etc/profileecho 'export GOPATH=$HOME/work' >>/etc/profilesource /etc/profile# go versiongo version go1.7.5 linux/amd64

下载 redis-port

使用示例1

./redis-port  restore  --input=x/dump.rdb  --target=dst_host:dst_port   --auth=dst_password  [--filterkey="str1|str2|str3"] [--targetdb=DB] [--rewrite] [--bigkeysize=SIZE] [--logfile=REDISPORT.LOG]参数说明x/dump.rdb : 自建 redis 的 dump 文件路径dst_host : 目的数据库 redis 域名dst_port : 目的数据库 redis 端口dst_password : 目的数据库 redis 密码str1|str2|str3 : 过滤具有 str1 或 str2 或 str3 的 keyDB : 将要同步入目的数据库 redis 的 DBrewrite : 覆盖已经写入的 keybigkeysize=SIZE : 当写入的 value 大于 SIZE 时，走大 key 写入模式

根据 redis-port 日志查看数据同步状态

根据redis-port日志查看同步状态

当出现restore: rdb done时数据同步完成。

使用示例2

./redis-port  sync  --from=src_host:src_port --password=src_password  --target=dst_host:dst_port   --auth=dst_password  [--filterkey="str1|str2|str3"] [--targetdb=DB] [--rewrite] [--bigkeysize=SIZE] [--logfile=REDISPORT.LOG]参数说明src_host : 自建 redis 域名（或者 IP）src_port : 自建 redis 端口src_password : 自建 redis 密码dst_host : 目的数据库 redis 域名dst_port : 目的数据库 redis 端口dst_password : 目的数据库 redis 密码str1|str2|str3 : 过滤具有 str1 或 str2 或 str3 的 keyDB : 将同步入目的 redis 的 DBrewrite : 覆盖已经写入的 keybigkeysize=SIZE : 当写入的 value 大于 SIZE 时，走大 key 写入模式

根据 redis-port 日志查看数据同步状态

根据redis-port日志查看同步状态当出现sync rdb done时全量同步完成，进入增量同步的模式。