MongoDB增量备份 – IPCPU-网络之路

MongoDB增量备份.md

概述

MongoDB副本集有oplog用来主备同步，增量备份就是对指定时间段的oplog进行dump，然后在某个全量备份基础上进行回放，原理和MySQLbinlog增量备份一致。

OPlog

Oplog是一种特殊的Capped collections，特殊之处在于它是系统级Collection，记录了数据库的所有操作，集群之间依靠Oplog进行数据同步。Oplog的全名是local.oplog.rs，位于local数据下。

Oplog记录的操作记录是幂等的(idempotent)，这意味着你可以多次执行这些操作而不会导致数据丢失或不一致。

这里我们简单介绍下oplog的格式

{"ts":{"$timestamp":{"t":1541685325,"i":2}},"t":{"$numberLong":"11"},"h":{"$numberLong":"169245588685612356"},"v":2,"op":"u","ns":"iip_shard.qasprope
rties","o2":{"_id":{"$oid":"5be2647ff3e24f580d732aec"}},"o":{"$set":{"officialReadAt":{"$date":"2018-11-08T13:55:25.516Z"}}}}

字段内容如下，

ts：操作发生时的时间戳，这个时间戳包含两部分内容t和i，t是标准的时间戳（自1970年1月1日 00:00:00 GMT 以来的毫秒数）而i是一个序号，目的是为了保证 t 与 i 组合出的 Mongo 时间戳 ts 可以唯一的确定一条操作记录
op：操作类型，插入对应i；更新对应u；删除对应d；但有一种情况是n，它表示无操作（no-op），紧紧代表一个消息信息。
ns：这个操作的库和collection的组合
o与o2：他们都是操作相关的数据内容

对于不同的版本的MongoDB，其oplog的格式也不一样，这点需要格外注意（此文使用的版本是3.4.0）。

Timestamps格式详解

MongoDB有一种特殊的时间格式Timestamps，仅用于内部使用，例如上面Oplog记录：

Timestamp(1503110518, 1)

Timestamps长度为64位：

前32位是time_t值，表示从epoch时间至今的秒数
后32位是ordinal值，该值是一个顺序增长的序数，表示某一秒内的第几次操作

增量导出数据

了解了数据结构，我们可以执行dump导出相关的数据了，如下，

 mongodump --port 27018 -d local -c oplog.rs -o dump --query "{ts : { \$gte : { \$timestamp : { t : 1519869600, i : 1 } }, \$lte : { \$timestamp : { t : 1519956000, i : 1 } } }} "

##@@取出1519869600到1519956000之间的oplog

TIPS：导出的bson文件可以使用命令bsondump oplog.rs.bson 转换成JSON格式。

回放OPlog

mongorestore --port 27018 -d local -c oplog.rs oplog.bson

参考资料

https://github.com/journeyapps/mongo-oplog-backup/blob/master/lib/mongo_oplog_backup/backup.rb
https://cloud.tencent.com/developer/article/1128027

概述

OPlog

Timestamps格式详解

增量导出数据

参考资料

与本文相关的文章