数据增量同步

数据同步?讲这个之前，我们先要说说什么是数据同步，在我们工作中会产生大量数据，如果数据保留多份，就会存在一致性问题,就需要同步，同步分为两大类：全量和增量

概念

数据如果要保留副本，要么同时写(就是多写)，或者进行复制：异步写(即从主数据拷贝到副本);

同时写(多写)，引出一个问题，写多少节点算成功(场景：分布式系统)?全部写成功才算成功，还是写大多数成功算成功，还是写指定几个节点算成功?

异步写的话，如果采用异步复制，那么实时性需要考量的话，就需要采用性能优先的架构。

同步方式

数据同步一般分为两种方式：全量和增量。

1.什么是全量同步

全量，这个很好理解。就是每天定时(避开业务高峰期)或者周期性全量把数据从一个地方拷贝到另外一个地方;

全量的话，可以采用直接全部覆盖(使用“新”数据覆盖“旧”数据);或者走更新逻辑(覆盖前判断下，如果新旧不一致，就更新);

这里面有一个隐藏的问题：如果采用异步写，主数据物理删除了，怎么直接通过全量数据同步?这就需要借助一些中间操作日志文件，或者其他手段，把这些“看不到”的数据记录起来。

2. 什么是数据增量同步

增量的基础是全量，就是你要使用某种方式先把全量数据拷贝过来，然后再采用增量方式同步更新。

增量的话，就是指抓取某个时刻(更新时间)或者检查点(checkpoint)以后的数据来同步，不是无规律的全量同步。这里引入一个关键性的前提：副本一端要记录或者知道(通过查询更新日志或者订阅更新)哪些更新了。

目前在国外有Dropbox采用增量同步，国内坚果云也采用增量同步的模式进行更新。

坚果云智能增量同步

当您在修改任意文件时，坚果云会通过智能分析，找出当前的文件和上一个版本之间修改的部分，在同步时只上传两个版本的差异部分，从而大大加快文件的同步速度、降低流量的消耗。

对于某些类型的文件， 例如文档，数据库存档记录，邮件存档等， 该技术最高能将同步速度提高上百倍。

压缩文件(常见的压缩文件除了压缩包以外，还包括jpg，png和tiff，各种视频文件等。)和加密过的文件(不包括加密过的Office文件)，不支持增量同步