数据同步的几个原则
发布日期:2021-11-12 00:26:25 浏览次数:2 分类:技术文章

本文共 1185 字,大约阅读时间需要 3 分钟。

最近几年经常做些数据同步的开发工作,编码无非就那么点事,从一个数据库搬到另外一个数据库。但是,之前订立的几个原则,发现在同步过程中还是起到非常好的作用,在此记录下来,供自己和大家借鉴。

1、数据要有唯一标识

唯一标识的作用就是区分每一条数据。也就是数据的身份,至少每个表的数据都要有一个唯一标识。而且这个唯一标识在同步的每个节点都要存在。

唯一标识可以是一个或者多个字段,但是最好是一个字段,数据同步如果出现差异,你就会发现唯一标识是多么重要的东西了。

2、数据要有状态标识

数据同步很重要的一点就是数据源的数据一定不能被物理删除,如果数据源的数据被删除,那么会给后续的同步造成很大的麻烦,要么你在每次同步或者固定的时间去反查数据源。这无疑是非常痛苦的操作,如果数据量非常大,那么就是灾难了。

所以,使用逻辑删除,用一个字段标识数据的有效无效状态。那么同步过程中,仅仅是新增和更新操作,这样就很轻松解决这个问题了。

3、每条数据要有一个新增时间和更新时间

数据同步,最好是使用增量同步的方式,那么如何判断增量数据呢,有的说用自增类型,但是自增类型在有些数据库中,处理起来会比较麻烦。所以使用时间标是个很好的办法。新增记录时,新增时间和更新时间一致,当数据发生改变时,只改变更新时间。这样做,一反面可以根据更新时间判断增量的数据,另外一方面,如果数据源很好的遵循新增记录新增时间和更新时间一直,数据发生改变时,修改更新时间这一原则的话,那么可以减少在目的库进行判断数据是否存在的过程。

可能数据少的时候不是很明显,但是数据量比较大的时候,你就知道在目的库进行判断是多耗时的操作了。

4、数据同步要记录好日志

日志,平常的时候没什么用,但是如果出现问题,那么对于问题的排查就很重要了。谁也无法保证自己的程序不出一点问题,即使程序真的没问题,可能在系统的运维阶段也会出现一些你想不到的问题。所以,记好日志真的很重要。

知行办公,专业移动办公平台 https://zx.naton.cn/

【总监】十二春秋之,3483099@qq.com
Masterzelo616701261@qq.com
【运营】运维艄公,897221533@qq.com
【产品设计】流浪猫,364994559@qq.com
【体验设计】兜兜,2435632247@qq.com
】淘码小工,492395860@qq.comiMcG33Kimcg33k@gmail.com
】人猿居士,1059604515@qq.com;思路的顿悟,1217022114@qq.com
java】首席工程师MR_Wfeixue300@qq.com
【测试】土镜问道,847071279@qq.com
【数据】fox009521,42151960@qq.com;
【安全】保密,你懂的。

转载地址:https://blog.csdn.net/fox009521/article/details/78053901 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:区块链的含义
下一篇:几张趣图助你理解HTTP状态码~

发表评论

最新留言

很好
[***.229.124.182]2024年04月21日 21时15分17秒