这是学习笔记的第 2007 篇文章

  昨天开始写一个数据逻辑，整体来说就是对于数据生命周期的管理，如何做到系统化管理，而且对于数据库的侵入性最小。 通常来说，我们会投入较多的时间来逻辑开发部分，然后不断的迭代，得到一个初版的内容，但是不可否认，流程梳理是一个很关键的部分。

   前期的设计和调研占用了大概70%的时间，而留下来开发的时间就相对紧张了。从昨天开始的时候按照设想，可能开发的时间会快一些，因为对Shell还算熟悉，所以一些基本的逻辑就用Shell来写了，在逻辑的整合过程中，发现了其他的逻辑部分，东一块西一块，结果写着写着就发现Shell的瓶颈了，所以一些复杂的逻辑部分又用Python来写了。

    而这个过程中也是不断的调整，先为了实现功能，导致代码比较臃肿，而且存在不少重复的代码，从调试的情况来看，比预计的要慢了许多。 

    今天来到公司，我先耐着性子开始梳理整个流程，然后在梳理的过程中把一些共性流程整合，在这个过程中，也发现了原来不清晰的地方。之前的进度算是20%左右，梳理后开始专心先写接口，然后按照接口的内容和规范进行完善，把现有的代码融入到这些接口当中。看起来是一件很常规的事情，但是从我的感受来说，在整合的过程对效率的提升是非常有效的，首先就是逻辑的解耦，逼着我把有的多种脚本组合整合为统一的处理方式，比如统一使用Python来开发，通过一些选项来实现动态的数据抽取逻辑。 

后端代码层面也比原来更加清晰，每一个部分都可以很快的进行数据测试了。 

   如下就是一个今天梳理的流程逻辑。 

蓝色的部分是一些变更的类型划分，从流程上来看每一个部分都更加可控，快到下班的时候，逻辑的70%以上的内容就开发完了。

 下次继续跟进的时候打开流程图就能很快定位到逻辑相关的部分。

经过这样的整合方式之后，对于原来的原型设计也可以更加清晰，比如这里我引入了热点表，变更频率等，后期打算根据这些因素来融入回归分析的方式 ，打算借着这个机会分析一下手头的几百套环境，通过数据分析来得到一些更有价值的信息。