本文共 3765 字，大约阅读时间需要 12 分钟。
这是学习笔记的第 2149 篇文章
最近的数据库小问题还是零零散散会出现，通过这些零星的小问题可以发现很多潜在问题的端倪。 所以准备在一些技术储备方面要多投入一些，把这些基础打扎实。
比如对于按照时间维度的日表，我们在此成为周期表，对于它的管理看起来很简单，实际上会有很多潜在的问题，对此我会提供一些改进的思路。
比如日表test_data_20190101，它存储的是1月1日的数据，这种数据模型中的数据基本都是流水型/日志数据，所以数据不需要保留太长时间，在用到的时候够查就可以了，一般设置为1个月，那么test_data表在20190201的时候就删除20190101的数据了，这里就存在一系列的问题，核心思想就是：怎么保证这个过程是可控的。通常会出现很多方面的问题:
1)周期表没有生成，业务写入失败
2）过期周期表没有按时清理，磁盘空间报警
3）误删除周期表，导致数据无法回复
4）管理多个周期表，没有提醒的机制，导致人为跟进出错概率高
5）周期表创建了，可能权限没有刷新
6）周期表创建了，但是业务压根没有用到，数据量一直是0
7）周期表创建了，但是不连续，比如有的月份是31天，只创建了30天
当然还有很多，对此我的目标是把这些潜在的问题都解决掉，转换为一种闭环的操作。
所以看起来一个很简单的操作，在引入一个特定的场景后（目前维护的有60多张周期表，时间范围各不相同），就会发现要处理的问题实在是太多了。
从功能设计上，有下面的一些小的功能需要完善和补充：
生成周期表的创建语句
检测失效的周期表
转置失效的周期表
删除失效的周期表
周期表阈值检测
数据是否存在的检测
周期表连续性检查
周期表可访问预检查
周期表自动创建
对于里面的一个功能，如何检测周期表是否连续，出发点是很好的，但是在实现的时候发现比想象的要复杂一些。
在今天的总结中，我的最大收获就是想明白，重视设计，写出来一二三，然后按照设计的思路，完成之后就会事半功倍。
简单的梳理，我发现时间管理方面有很多重复的功能，如果每次都去单独处理，其实还是挺繁琐的，索性写了一堆的工具方法。
N个小时后的时间
N个小时前的时间
今天前的第N天
今天后的第N天
今天以前的N天列表
今天以后的N天列表
指定时间范围的时间列表
判断日期是否在日期范围之内
两个日期列表相同的日期
两个日期列表差异的日期
相关的部分代码如下：
# 得到几个小时前的时间
def beforeHours2Date(hours, date_format='%Y-%m-%d %H:%M:%S'): hours = int(hours) t = time.time() - hours*60*60 t = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(t)) return t # 得到几个小时后的时间
def afterHours2Date(hours, date_format='%Y-%m-%d %H:%M:%S'): hours = int(hours) t = time.time() + hours*60*60 t = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(t)) return t # 得到几天前的日期
def beforeDays2Date(days, date_format='%Y-%m-%d %H:%M:%S'): days = int(days) t = time.time() - days*60*60*24 t = time.strftime('%Y-%m-%d', time.localtime(t)) return t # 得到几天后的日期
def afterDays2Date(days, date_format='%Y-%m-%d %H:%M:%S'): days = int(days) t = time.time() + days*60*60*24 t = time.strftime('%Y-%m-%d', time.localtime(t)) return t #得到几天前到今天的日期列表
def beforeDays2Datelist(n): before_n_days = [] for i in range(1, n + 1)[::-1]: before_n_days.append(str(datetime.date.today() - datetime.timedelta(days=i))) return before_n_days
# 得到今天到几天后的日期列表
def afterDays2Datelist(n): before_n_days = [] for i in range(1, n + 1)[::-1]: before_n_days.append(str(datetime.date.today() + datetime.timedelta(days=i) )) return before_n_days
# 根据起始和截止日期得到日期列表
def get_datelist_by_start_end(datestart,dateend): data_list_arr = [] datestart = str_to_date_day(datestart) dateend = str_to_date_day(dateend) data_list_arr.append(date_day_to_str(datestart)) while datestart < dateend: datestart += datetime.timedelta(days=1) next_day = datestart.strftime('%Y-%m-%d') data_list_arr.append(next_day) return data_list_arr # 转换字符串为时间
def str_to_date_time(time_str): return datetime.datetime.strptime(time_str, '%Y-%m-%d %H:%M:%S')
# 转换时间为字符串
def date_time_to_str(time1): return time1.strftime("%Y-%m-%d %H:%M:%S") # 转换字符串为日期
def str_to_date_day(time_str): return datetime.datetime.strptime(time_str, '%Y-%m-%d')
# 转换日期为字符串
def date_day_to_str(time1): return time1.strftime("%Y-%m-%d") # 判断日期是否在指定的列表中
def date_in_range(date_str,start_date,end_date): return date_str in get_datelist_by_start_end(start_date,end_date)
# 得到指定时间范围内不连续的日期
def discontinuous_date_in_list(start_date,end_date,date_list): defined_list = get_datelist_by_start_end(start_date, end_date) return list(set(defined_list).difference(set(date_list)))
比如我的一个需求，得到不连续的日期，调用函数discontinuous_date_in_list，输入参数为起始日期，结束日期，然后提供一个时间列表进行比对。
print discontinuous_date_in_list('2019-10-21','2019-11-01',['2019-10-21','2019-10-23']) 输出为：
['2019-10-22', '2019-10-27', '2019-10-26', '2019-10-25', '2019-10-24', '2019-10-29', '2019-10-28', '2019-10-30', '2019-10-31', '2019-11-01']
可以看到很简短的代码就实现了一些繁琐的逻辑调用，而在后续的功能开发中，时间部分的处理也能高效很多。
简单一句话：不要轻视设计，然后像拼装乐高一样完成逻辑集成。
近期热文：
转载地址：https://jeanron100.blog.csdn.net/article/details/102878922 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！
发表评论
最新留言
关于作者
