mysql 预留一个自定义字段_Spring Boot实战解决高并发数据入库: Redis 缓存+MySQL 批量入库...-白红宇的个人博客

mysql 预留一个自定义字段_Spring Boot实战解决高并发数据入库: Redis 缓存+MySQL 批量入库...

发布日期：2021-08-19 23:17:07 浏览次数：9 分类：技术文章

本文共 6823 字，大约阅读时间需要 22 分钟。

CSDN博客地址（关注，点赞）

人工智能推荐

GitHub（Star,Fork,Watch）

前言

最近在做阅读类的业务，需要记录用户的PV，UV；

项目状况：前期尝试业务阶段；

特点：

快速实现（不需要做太重，满足初期推广运营即可）

快速投入市场去运营

收集用户的原始数据，三要素：

在什么时间

阅读哪篇文章

提到PV，UV脑海中首先浮现特点：

需要考虑性能（每个客户每打开一篇文章进行记录）

允许数据有较小误差（少部分数据丢失）

架构设计

架构图：

- 时序图

- 记录基础数据MySQL表结构

CREATE TABLE `zh_article_count` (  `id` bigint(20) NOT NULL AUTO_INCREMENT,  `bu_no` varchar(32) DEFAULT NULL COMMENT '业务编码',  `customer_id` varchar(32) DEFAULT NULL COMMENT '用户编码',  `type` int(2) DEFAULT '0' COMMENT '统计类型:0APP内文章阅读',  `article_no` varchar(32) DEFAULT NULL COMMENT '文章编码',  `read_time` datetime DEFAULT NULL COMMENT '阅读时间',  `create_time` datetime DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',  `update_time` datetime DEFAULT CURRENT_TIMESTAMP COMMENT '更新时间',  `param1` int(2) DEFAULT NULL COMMENT '预留字段1',  `param2` int(4) DEFAULT NULL COMMENT '预留字段2',  `param3` int(11) DEFAULT NULL COMMENT '预留字段3',  `param4` varchar(20) DEFAULT NULL COMMENT '预留字段4',  `param5` varchar(32) DEFAULT NULL COMMENT '预留字段5',  `param6` varchar(64) DEFAULT NULL COMMENT '预留字段6',  PRIMARY KEY (`id`) USING BTREE,  UNIQUE KEY `uk_zh_article_count_buno` (`bu_no`),  KEY `key_zh_article_count_csign` (`customer_id`),  KEY `key_zh_article_count_ano` (`article_no`),  KEY `key_zh_article_count_rtime` (`read_time`)) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='文章阅读统计表';

技术实现方案

SpringBoot

Redis

MySQL

代码实现

完整代码（GitHub，欢迎大家Star,Fork,Watch)

https://github.com/dangnianchuntian/springboot

主要代码展示

Controller

/* * Copyright (c) 2020. zhanghan_java@163.com All Rights Reserved. * 项目名称：Spring Boot实战解决高并发数据入库: Redis 缓存+MySQL 批量入库 * 类名称：ArticleCountController.java * 创建人：张晗 * 联系方式：zhanghan_java@163.com * 开源地址: https://github.com/dangnianchuntian/springboot * 博客地址: https://zhanghan.blog.csdn.net */package com.zhanghan.zhredistodb.controller;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.validation.annotation.Validated;import org.springframework.web.bind.annotation.RequestBody;import org.springframework.web.bind.annotation.RequestMapping;import org.springframework.web.bind.annotation.RequestMethod;import org.springframework.web.bind.annotation.RestController;import com.zhanghan.zhredistodb.controller.request.PostArticleViewsRequest;import com.zhanghan.zhredistodb.service.ArticleCountService;@RestControllerpublic class ArticleCountController {
        @Autowired    private ArticleCountService articleCountService;   /**    * 记录用户访问记录    */    @RequestMapping(value = "/post/article/views", method = RequestMethod.POST)    public Object postArticleViews(@RequestBody @Validated PostArticleViewsRequest postArticleViewsRequest) {
            return articleCountService.postArticleViews(postArticleViewsRequest);    }    /**     *  批量将缓存中的数据同步到MySQL（模拟定时任务操作）     */    @RequestMapping(value = "/post/batch", method = RequestMethod.POST)    public Object postBatch() {
            return articleCountService.postBatchRedisToDb();    }}

Service

/* * Copyright (c) 2020. zhanghan_java@163.com All Rights Reserved. * 项目名称：Spring Boot实战解决高并发数据入库: Redis 缓存+MySQL 批量入库 * 类名称：ArticleCountServiceImpl.java * 创建人：张晗 * 联系方式：zhanghan_java@163.com * 开源地址: https://github.com/dangnianchuntian/springboot * 博客地址: https://zhanghan.blog.csdn.net */package com.zhanghan.zhredistodb.service.impl;import java.util.ArrayList;import java.util.Date;import java.util.List;import java.util.stream.Collectors;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.beans.factory.annotation.Value;import org.springframework.data.redis.core.RedisTemplate;import org.springframework.stereotype.Service;import org.springframework.util.CollectionUtils;import com.alibaba.fastjson.JSON;import com.zhanghan.zhredistodb.controller.request.PostArticleViewsRequest;import com.zhanghan.zhredistodb.dto.ArticleCountDto;import com.zhanghan.zhredistodb.mybatis.mapper.XArticleCountMapper;import com.zhanghan.zhredistodb.service.ArticleCountService;import com.zhanghan.zhredistodb.util.wrapper.WrapMapper;import cn.hutool.core.util.IdUtil;@Servicepublic class ArticleCountServiceImpl implements ArticleCountService {
        private static Logger logger = LoggerFactory.getLogger(ArticleCountServiceImpl.class);    @Autowired    private RedisTemplate
     
       strRedisTemplate;    @Autowired    private XArticleCountMapper xArticleCountMapper;    @Value("${zh.article.count.redis.key:zh}")    private String zhArticleCountRedisKey;    @Value("#{T(java.lang.Integer).parseInt('${zh..article.read.num:3}')}")    private Integer articleReadNum;    /**     * 记录用户访问记录     */    @Override    public Object postArticleViews(PostArticleViewsRequest postArticleViewsRequest) {
            ArticleCountDto articleCountDto = new ArticleCountDto();        articleCountDto.setBuNo(IdUtil.simpleUUID());        articleCountDto.setCustomerId(postArticleViewsRequest.getCustomerId());        articleCountDto.setArticleNo(postArticleViewsRequest.getArticleNo());        articleCountDto.setReadTime(new Date());        String strArticleCountDto = JSON.toJSONString(articleCountDto);        strRedisTemplate.opsForList().rightPush(zhArticleCountRedisKey, strArticleCountDto);        return WrapMapper.ok();    }    /**     * 批量将缓存中的数据同步到MySQL     */    @Override    public Object postBatchRedisToDb() {
            Date now = new Date();        while (true) {
                List
      
        strArticleCountList =                    strRedisTemplate.opsForList().range(zhArticleCountRedisKey, 0, articleReadNum);            if (CollectionUtils.isEmpty(strArticleCountList)) {
                    return WrapMapper.ok();            }            List
       
         articleCountDtoList = new ArrayList<>();            strArticleCountList.stream().forEach(x -> {
                    ArticleCountDto articleCountDto = JSON.parseObject(x, ArticleCountDto.class);                articleCountDtoList.add(articleCountDto);            });            //过滤出本次定时任务之前的缓存中数据,防止死循环            List
        
          beforeArticleCountDtoList = articleCountDtoList.stream().filter(x -> x.getReadTime()                    .before(now)).collect(Collectors.toList());            if (CollectionUtils.isEmpty(beforeArticleCountDtoList)) {
                    return WrapMapper.ok();            }            xArticleCountMapper.batchAdd(beforeArticleCountDtoList);            Integer delSize = beforeArticleCountDtoList.size();            strRedisTemplate.opsForList().trim(zhArticleCountRedisKey, delSize, -1L);        }    }}