百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT技术 > 正文

在B端业务中由于重复点或并发造成的重复数据处理思路

wptr33 2025-04-09 21:25 21 浏览

需求背景:

入库单号:L-ASN2025022xxxxx

入库批次号:100025022800151

数量:500

理货后,生成了一个500的已理货数据,上架后,生成了两个500已上架数据,重复了



后台查看数据创建时间也一样,仓库操作人员由于网络或者其他问题出现重复点击或者在多人操作同一单据情况下出现的并发问题

这种情况下仅仅针对接口加分布式锁解决不了实际问题,需要针对请求url,参数进行加锁才可以完全解决

以php项目为例 php-laravel框架

1,通过url+请求参数进行加锁处理 可以组织90%以上的重复点击带来的重复数据的问题

PreventDupSubmit.php

all();
        $requestParams["adminId"] = getAdminUserId();
        $requestParams["uri"] = $request->getUri();
        if(isset($requestParams["file"])){
            unset($requestParams["file"]);
        }
        \Log::info(sprintf("并发请求url:%s,请求参数:%s",$request->getUri(),json_encode($requestParams)));
        ksort($requestParams);
        $key = md5(serialize($requestParams));

        $getLock = WmsLockService::getLock($key,8);
//        $request->offsetSet("request_md5_key",$key);


        if(!$getLock){
            return response()->json(json_decode(Response::setError("请勿重复请求,请5秒后再发起请求"), true));
        }

//        $result = Redis::Connection("wms")->set('wms_' . $key, 1,"EX",5,"NX");
//        if(!$result){
//            throw new InvalidRequestException("请勿重复请求,请5秒后再发起请求");
//        }
        $response = $next($request);
        WmsLockService::delLock($key);
//        Redis::Connection("wms")->del('wms_' . $key);
        return $response;
    }
}
WmsLockService.php
<?php

namespace App\Http\Services;

use Illuminate\Support\Facades\Redis;

class WmsLockService
{
    const LOCK_KEY = "wms_lock_";

    public static function getLock($Key="",$time=15){
        $requestId = uniqid(); // 生成一个唯一的请求ID
        $expireTime = 1000 * intval($time); // 锁的过期时间,单位毫秒

        // Lua脚本
        $luaScript = <<eval($luaScript, 1, $lockKey, $requestId, $expireTime);
        return $result;
    }



    public static function delLock($lockKey=""){
        Redis::Connection("wms")->del(self::LOCK_KEY.$lockKey);
    }

}

路由

 Route::match(['get', 'post'], '/stockIn/stockShelf/oneKeyPutawayAction', 'StockShelfController@oneKeyPutawayAction')->middleware('prevent_dup_submit')

中间件


2,假如业务中出现非重复点击,或者由于事务中处理比较慢(请求上架或者理货 请求参数类似于[1,3,5] [1,3,8,9]),两次请求中都有请求参数id:1,3 会造成1和3的并发问题。

处理方法就是针对具体请求的函数对单个参数进行加锁 当上架id:[1,3,5]请求的时候可以让1,3,5分别进行加锁,下一个1,3,8,9来请求的时候就会因为拿不到锁而报错


RedisLock
systemName = $systemName;
        $this->functionName = $functionName;
    }

    public static function initInstance($systemName, $functionName)
    {
        return new self($systemName, $functionName);
    }

    public function lock($key, $ttl = null)
    {
        $redis = Redis::connection();
        $randNum = mt_rand(10000000, 99999999);
        $ttl = $ttl ?? self::TTL;
        $redisKey = self::KEY_PREFIX . ":{$this->systemName}:{$this->functionName}:{$key}";
        $result = $redis->setNx($redisKey, $randNum);
        if ($result) {
            $redis->expire($redisKey, $ttl);
            $this->randNumMap[$key] = $randNum;
            return $randNum;
        } else {
            return null;
        }
    }

    public function unlock($key, $randNum)
    {
        $redis = Redis::connection();
        $redisKey = self::KEY_PREFIX . ":{$this->systemName}:{$this->functionName}:{$key}";
        $lua = <<eval($lua, 1, $redisKey, $randNum);
        return $result;
    }

    public function lockFunction($key, callable $callback,callable $failCallback = null)
    {
        $random = $this->lock($key);
        if ($random !== null) {
            $result = call_user_func($callback);
            $delResult = $this->unlock($key, $random);
            if ($delResult==0){
                if ($failCallback){
                    call_user_func($failCallback);
                }
            }
            return $result;
        } else {
            return false;
        }
    }

    public function lockBatchKey($keyArr, $ttl = null)
    {
        $lockResult = [];
        foreach ($keyArr as $key) {
            $result = $this->lock($key, $ttl);
            if ($result) {
                $lockResult[$key] = $result;
            } else {
                $lockResult[$key] = 0;
            }
        }
        return $lockResult;
    }

    public function unlockBatchKey($resultArr)
    {
        $unlockResult = [];
        foreach ($resultArr as $key => $random) {
            $random = $this->randNumMap[$key] ?? $random;
            $result = $this->unlock($key, $random);
            if ($result) {
                $unlockResult[$key] = true;
            } else {
                $unlockResult[$key] = false;
            }
        }
        return $unlockResult;
    }
}

在开发过程中刚开始使用的是上述第一种方法,但是偶尔3-6个月会出现一次重复数据,目前没有找到具体原因,所以后来又采用第二种更加细粒度的加锁方式,对请求的具体参数进行加锁,希望能帮到大家解决开发过程中遇到类似的问题提供解决思路

相关推荐

MySQL进阶五之自动读写分离mysql-proxy

自动读写分离目前,大量现网用户的业务场景中存在读多写少、业务负载无法预测等情况,在有大量读请求的应用场景下,单个实例可能无法承受读取压力,甚至会对业务产生影响。为了实现读取能力的弹性扩展,分担数据库压...

Postgres vs MySQL_vs2022连接mysql数据库

...

3分钟短文 | Laravel SQL筛选两个日期之间的记录,怎么写?

引言今天说一个细分的需求,在模型中,或者使用laravel提供的EloquentORM功能,构造查询语句时,返回位于两个指定的日期之间的条目。应该怎么写?本文通过几个例子,为大家梳理一下。学习时...

一文由浅入深带你完全掌握MySQL的锁机制原理与应用

本文将跟大家聊聊InnoDB的锁。本文比较长,包括一条SQL是如何加锁的,一些加锁规则、如何分析和解决死锁问题等内容,建议耐心读完,肯定对大家有帮助的。为什么需要加锁呢?...

验证Mysql中联合索引的最左匹配原则

后端面试中一定是必问mysql的,在以往的面试中好几个面试官都反馈我Mysql基础不行,今天来着重复习一下自己的弱点知识。在Mysql调优中索引优化又是非常重要的方法,不管公司的大小只要后端项目中用到...

MySQL索引解析(联合索引/最左前缀/覆盖索引/索引下推)

目录1.索引基础...

你会看 MySQL 的执行计划(EXPLAIN)吗?

SQL执行太慢怎么办?我们通常会使用EXPLAIN命令来查看SQL的执行计划,然后根据执行计划找出问题所在并进行优化。用法简介...

MySQL 从入门到精通(四)之索引结构

索引概述索引(index),是帮助MySQL高效获取数据的数据结构(有序),在数据之外,数据库系统还维护者满足特定查询算法的数据结构,这些数据结构以某种方式引用(指向)数据,这样就可以在这些数据结构...

mysql总结——面试中最常问到的知识点

mysql作为开源数据库中的榜一大哥,一直是面试官们考察的重中之重。今天,我们来总结一下mysql的知识点,供大家复习参照,看完这些知识点,再加上一些边角细节,基本上能够应付大多mysql相关面试了(...

mysql总结——面试中最常问到的知识点(2)

首先我们回顾一下上篇内容,主要复习了索引,事务,锁,以及SQL优化的工具。本篇文章接着写后面的内容。性能优化索引优化,SQL中索引的相关优化主要有以下几个方面:最好是全匹配。如果是联合索引的话,遵循最...

MySQL基础全知全解!超详细无废话!轻松上手~

本期内容提醒:全篇2300+字,篇幅较长,可搭配饭菜一同“食”用,全篇无废话(除了这句),干货满满,可收藏供后期反复观看。注:MySQL中语法不区分大小写,本篇中...

深入剖析 MySQL 中的锁机制原理_mysql 锁详解

在互联网软件开发领域,MySQL作为一款广泛应用的关系型数据库管理系统,其锁机制在保障数据一致性和实现并发控制方面扮演着举足轻重的角色。对于互联网软件开发人员而言,深入理解MySQL的锁机制原理...

Java 与 MySQL 性能优化:MySQL分区表设计与性能优化全解析

引言在数据库管理领域,随着数据量的不断增长,如何高效地管理和操作数据成为了一个关键问题。MySQL分区表作为一种有效的数据管理技术,能够将大型表划分为多个更小、更易管理的分区,从而提升数据库的性能和可...

MySQL基础篇:DQL数据查询操作_mysql 查

一、基础查询DQL基础查询语法SELECT字段列表FROM表名列表WHERE条件列表GROUPBY分组字段列表HAVING分组后条件列表ORDERBY排序字段列表LIMIT...

MySql:索引的基本使用_mysql索引的使用和原理

一、索引基础概念1.什么是索引?索引是数据库表的特殊数据结构(通常是B+树),用于...