Redis实现分布式锁如何保证公平性?
wptr33 2025-01-12 19:06 19 浏览
Redis分布式锁的公平性是指在多客户端并发请求锁的情况下,能够保证所有请求锁的客户端能够按照一定的顺序依次公平的获取到锁,从而有效的避免了某些客户端由于不断地锁竞争操作而无法获得锁的情况,这种现象也被称为锁饥饿。所以我们需要提供一种相对公平的机制来保证每个客户端请求获取到锁的机会都是一样的避免出现锁饥饿的情况出现。
为什么需要公平性?
??在某些请求处理过程中,如果没有锁的公平性就会导致有些请求较少的客户端永远获取不到锁的情况发生,例如一个客户端的在获取锁的时候发生了故障或者是获取锁较慢,那么后续的性能较好的客户端处理请求的速度和获取锁的速度都比较快,那么就会导致原来的处理较慢的这个客户端一直在尝试获取锁,但是一直获取不到,从而导致业务无法得到有效的处理。
??另外就是如果分布式锁没有公平性,就会导致请求锁的客户端可能无限的被阻塞,引发某个客户端死锁的问题。
??为了避免这些问题的发生,我们就需要保证分布式锁获取的公平性,这样就可以保证所有的客户端可以按照一定的规则顺序的获取锁,确保每个客户端获取到锁的机会都是一样的,这样就可以避免出现死锁、或者是锁饥饿等问题。
??在之前的分享中,我们介绍过在Redis底层命令支持的Redis锁实现过程中,并没有提供内置的锁公平机制,所以为了实现Redis分布式锁公平就需要我们通过自己的逻辑来实现锁公平操作。下面我们就来看看如何在Redis分布式锁中实现锁公平机制。
通过有序集合ZSet来实现锁的公平性
??通过Redis的ZSet集合来实现分布式公平锁是在开发过程中比较常见的一个解决方案,这种数据结构允许元素按照顺序进行存储,每个元素都有一个分数,然后根据分数进行排序,在实现分布式锁的过程中,客户端可以将自己的请求锁的时间戳或者是通过一个有序的递增序列来作为分数,将这个标识存储到有序集合中,然后客户端就可以通过对这个分数的检查来判断自己是否可以获取锁。
??在客户端获取锁的时候,首先检查元素中的顺序是否为最小分数的元素,如果是那么就尝试获取锁,如果获取锁成功,那么就正常执行任务释放锁,如果不是最小的元素,那么就需要继续等待获取锁,这里需要注意,在释放锁之后,需要将自己的标识从有序集合中移除,这样才能保证锁的公平性。
??如下所示,通过一段伪代码来说明获取锁的情况,在客户端尝试获取锁的时候,会将自己和时间戳一起放入到一个Zset集合中,因为时间戳可以保证请求顺序,这里需要注意时钟回拨问题。
import redis
import time
def acquire_lock(client_id):
redis_client = redis.StrictRedis()
timestamp = time.time() # 使用时间戳作为分数
# 将客户端请求加入 ZSet
redis_client.zadd("lock_queue", {client_id: timestamp})
??接下来,客户端会查询自己的排名情况来判断自己是否排在队列的首位尝试获取锁,因为只有排在最前面的客户端才能够尝试获取锁,如下所示。
def check_and_acquire_lock(client_id):
redis_client = redis.StrictRedis()
# 获取当前客户端在 ZSet 中的排名
rank = redis_client.zrank("lock_queue", client_id)
if rank == 0: # 如果自己是 ZSet 中的第一个元素,尝试获取锁
if redis_client.setnx("lock_key", client_id): # 尝试获取锁
return True
return False
??如果客户端排在队首并且成功的获取到了锁,那么就可以执行获取锁之后的对共享资源的操作逻辑,如果获取锁失败了,那么就会继续等待获取锁,如下所示。
def acquire_lock(client_id):
redis_client = redis.StrictRedis()
# 客户端请求锁并加入 ZSet
timestamp = time.time() # 使用时间戳作为分数
redis_client.zadd("lock_queue", {client_id: timestamp})
while True:
# 获取客户端在 ZSet 中的排名
rank = redis_client.zrank("lock_queue", client_id)
if rank == 0: # 如果自己排在最前面
# 尝试通过 SETNX 获取锁
if redis_client.setnx("lock_key", client_id):
# 获取锁成功,执行任务
return True
time.sleep(0.1) # 等待一段时间后再次尝试
??等待客户端正常处理完成共享资源的逻辑之后,客户端就需要尝试释放锁,并且从排序集合中将自己的排队信息进行移除,如下所示。
def release_lock(client_id):
redis_client = redis.StrictRedis()
# 执行完任务后释放锁
redis_client.delete("lock_key")
# 从 ZSet 中删除自己
redis_client.zrem("lock_queue", client_id)
??到这里通过Zset实现锁的公平性的操作就算完成了,但是仔细推敲就会发现,如果按照时间戳进行排序操作的话,如果需要了时钟回拨,那么就会导致锁的公平性被打破的情况,所以在通过这种方式设置分数的时候,需要考虑到时钟回拨业务的处理。
??其实从上面的实现思路我们也可以知道,想要实现一个锁的公平性首先需要保证的就是这些获取锁的客户端能够在一个有序的集合中进行排队等待。那么在Redis中还可以通过List来实现这种排队机制。下面我们就来介绍通过List数据结构来实现分布式锁公平性操作。
通过List来实现Redis分布式锁的公平性
??通过List的方式来实现Redis分布式锁机制其实就是模拟了一个队列,通过LPUSH命令将客户端添加到队列中,然后通过LPOP命令来按照顺序从队列的一端顺序获取客户端请求,这主要就是利用了队列这种数据结构的FIFO的特点,客户端会将自己的请求添加到队列的尾部,在获取锁的时候会检查自己是否是队列的第一个元素,如果是第一个元素那么就会尝试获取锁,如果获取锁成功,那么就可以执行对应的业务逻辑,否则就继续等待,也是同样的机制客户端会定期检查自己是否是队列的第一个元素,同样的在执行完业务逻辑释放锁的时候,需要将客户端从队列中执行出队操作,防止出现死锁问题。
??下面我们就来通过伪代码机制来演示如何通过List数据结构来模拟锁的公平性实现,如下所示。
import redis
import time
def acquire_lock(client_id):
redis_client = redis.StrictRedis()
# 将客户端请求添加到队列末尾
redis_client.rpush("lock_queue", client_id)
while True:
# 获取队首客户端
first_client = redis_client.lindex("lock_queue", 0)
# 如果自己是队首客户端,尝试获取锁
if first_client == client_id.encode(): # 注意:redis存储的是字节编码
if redis_client.setnx("lock_key", client_id):
print(f"客户端 {client_id} 获得锁")
return True
# 如果自己不是第一个客户端,则继续等待
time.sleep(0.1) # 每0.1秒检查一次
def release_lock(client_id):
redis_client = redis.StrictRedis()
# 执行完任务后释放锁
redis_client.delete("lock_key")
# 从队列中移除自己
redis_client.lrem("lock_queue", 0, client_id)
print(f"客户端 {client_id} 释放锁")
??在请求锁的过程中客户端会通过rpush将自己的ID加入到lock_queue列表的尾部,如下所示。
redis_client.rpush("lock_queue", client_id)
??这样这个客户端就会排在队列的尾部,然后客户端会通过lindex命令来获取列表中排在队首的元素,如下所示。
first_client = redis_client.lindex("lock_queue", 0)
??如果获取到的客户端的ID与当前获取锁的客户端ID一样,那就说明该客户端可以获取锁并且执行对应的业务逻辑操作。在任务执行完成之后,客户端会通过delete命令释放锁,然后通过lrem命令将自己从排队队列中移除。
redis_client.delete("lock_key")
redis_client.lrem("lock_queue", 0, client_id)
总结
??由于Redis本身并没有提供公平锁机制,所以我们需要通过外部辅助数据结构来实现锁的公平性操作,其实从上面的实现原理我们也可以发现,想要实现分布式锁的公平性其实就是需要保证客户端对于获取锁的顺序性,这样就可以保证每个请求锁的客户端获取到锁的机会都是均等的,既然是这样,那么我们通过其他机制能够实现同样的操作的话也可以保证锁的公平性。有兴趣的读者可以自己深入研究一下。
相关推荐
- 每天一个AI姬,AMD核显用户有福了,AI绘画打破 NVIDIA 显卡垄断
-
使用StableDiffusion进行AI绘画,并不一定只能使用NVIDIA英伟达显卡,甚至,也不一定只能使用独立显卡。今天我们使用AMD6800H核显,并安装了StableDif...
- NETworkManager:功能强大的网络管理与问题排除工具
-
关于NETworkManagerNETworkManager是一款功能强大的网络管理与问题排除工具,该工具完全开源,可以帮助广大研究人员轻松管理目标网络系统并排除网络疑难问题。该工具使用远程桌面、Po...
- AMD也能深度学习+免费AI绘画:StableDiffusion+ROCm部署教程!
-
某国政客扇扇嘴皮子,CN玩硬件和深度学习的圈子里就掀起了一场风暴,这就是著名的嘴皮子效应(误)。没了高性能计算的A100H100倒也能理解,但是美利坚这波把RTX4090禁售了就让人无语了,所以不少做...
- windows 下编译 python_rtmpstream
-
最近在研究数字人,看了大咖的项目(https://github.com/lipku/metahuman-stream),尝试编译此项目的依赖项目python_rtmpstream(https://gi...
- 如何使用 Python 操作 Git 代码?GitPython 入门介绍
-
花下猫语:今天,我在查阅如何用Python操作Gitlab的时候,看到这篇文章,觉得还不错,特分享给大家。文中还提到了其它几种操作Git的方法,后续有机会的话,再陆续分享之~~作者:匿蟒...
- 网上看了不少,终于把ZlmediaKit流媒体框架搭建起来啦
-
你都站在2023年代了,视频通话、视频直播、视频会议、视频监控就是风口浪尖上的猪师兄,只要你学那么一丁点,拿个高薪的工作不过分吧!我也是半瓶子晃荡的,所以路人呀,共学习,同进步!本篇开始,只讲在Lin...
- MacDown:一款 macOS 的强大 Markdown 编辑器
-
大家好,很高兴又见面了,我是"...
- ZLMediaKit安装配置和推拉流
-
一、ZLMediaKit库简介ZLMediaKit是一个基于...
- 大神赞过的:学习 WebAssembly 汇编语言程序设计
-
文/阿里淘系F(x)Team-旭伦随着前端页面变得越来越复杂,javascript的性能问题一再被诟病。而Javascript设计时就不是为了性能优化设计的,这使得浏览器上可以运行的本地语言一...
- 【Docker】部署WVP视频监控平台
-
回来Docker系列,今天将会跟大家分享一则关于开源WVP视频监控平台的搭建。先说结论吧,一开始按照网上说的一步一步搭建没有搭建成功,不知道是版本太旧还是我这边机器有问题,尝试了好几个不同方式的搭建都...
- MongoDB+GridFS存储文件方案
-
GridFS是MongoDB的一个内置功能,它提供一组文件操作的API以利用MongoDB存储文件,GridFS的基本原理是将文件保存在两个Collection中,一个保存文件索引,一个保存文...
- 【开源】强大、创新且直观的 EDA套件
-
今天分享的LibrePCB是...
- Ollama如何制作自己的大模型?
-
背景Llama3发布了,这次用了...
- Ollama使用指南【超全版】
-
一、Ollama快速入门Ollama是一个用于在本地运行大型语言模型的工具,下面将介绍如何在不同操作系统上安装和使用Ollama。官网:https://ollama.comGithub:http...
- 基于区块链的价值共享互联网即时通讯应用平台源码免费分享
-
——————关注转发之后私信回复【源码】即可免费获取到本项目所有源码基于区块链的价值共享互联网即时通讯应用平台,是一个去中心化的任何人都可以使用的通讯网络,是一款基于区块链的价值共享互联网即时通讯AP...
- 一周热门
-
-
C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)
-
因果推断Matching方式实现代码 因果推断模型
-
git pull命令使用实例 git pull--rebase
-
git 执行pull错误如何撤销 git pull fail
-
面试官:git pull是哪两个指令的组合?
-
git fetch 和git pull 的异同 git中fetch和pull的区别
-
git pull 和git fetch 命令分别有什么作用?二者有什么区别?
-
还可以这样玩?Git基本原理及各种骚操作,涨知识了
-
git pull 之后本地代码被覆盖 解决方案
-
git命令之pull git.pull
-
- 最近发表
-
- 每天一个AI姬,AMD核显用户有福了,AI绘画打破 NVIDIA 显卡垄断
- NETworkManager:功能强大的网络管理与问题排除工具
- AMD也能深度学习+免费AI绘画:StableDiffusion+ROCm部署教程!
- windows 下编译 python_rtmpstream
- 如何使用 Python 操作 Git 代码?GitPython 入门介绍
- 网上看了不少,终于把ZlmediaKit流媒体框架搭建起来啦
- MacDown:一款 macOS 的强大 Markdown 编辑器
- ZLMediaKit安装配置和推拉流
- 大神赞过的:学习 WebAssembly 汇编语言程序设计
- 【Docker】部署WVP视频监控平台
- 标签列表
-
- git pull (33)
- git fetch (35)
- mysql insert (35)
- mysql distinct (37)
- concat_ws (36)
- java continue (36)
- jenkins官网 (37)
- mysql 子查询 (37)
- python元组 (33)
- mybatis 分页 (35)
- vba split (37)
- redis watch (34)
- python list sort (37)
- nvarchar2 (34)
- mysql not null (36)
- hmset (35)
- python telnet (35)
- python readlines() 方法 (36)
- munmap (35)
- docker network create (35)
- redis 集合 (37)
- python sftp (37)
- setpriority (34)
- c语言 switch (34)
- git commit (34)