百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT技术 > 正文

一文看懂Redisson分布式锁的Watchdog机制源码实现

wptr33 2024-12-22 21:12 97 浏览

一、 分布式锁简介

分布式锁是一种常见的协调分布式系统的机制,在分布式环境下保证数据的一致性和可用性。分布式锁的实现有很多种方式,其中较为常见的方式是利用Redis实现分布式锁。

在使用 Redis 实现分布式锁时,我们通常使用 SET key value [EX seconds] [NX] 命令来给某个 key 设置一个具有过期时间的值作为锁。其中 EX 参数表示设置过期时间,当 Redis 客户端连接断开或者达到过期时间时,锁会自动失效。但是,在一些特殊情况下,由于网络波动等原因,我们可能无法及时续期更新锁的过期时间,这会导致锁在没有被显式释放的情况下过期,从而引发并发问题。

Redisson 的看门狗就是为了解决这个问题而设计的。它会在获取锁之后启动一个后台任务定期地对锁进行“续期”,即更新锁的过期时间。具体来说,每次启动续期任务时,会通过 set(key, value, XX, PX, ttl) 命令更新锁的过期时间,同时记录该任务与锁的对应关系。在锁释放或过期时,会取消相应的续期任务,从而保证锁的有效性。

二、 Redisson分布式锁的看门狗源码分析

Redisson 的 RedissonLock 类主要通过下面五个方法实现Watchdog机制:

  • tryAcquireAsync
  • scheduleExpirationRenewal
  • renewExpiration
  • renewExpirationAsync
  • cancelExpirationRenewal

下面讲解各个方法的源码片段

1. tryAcquireAsync

private <T> RFuture<Long> tryAcquireAsync(long leaseTime, TimeUnit unit, long threadId) {
    // 如果设置了超时时间,调用 tryLockInnerAsync 方法尝试加锁并设置过期时间。
    if (leaseTime != -1) {
        return tryLockInnerAsync(leaseTime, unit, threadId, RedisCommands.EVAL_LONG);
    }

    // 否则仅获取锁,并返回剩余时间。
    // 计算剩余过期时间
    RFuture<Long> ttlRemainingFuture = tryLockInnerAsync(commandExecutor.getConnectionManager().getCfg().getLockWatchdogTimeout(),
            TimeUnit.MILLISECONDS, threadId, RedisCommands.EVAL_LONG);

    // 当获取剩余过期时间的异步操作完成后,判断是否获取到锁,如果获取到,开始定时任务自动续期
    ttlRemainingFuture.onComplete((ttlRemaining, e) -> {
        if (e != null) {
            return;
        }
        // 如果返回值为 null 表示已经拥有锁
        if (ttlRemaining == null) {
            // 开始定期检查锁是否过期,如果没有过期则续期
            scheduleExpirationRenewal(threadId);
        }
    });
    return ttlRemainingFuture;
}

Redisson在lock方法执行时,会调用tryAcquireAsync方法获取锁,在获取到锁时,上面示例代码种会调用scheduleExpirationRenewal(threadId)方法,开启定时检查是否过期和自动续期的定时任务,这里其实就是看门狗机制的创建点。

2. scheduleExpirationRenewal

private void scheduleExpirationRenewal(long threadId) {
    ExpirationEntry entry = new ExpirationEntry();

    // 在 EXPIRATION_RENEWAL_MAP 中添加一个新的键值对,如果该键名已存在,则将 threadId 添加到该键名的队列中。
    ExpirationEntry oldEntry = EXPIRATION_RENEWAL_MAP.putIfAbsent(getEntryName(), entry);
    if (oldEntry != null) {
        oldEntry.addThreadId(threadId);
    } else { // 如果该键名不存在,则添加一个新的键值对,并执行 renewExpiration() 方法续约该锁的过期时间。
        entry.addThreadId(threadId);
        renewExpiration();
    }
}

当一个线程获取到锁时,会调用 scheduleExpirationRenewal() 方法向 EXPIRATION_RENEWAL_MAP (ConcurrentHashMap 对象)中添加一个新的键值对,如果该键名已存在,则将 threadId 添加到该键名的队列中;否则,添加一个新的键值对,并调用 renewExpiration() 方法续约该锁的过期时间。

3. renewExpiration

private void renewExpiration() {
    // 从 EXPIRATION_RENEWAL_MAP 中查找当前锁实例,并获取相应的 ExpirationEntry 对象。
    ExpirationEntry ee = EXPIRATION_RENEWAL_MAP.get(getEntryName());
    if (ee == null) {
        return;
    }

    // 创建一个定时任务(Timeout),在线程持有该锁时执行续期操作。
    Timeout task = commandExecutor.getConnectionManager().newTimeout(new TimerTask() {
        @Override
        public void run(Timeout timeout) throws Exception {
            ExpirationEntry ent = EXPIRATION_RENEWAL_MAP.get(getEntryName());
            if (ent == null) {
                return;
            }
            Long threadId = ent.getFirstThreadId();
            if (threadId == null) {
                return;
            }

            // 异步更新锁的过期时间,并在操作完成后进行回调处理。
            RFuture<Boolean> future = renewExpirationAsync(threadId);
            future.onComplete((res, e) -> {
                if (e != null) {
                    log.error("Can't update lock " + getName() + " expiration", e);
                    return;
                }

                // 如果续期成功,则重新安排定时任务
                if (res) {
                    renewExpiration();
                }
            });
        }
    }, internalLockLeaseTime / 3, TimeUnit.MILLISECONDS); // 定时任务的间隔为锁到期时间的三分之一

    // 将该定时任务存储在 ExpirationEntry 实体中,方便后续处理。
    ee.setTimeout(task);
}

在该方法内部,首先通过 getEntryName() 获取当前锁实例的名称,然后从 EXPIRATION_RENEWAL_MAP 中查找该名称对应的 ExpirationEntry 对象。如果对象不存在,则直接返回即可;否则,创建一个新的定时任务,该任务会在 internalLockLeaseTime / 3 毫秒后执行,并尝试异步更新锁的过期时间。如果更新成功,则会再次调用 renewExpiration() 方法,以便持续延长锁的过期时间。这个定时任务通俗的讲就是所谓的看门狗。当然,这里更新过期时间的操作是通过调用 renewExpirationAsync() 实现的,它仍然是一个异步操作。

4. renewExpirationAsync

protected RFuture<Boolean> renewExpirationAsync(long threadId) {
    // 使用 evalWriteAsync 方法执行 EVAL 命令
    return commandExecutor.evalWriteAsync(getName(), LongCodec.INSTANCE, RedisCommands.EVAL_BOOLEAN,
            // EVAL 命令的脚本,根据给定的键和参数进行判断和更新
            "if (redis.call('hexists', KEYS[1], ARGV[2]) == 1) then " +
                // 如果指定的键和参数都存在,则续约该键的过期时间
                "redis.call('pexpire', KEYS[1], ARGV[1]); " +
                // 并返回操作成功的标志
                "return 1; " +
            "end; " +
            // 如果指定的键和参数不匹配,则返回操作失败的标志
            "return 0;",
        // EVAL 命令中用到的键
        Collections.<Object>singletonList(getName()), 
        // 续约的过期时间,在 Redisson 中为 internalLockLeaseTime
        internalLockLeaseTime, 
        // 获取锁的名称,由线程 ID 和当前 Redisson 实例 ID 组成
        getLockName(threadId)
    );
}

此方法主要是用于在获取分布式锁的情况下,对锁的过期时间进行续约的操作。其中,RedisCommands.EVAL_BOOLEAN 代表执行 EVAL 命令后返回的数据类型为 Boolean 类型;getKey() 方法用于获取锁的名称,该名称由锁的前缀和锁的 ID 组成;getLockName(threadId) 方法用于获取当前线程获取锁后的锁名称,之所以要使用当前 Redisson 实例 ID 与线程 ID 组合作为锁名称,是为了确保在多个 Redisson 实例下,所有线程都能够正确地获取到锁名并正确地执行续约操作。

5.cancelExpirationRenewal

void cancelExpirationRenewal(Long threadId) {
    // 从 EXPIRATION_RENEWAL_MAP 中查找当前锁实例,并获取相应的 ExpirationEntry 对象。
    ExpirationEntry task = EXPIRATION_RENEWAL_MAP.get(getEntryName());
    if (task == null) {
        return;
    }

    // 如果传入了调用者线程 ID,则从任务中移除该线程 ID。
    if (threadId != null) {
        task.removeThreadId(threadId);
    }

    // 如果线程 ID 为空,或者任务已经没有任何线程在持有它了,则取消任务并从 EXPIRATION_RENEWAL_MAP 中删除该实体。
    if (threadId == null || task.hasNoThreads()) {
        Timeout timeout = task.getTimeout();
        if (timeout != null) {
            timeout.cancel(); // 取消定时任务
        }
        EXPIRATION_RENEWAL_MAP.remove(getEntryName()); // 从 EXPIRATION_RENEWAL_MAP 中删除实体
    }
}

这个方法主要是用于取消延长锁过期时间的定时任务。当一个线程在unlock释放锁时,便会调用这个方法。在该方法内部,首先通过 getEntryName() 获取当前锁实例的名称,然后从 EXPIRATION_RENEWAL_MAP 中查找该名称对应的 ExpirationEntry 对象。如果对象不存在,则直接返回即可;否则,如果传入了调用者线程 ID,则从任务中移除该线程 ID。接着,如果线程 ID 为空,或者任务已经没有任何线程在持有它了,则取消任务并从 EXPIRATION_RENEWAL_MAP 中删除该实体。需要注意的是,取消定时任务的操作是通过调用 timeout.cancel() 实现的,它会将定时任务从时间轮中移除。由于 Redisson 是基于 Netty 的,所以它使用的是 HashedWheelTimer,这个定时器底层是基于时间轮实现的,并且支持动态添加和删除定时任务。

三、 使用注意事项

使用Redisson分布式锁的看门狗应注意以下几个问题:

  • 设置合理的锁超时时间:如果锁的超时时间过短,则会导致频繁续命和多次加锁解锁,影响程序性能;如果锁的超时时间过长,则可能会因为某些异常原因使得锁无法释放,从而导致死锁。
  • 在业务逻辑完成后及时启动看门狗:如果业务逻辑执行时间过长,则有可能导致锁的过期,从而使看门狗失去续命的意义。
  • 合理配置看门狗的参数:看门狗的续命时间间隔应该在锁的过期时间内,且重试次数不宜过多,以免影响程序性能。
  • 避免锁的嵌套使用:锁的嵌套使用有可能导致死锁或者其他并发问题,应避免使用。

相关推荐

oracle数据导入导出_oracle数据导入导出工具

关于oracle的数据导入导出,这个功能的使用场景,一般是换服务环境,把原先的oracle数据导入到另外一台oracle数据库,或者导出备份使用。只不过oracle的导入导出命令不好记忆,稍稍有点复杂...

继续学习Python中的while true/break语句

上次讲到if语句的用法,大家在微信公众号问了小编很多问题,那么小编在这几种解决一下,1.else和elif是子模块,不能单独使用2.一个if语句中可以包括很多个elif语句,但结尾只能有一个else解...

python continue和break的区别_python中break语句和continue语句的区别

python中循环语句经常会使用continue和break,那么这2者的区别是?continue是跳出本次循环,进行下一次循环;break是跳出整个循环;例如:...

简单学Python——关键字6——break和continue

Python退出循环,有break语句和continue语句两种实现方式。break语句和continue语句的区别:break语句作用是终止循环。continue语句作用是跳出本轮循环,继续下一次循...

2-1,0基础学Python之 break退出循环、 continue继续循环 多重循

用for循环或者while循环时,如果要在循环体内直接退出循环,可以使用break语句。比如计算1至100的整数和,我们用while来实现:sum=0x=1whileTrue...

Python 中 break 和 continue 傻傻分不清

大家好啊,我是大田。今天分享一下break和continue在代码中的执行效果是什么,进一步区分出二者的区别。一、continue例1:当小明3岁时不打印年龄,其余年龄正常循环打印。可以看...

python中的流程控制语句:continue、break 和 return使用方法

Python中,continue、break和return是控制流程的关键语句,用于在循环或函数中提前退出或跳过某些操作。它们的用途和区别如下:1.continue(跳过当前循环的剩余部分,进...

L017:continue和break - 教程文案

continue和break在Python中,continue和break是用于控制循环(如for和while)执行流程的关键字,它们的作用如下:1.continue:跳过当前迭代,...

作为前端开发者,你都经历过怎样的面试?

已经裸辞1个月了,最近开始投简历找工作,遇到各种各样的面试,今天分享一下。其实在职的时候也做过面试官,面试官时,感觉自己问的问题很难区分候选人的能力,最好的办法就是看看候选人的github上的代码仓库...

面试被问 const 是否不可变?这样回答才显功底

作为前端开发者,我在学习ES6特性时,总被const的"善变"搞得一头雾水——为什么用const声明的数组还能push元素?为什么基本类型赋值就会报错?直到翻遍MDN文档、对着内存图反...

2023金九银十必看前端面试题!2w字精品!

导文2023金九银十必看前端面试题!金九银十黄金期来了想要跳槽的小伙伴快来看啊CSS1.请解释CSS的盒模型是什么,并描述其组成部分。答案:CSS的盒模型是用于布局和定位元素的概念。它由内容区域...

前端面试总结_前端面试题整理

记得当时大二的时候,看到实验室的学长学姐忙于各种春招,有些收获了大厂offer,有些还在苦苦面试,其实那时候的心里还蛮忐忑的,不知道自己大三的时候会是什么样的一个水平,所以从19年的寒假放完,大二下学...

由浅入深,66条JavaScript面试知识点(七)

作者:JakeZhang转发链接:https://juejin.im/post/5ef8377f6fb9a07e693a6061目录由浅入深,66条JavaScript面试知识点(一)由浅入深,66...

2024前端面试真题之—VUE篇_前端面试题vue2020及答案

添加图片注释,不超过140字(可选)1.vue的生命周期有哪些及每个生命周期做了什么?beforeCreate是newVue()之后触发的第一个钩子,在当前阶段data、methods、com...

今年最常见的前端面试题,你会做几道?

在面试或招聘前端开发人员时,期望、现实和需求之间总是存在着巨大差距。面试其实是一个交流想法的地方,挑战人们的思考方式,并客观地分析给定的问题。可以通过面试了解人们如何做出决策,了解一个人对技术和解决问...