PAYATHON 2026

如何安全移除未使用的 asyncio.Lock 并避免重复请求?

数据小陈

结论:当前任务还持有或等待某个 key 的锁时,不要把这个 key 从字典里删掉。可以按 key 管理锁,并给每个锁加引用计数。获取锁前先把计数加一,释放时在 finally 里减一;计数归零后再删除字典项。这样,同一个 user_id 的任务会一直拿到同一把 asyncio.Lock,直到最后一个使用者结束才清理。

原代码为什么会并发

process() 中第一个任务执行时:

  1. locks.setdefault(user_id, asyncio.Lock()) 创建锁 L1。
  2. 拿到 L1,进入 async with lock。
  3. 进入锁作用域后立刻执行 del locks[user_id]。
  4. 这时 L1 仍被第一个任务持有,但字典里已经没有 user_id 了。
  5. 第二个任务再调用 setdefault,找不到对应条目,于是创建 L2,并立即拿到 L2。

结果,L1 和 L2 同时保护同一个 user_id,两个 send_request() 就并发执行了。删除字典项只会让后来的任务找不到旧锁,旧锁并不会因此变成全局唯一。

推荐写法:引用计数 + 上下文管理器

import asyncio
from contextlib import asynccontextmanager
from collections.abc import Hashable

class KeyedLockManager:
    def __init__(self):
        # key -> [asyncio.Lock, 引用计数]
        self._locks: dict[Hashable, list] = {}

    @asynccontextmanager
    async def locked(self, key: Hashable):
        entry = self._locks.get(key)
        if entry is None:
            entry = [asyncio.Lock(), 0]
            self._locks[key] = entry

        # 在 await 之前同步增加引用计数
        entry[1] += 1

        try:
            async with entry[0]:
                yield
        finally:
            entry[1] -= 1
            if entry[1] == 0 and self._locks.get(key) is entry:
                del self._locks[key]

使用方式:

locks = KeyedLockManager()

async def process(user_id):
    async with locks.locked(user_id):
        await send_request(user_id)

实现上有几点需要注意:

  • get()、创建条目和 entry[1] += 1 之间没有 await,所以在单个 asyncio 事件循环里不会被其他协程插进来。
  • 等待锁的任务也会增加引用计数,因此当前持有者退出时,条目不会提前删掉。
  • 最后一个使用者退出后才执行 del self._locks[key]。
  • 不需要在 async with 内部手动删除锁。

注意事项

  • asyncio.Lock 不是可重入锁。同一个协程已经持有某个 user_id 的锁时,不要再次 await locks.locked(user_id),否则会死锁。
  • 上述方案默认所有任务运行在同一个事件循环中。如果跨线程或多个事件循环共享状态,每个 loop 要使用独立的 manager,或者额外加线程安全同步;不要跨 loop 直接共享同一个 asyncio.Lock。
  • 不要用“锁一释放就删除字典项”的简化写法,除非能确定没有等待者。有等待者时删除条目,新任务仍可能创建第二把锁。
  • 如果还要限制内存上限,可以对引用计数为 0 的条目做 LRU 清理;正在使用或等待中的条目不要清理。

备注:内容仅供参考。