如何安全移除未使用的 asyncio.Lock 并避免重复请求?
数据小陈
结论:当前任务还持有或等待某个 key 的锁时,不要把这个 key 从字典里删掉。可以按 key 管理锁,并给每个锁加引用计数。获取锁前先把计数加一,释放时在 finally 里减一;计数归零后再删除字典项。这样,同一个 user_id 的任务会一直拿到同一把 asyncio.Lock,直到最后一个使用者结束才清理。
原代码为什么会并发
process() 中第一个任务执行时:
locks.setdefault(user_id, asyncio.Lock())创建锁 L1。- 拿到 L1,进入
async with lock。 - 进入锁作用域后立刻执行
del locks[user_id]。 - 这时 L1 仍被第一个任务持有,但字典里已经没有 user_id 了。
- 第二个任务再调用
setdefault,找不到对应条目,于是创建 L2,并立即拿到 L2。
结果,L1 和 L2 同时保护同一个 user_id,两个 send_request() 就并发执行了。删除字典项只会让后来的任务找不到旧锁,旧锁并不会因此变成全局唯一。
推荐写法:引用计数 + 上下文管理器
import asyncio
from contextlib import asynccontextmanager
from collections.abc import Hashable
class KeyedLockManager:
def __init__(self):
# key -> [asyncio.Lock, 引用计数]
self._locks: dict[Hashable, list] = {}
@asynccontextmanager
async def locked(self, key: Hashable):
entry = self._locks.get(key)
if entry is None:
entry = [asyncio.Lock(), 0]
self._locks[key] = entry
# 在 await 之前同步增加引用计数
entry[1] += 1
try:
async with entry[0]:
yield
finally:
entry[1] -= 1
if entry[1] == 0 and self._locks.get(key) is entry:
del self._locks[key]
使用方式:
locks = KeyedLockManager()
async def process(user_id):
async with locks.locked(user_id):
await send_request(user_id)
实现上有几点需要注意:
get()、创建条目和entry[1] += 1之间没有await,所以在单个 asyncio 事件循环里不会被其他协程插进来。- 等待锁的任务也会增加引用计数,因此当前持有者退出时,条目不会提前删掉。
- 最后一个使用者退出后才执行
del self._locks[key]。 - 不需要在
async with内部手动删除锁。
注意事项
asyncio.Lock不是可重入锁。同一个协程已经持有某个user_id的锁时,不要再次await locks.locked(user_id),否则会死锁。- 上述方案默认所有任务运行在同一个事件循环中。如果跨线程或多个事件循环共享状态,每个 loop 要使用独立的 manager,或者额外加线程安全同步;不要跨 loop 直接共享同一个
asyncio.Lock。 - 不要用“锁一释放就删除字典项”的简化写法,除非能确定没有等待者。有等待者时删除条目,新任务仍可能创建第二把锁。
- 如果还要限制内存上限,可以对引用计数为 0 的条目做 LRU 清理;正在使用或等待中的条目不要清理。
备注:内容仅供参考。
