Repository navigation
fix(usage): 分组日汇总重建与保留期清理不阻塞 usage_logs 写入 - #8693
Merged
Wei-Shaw merged 1 commit intoNov 16, 2026
Merged
Conversation
保留期清理删除过期 usage_logs 时,DELETE 触发器与清理代码把分组日汇总水位拉回到被删记录的日期, 下一次同步随即在持有 usage_group_rollup_state FOR UPDATE 的事务里重算整个保留窗口(生产环境每次约 28 秒,每 6 小时与每次重启各一次)。usage_logs 的插入触发器需要同一行的 FOR KEY SHARE,期间写入全部 排队,超过写入超时后已扣费请求的 usage_log 丢失。后台用量清理、RecomputeRange、分区删除与 DELETE/UPDATE 触发器同样对该行持 FOR UPDATE。 - 保留下界 expired_before:清理把截止点对齐到配置时区的自然日零点,先推进下界再删除;早于下界的记录 变更不触发失效,读路径的历史日桶与尾段都不早于下界。 - 重建拆为登记、计算、发布三个事务:计算阶段只持 FOR KEY SHARE,与写入兼容;登记之后落在重建区间内的 源记录变更记入 build_dirty_from,发布不越过脏日期并续建脏区间。整个重建持会话级 advisory lock。 - DELETE/UPDATE 触发器、后台用量清理、RecomputeRange 与分区删除对状态行只持 FOR KEY SHARE;脏日期已覆盖 的变更不写状态行。 - 分区删除限定父表锁等待 3 秒,超时跳过该分区,过期记录由按行删除清理。 - 分组日界取本地日期实际开始的时刻,覆盖夏令时在零点跳变或回拨的日期;重算只写入不早于起始日的日桶。
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to subscribe to this conversation on GitHub.
Already have an account?
Sign in.
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
背景
usage_logs上有一个 AFTER INSERT 语句级触发器,每次插入都要对单行表usage_group_rollup_state(id=1)取FOR KEY SHARE。分组日汇总同步SyncGroupUsageRollups是在一个事务里先对这一行取FOR UPDATE,再重算usage_group_daily_rollups。重算期间,所有 usage_logs 插入都要排队。保留期清理每 6 小时跑一次,每次进程重启也会跑。它删除过期的 usage_logs 后,DELETE 行级触发器和
cleanupUsageLogsBatches都会把水位closed_before拉回被删记录的日期,也就是保留窗口的起点。下一次同步因此要在持有FOR UPDATE的情况下重算整个保留窗口,耗时随保留天数和数据量增长。在我们的生产环境上(usage_logs 保留 90 天,约千万行),每次重算约 28 秒,超过了写入超时(postUsageBillingTimeout15 秒,同步兜底同样 15 秒)。结果是请求已经扣费,但 usage_log 丢失。每个清理周期都会发生,持续丢记录。同一行上持有
FOR UPDATE的还有:DeleteUsageLogsBatch)RecomputeRange:在FOR UPDATE下重算看板,并在同一事务里重建分组汇总其中凡是需要大范围重算的,都会以同样的方式卡住写入。
改动
1. 保留下界
expired_beforeexpired_before和retained_from推进到该零点,最后才删除。created_at < expired_before的记录(INSERT/DELETE/UPDATE)一律不失效。被删的过期记录不属于任何可读日桶,所以清理不再触发重算。max(retained_from, expired_before)所在日开始读,尾段起点也不早于expired_before。清理推进了下界、但尚未删完的过期记录不会被计入。2. 重建拆为三个事务,计算阶段不阻塞写入
状态行新增
building_until、build_dirty_from两列。每轮流程如下:FOR UPDATE(毫秒级)building_until = today,清空build_dirty_fromFOR KEY SHAREINSERT … SELECT重算;只写入本地日期不早于 start 的日桶FOR UPDATE(毫秒级)closed_before = COALESCE(build_dirty_from, today),清空登记closed_before时照旧后退水位;早于building_until时记入build_dirty_from(取 LEAST)。如果脏日期已经不晚于受影响日期,就不写状态行,避免批量删除时对同一行反复 UPDATE。FOR UPDATE,触发器持FOR KEY SHARE。因此任何源记录变更,要么在登记之前提交,被计算阶段的快照看到;要么看到登记,被记入脏日期。发布时水位不越过脏日期,存在脏区间时最多再续建 3 轮,没收敛的部分留给下一次同步。FOR UPDATE。3. 其他持锁路径
FOR UPDATE改为FOR KEY SHARE。RecomputeRange用一条独立语句调用invalidate_group_usage_rollups_at,从max(start, expired_before)所在日开始失效;不再持锁,也不在看板重算的事务里重建分组汇总,交给后台同步。4. 日界
GroupUsageTodayStart、GroupUsageYesterdayStart、ParseGroupUsageDate返回本地日期实际开始的时刻。在夏令时于零点跳变(例如 America/Santiago 2026-09-06 没有 00:00)或零点重复的日期上,这几个函数原先会返回前一天的 23:00,导致前一天的日桶被只含最后一小时的数据覆盖。这三个函数只在分组用量链路里使用。行为变化与取舍
expired_before之前的记录不计入分组汇总;这些记录在下一次清理时会被删除。251_group_usage_rollup_nonblocking_build.sql设置了SET LOCAL lock_timeout = '5s'。它只在多实例滚动部署时才可能触发:如果旧实例正在长时间重建,迁移会超时、新实例启动失败并重试,而不是让插入排在 ALTER 后面。单实例部署不受影响。测试
retained_from夹到下界RecomputeRange只做失效FOR UPDATE后,这条用例会失败。FOR KEY SHARE时,迟到写入和删除不等待。invalidate_group_usage_rollups_at从下界开始失效。go test -tags unit ./...、go test ./...、golangci-lint run ./...均通过;go test -tags integration ./internal/repository/全部通过。