Skip to content

perf(scheduler): 调度快照加载与数据库回源按 bucket 合并,减少大分组选号的整组复制 - #8833

Merged
Wei-Shaw merged 2 commits into
Wei-Shaw:mainfrom
feeeei:perf/scheduler-snapshot-coalesce
Nov 16, 2026
Merged

Wei-Shaw merged 2 commits into
Wei-Shaw:mainfrom
feeeei:perf/scheduler-snapshot-coalesce

Conversation

@feeeei

@feeeei feeeei commented Nov 15, 2026 •

Copy link
Copy Markdown
Contributor

背景

对单用户 Bedrock 分组做压测(关闭在途预留)时,分组账号数越多,网关每次选号的开销越大,吞吐随之下降。原因在选号读取调度快照这一段:

  1. 每次选号都要整组复制。进程内快照条目命中时,仍要把分组里的 N 个账号按值复制三遍(快照副本、derefAccounts、调度阈值过滤),并按 128 个一块串行 MGET 全部 last_used。
  2. 条目失效时并发重载。条目超过 10 秒、修订号或 active 变化后,每个并发请求都会各自 ZRANGE 并 MGET 全部精简记录,再逐个 JSON 解码。1000 个账号时一次约 4.8MB。
  3. Redis 读出错时回源被放大。每个出错的请求都会各自回源数据库,并回写一份完整快照(db_fallback_max_qps 默认 0,不限流)。回写会生成新的 active 版本,所有实例的进程内条目随之失效,又引发新一轮重载。

改动

快照读取(repository/scheduler_cache.go)

  • 条目加载按 (bucket, active, 修订号) 合并为一次。加载使用与调用方取消解耦的上下文(时限 10 秒),等待方按各自的 ctx 返回;加载开始前先复查进程内是否已有同一版本、未过期的条目。加载函数 panic 时转成错误交给所有等待方。
  • (active, 修订号) 与 Redis 一致、只是超过 10 秒直接复用时长的条目,在 20 秒宽限期内继续返回,同时由一次后台加载刷新(同一条目同时只发起一次,失败记 Warn 日志)。修订号或 active 一旦变化,调用方仍等待新数据,账号限流、停调度等改写照常立即可见。
  • 重新加载时,精简记录原文与上一条目相同、且模型映射预解析对应当前运行时映射版本的账号,直接沿用已解码的母本;为此新增 Account.SharedSnapshotCurrent()。
  • last_used 读取结果在条目内复用 200ms(合并读取),本进程 UpdateLastUsed 之后立即失效。多分块的 MGET 放进同一个 pipeline,一次往返。
  • 新增 GetSnapshotValues,直接返回本次调用独占的值切片;GetSnapshot 基于它构造指针切片,对外语义不变。

服务层(service/scheduler_snapshot_service.go、gateway_scheduling.go)

  • ListSchedulableAccounts 通过可选接口优先使用 GetSnapshotValues,省掉 derefAccounts 的整组复制;其它 SchedulerCache 实现仍走 GetSnapshot。
  • 数据库回源按 bucket 合并:取发布令牌、guardFallback、读库和回写在一次共享调用里完成,时限取 db_fallback_timeout_seconds,未配置时为 30 秒。共享调用不随单个调用方取消,panic 转为错误;每个调用方拿到自己的切片。
  • filterAccountsBySchedulingThreshold 改为在调用方独占的切片上原地压缩。

合在一起,一次命中的选号只复制一遍账号,last_used 大多直接复用;条目失效或 Redis 出错时,每个进程、每个 bucket 同一时刻只有一次重载或回源。

行为变化与取舍

  • 未推进修订号的精简记录改写(例如滚动升级期间的旧实例、Redis 回滚)在本进程的最长可见延迟,从 10 秒变为 30 秒,再加一次加载耗时。修订号或 active 变化时的可见性不变。
  • 其它进程写入的 last_used 最多晚 200ms 可见。last_used 本身经数据库、outbox 再到 Redis,已有秒级延迟,只用于 LRU 排序。
  • 同一 bucket 的并发调用方共享回源结果中的 map、切片底层数组和指针指向的值,各自的顶层字段独立。这与快照命中路径已有的约束一致;选号链路里需要原地修改嵌套字段的地方,都作用在 hydrate 后重新读取的独占对象上。
  • Redis 读出错时仍会回写快照(语义未改),只是每个进程、每个 bucket 同时只有一次。
  • 进程内条目额外保存精简记录原文,用于比较是否变化,1000 个账号的 bucket 约多占 4.8MB。

测试

  • unit(repository)

    • 新增:16 个并发冷读只发出一次 ZRANGE 和一次精简记录 MGET;取消的等待方不影响共享加载;宽限期内返回旧条目并由后台刷新、同一条目只发起一次后台加载;超过宽限期等待新数据;修订号变化不走宽限期;重载复用原文未变的母本、运行时映射版本变化后重新解码;last_used 复用时长与本进程写入后失效;多分块 MGET 只用一个 pipeline;GetSnapshotValues 的编译期接口断言。
    • 调整:既有用例中关于"每次都读 last_used""超过 10 秒立即重载"的断言,改为新的复用和宽限期语义。
  • unit(service)

    • 用 testing/synctest 保证确定性:12 个并发未命中只查一次库、取一次令牌、回写一次,各调用方的切片互相独立,也不与回写的快照共用底层数组;取消的等待方不打断共享回源。
    • 值切片读取不再复制;阈值过滤原地压缩。
  • 以上用例在 -race 下重复运行 20–30 次均通过;go test -tags=unit ./...、go test ./...、golangci-lint run ./... 通过。

  • bench(单用户 Bedrock 回放,关闭在途预留,网关 4C/8T,每个点重启网关并清空 Redis;"最高通过档"指成功率不低于 99.9% 且额外首字延迟 p99 不超过 1 秒)

    分组账号数 最高通过档(改前 → 改后) 同档对比
    500 42.3K → 53.8K RPM(+27%) x48:改前成功率 98.9% 不通过;改后通过,每请求 CPU 8.58 → 7.81 ms(-9%)
    1000 38.5K → 46.2K RPM(+20%) x40:每请求 CPU 11.05 → 9.37 ms(-15%),p99 首字 448 → 273 ms

    改后 1000 个账号再上一档(x52)是网关 CPU 打满。

分组账号数多时,进程内快照条目失效后每个并发请求各自 ZRANGE + MGET 全部精简记录并
逐个解码;Redis 读失败时每个请求又各自回源数据库并回写整份快照。每次选号还要把整组
账号按值复制三遍,并分块串行 MGET 全部 last_used。

- 快照条目加载按 (bucket, active, 修订号) 合并为一次,加载与调用方取消解耦;
  (active, 修订号) 未变、仅超过 10s 直接复用时长的条目在 20s 宽限期内先返回,
  同时由一次后台加载刷新,修订号或 active 变化时仍等待新数据
- 重新加载时,精简记录原文未变且模型映射预解析对应当前运行时版本的账号沿用已解码母本
- last_used 读取结果在条目内复用 200ms,本进程写入 last_used 后立即失效;
  多个分块的 MGET 放进同一个 pipeline 一次往返
- 新增 GetSnapshotValues 直接返回值切片,服务层优先使用,省掉 derefAccounts 的复制;
  调度阈值过滤改为原地压缩
- 数据库回源按 bucket 合并:取发布令牌、读库与回写在一次共享调用里完成,
  未配置 db_fallback_timeout_seconds 时上限 30s,各调用方得到独立的切片

压测(单用户 Bedrock、关闭在途预留):300 号 57.7K→61.6K RPM,500 号 42.3K→50.0K RPM。
@Wei-Shaw

Copy link
Copy Markdown
Owner

审计结论:本 PR 可以合并。但 #8729(冷却到期后快照账号回池)已合入 main,与本 PR 在 backend/internal/service/scheduler_snapshot_service.go 上有冲突。请基于最新 main rebase,确认两边逻辑都保留后,我们再合并。

Audit verdict: OK to merge, but #8729 (now merged) conflicts with this PR in scheduler_snapshot_service.go. Please rebase onto the latest main, keeping both behaviors, and we'll merge after that.

Resolve conflicts with Wei-Shaw#8729, which caches the configured account pool
and checks time-based blocks (rate limit, overload, temp-unschedulable)
on every read:

- readSnapshotAccounts filters by IsSchedulable on both the
  GetSnapshotValues path (in-place compaction of the caller-owned slice)
  and the GetSnapshot path.
- The coalesced DB fallback still publishes the full configured pool.
  Each caller's private copy contains only accounts that are
  schedulable now.
- The fallback test stubs now implement ListModelAvailabilityCandidates,
  which Wei-Shaw#8729 switched the DB fallback to. Values-reader fixtures are
  marked schedulable. Adds tests for time-blocked filtering on both paths
  and for publishing the full pool.
@Wei-Shaw

Copy link
Copy Markdown
Owner

维护者已在本分支合入最新 main,并手工解决了与 #8729 的冲突。#8729 的设计是快照缓存“配置的账号池”,限流、过载、临时不可调度等限时封禁在每次读取时用 IsSchedulable() 判定,冷却到期即自动回池。合并后:

  • readSnapshotAccounts 在 GetSnapshotValues 值切片路径(对调用方独占的切片原地压缩)和 GetSnapshot 路径上都按 IsSchedulable() 过滤。
  • 合并回源仍把完整配置池回写快照;每个调用方的独占副本只含当前可调度的账号。
  • 测试 stub 改为实现 ListModelAvailabilityCandidates(fix(scheduler): recover snapshot accounts after cooldown expiry #8729 已把回源切到这个接口);值切片测试的账号补上可调度状态;新增两个测试,覆盖两条路径的限时封禁过滤和回写完整账号池。两个测试都做过反向验证:去掉对应过滤后会失败。
  • 调度相关测试在 -race 下通过。

Maintainer merged the latest main and resolved the conflict with #8729, which caches the configured pool and checks time-based blocks on every read. Both the values-reader and GetSnapshot paths now filter by IsSchedulable(). The coalesced DB fallback still publishes the full pool, and each caller's copy contains only schedulable accounts. Test stubs were updated for ListModelAvailabilityCandidates, with new tests for both paths (mutation-checked). Scheduler tests pass under -race.

@Wei-Shaw
Wei-Shaw merged commit 8ed7013 into Wei-Shaw:main Nov 16, 2026
9 checks passed
@github-actions github-actions Bot locked and limited conversation to collaborators Nov 16, 2026
Sign up for free to subscribe to this conversation on GitHub. Already have an account? Sign in.

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants