Repository navigation
perf(scheduler): 调度快照加载与数据库回源按 bucket 合并,减少大分组选号的整组复制 - #8833
Conversation
分组账号数多时,进程内快照条目失效后每个并发请求各自 ZRANGE + MGET 全部精简记录并 逐个解码;Redis 读失败时每个请求又各自回源数据库并回写整份快照。每次选号还要把整组 账号按值复制三遍,并分块串行 MGET 全部 last_used。 - 快照条目加载按 (bucket, active, 修订号) 合并为一次,加载与调用方取消解耦; (active, 修订号) 未变、仅超过 10s 直接复用时长的条目在 20s 宽限期内先返回, 同时由一次后台加载刷新,修订号或 active 变化时仍等待新数据 - 重新加载时,精简记录原文未变且模型映射预解析对应当前运行时版本的账号沿用已解码母本 - last_used 读取结果在条目内复用 200ms,本进程写入 last_used 后立即失效; 多个分块的 MGET 放进同一个 pipeline 一次往返 - 新增 GetSnapshotValues 直接返回值切片,服务层优先使用,省掉 derefAccounts 的复制; 调度阈值过滤改为原地压缩 - 数据库回源按 bucket 合并:取发布令牌、读库与回写在一次共享调用里完成, 未配置 db_fallback_timeout_seconds 时上限 30s,各调用方得到独立的切片 压测(单用户 Bedrock、关闭在途预留):300 号 57.7K→61.6K RPM,500 号 42.3K→50.0K RPM。
|
审计结论:本 PR 可以合并。但 #8729(冷却到期后快照账号回池)已合入 main,与本 PR 在 Audit verdict: OK to merge, but #8729 (now merged) conflicts with this PR in |
Resolve conflicts with Wei-Shaw#8729, which caches the configured account pool and checks time-based blocks (rate limit, overload, temp-unschedulable) on every read: - readSnapshotAccounts filters by IsSchedulable on both the GetSnapshotValues path (in-place compaction of the caller-owned slice) and the GetSnapshot path. - The coalesced DB fallback still publishes the full configured pool. Each caller's private copy contains only accounts that are schedulable now. - The fallback test stubs now implement ListModelAvailabilityCandidates, which Wei-Shaw#8729 switched the DB fallback to. Values-reader fixtures are marked schedulable. Adds tests for time-blocked filtering on both paths and for publishing the full pool.
|
维护者已在本分支合入最新 main,并手工解决了与 #8729 的冲突。#8729 的设计是快照缓存“配置的账号池”,限流、过载、临时不可调度等限时封禁在每次读取时用
Maintainer merged the latest main and resolved the conflict with #8729, which caches the configured pool and checks time-based blocks on every read. Both the values-reader and GetSnapshot paths now filter by |
背景
对单用户 Bedrock 分组做压测(关闭在途预留)时,分组账号数越多,网关每次选号的开销越大,吞吐随之下降。原因在选号读取调度快照这一段:
derefAccounts、调度阈值过滤),并按 128 个一块串行MGET全部 last_used。ZRANGE并MGET全部精简记录,再逐个 JSON 解码。1000 个账号时一次约 4.8MB。db_fallback_max_qps默认 0,不限流)。回写会生成新的 active 版本,所有实例的进程内条目随之失效,又引发新一轮重载。改动
快照读取(repository/scheduler_cache.go)
Account.SharedSnapshotCurrent()。UpdateLastUsed之后立即失效。多分块的MGET放进同一个 pipeline,一次往返。GetSnapshotValues,直接返回本次调用独占的值切片;GetSnapshot基于它构造指针切片,对外语义不变。服务层(service/scheduler_snapshot_service.go、gateway_scheduling.go)
ListSchedulableAccounts通过可选接口优先使用GetSnapshotValues,省掉derefAccounts的整组复制;其它SchedulerCache实现仍走GetSnapshot。guardFallback、读库和回写在一次共享调用里完成,时限取db_fallback_timeout_seconds,未配置时为 30 秒。共享调用不随单个调用方取消,panic 转为错误;每个调用方拿到自己的切片。filterAccountsBySchedulingThreshold改为在调用方独占的切片上原地压缩。合在一起,一次命中的选号只复制一遍账号,last_used 大多直接复用;条目失效或 Redis 出错时,每个进程、每个 bucket 同一时刻只有一次重载或回源。
行为变化与取舍
测试
unit(repository)
ZRANGE和一次精简记录MGET;取消的等待方不影响共享加载;宽限期内返回旧条目并由后台刷新、同一条目只发起一次后台加载;超过宽限期等待新数据;修订号变化不走宽限期;重载复用原文未变的母本、运行时映射版本变化后重新解码;last_used 复用时长与本进程写入后失效;多分块MGET只用一个 pipeline;GetSnapshotValues的编译期接口断言。unit(service)
testing/synctest保证确定性:12 个并发未命中只查一次库、取一次令牌、回写一次,各调用方的切片互相独立,也不与回写的快照共用底层数组;取消的等待方不打断共享回源。以上用例在
-race下重复运行 20–30 次均通过;go test -tags=unit ./...、go test ./...、golangci-lint run ./...通过。bench(单用户 Bedrock 回放,关闭在途预留,网关 4C/8T,每个点重启网关并清空 Redis;"最高通过档"指成功率不低于 99.9% 且额外首字延迟 p99 不超过 1 秒)
改后 1000 个账号再上一档(x52)是网关 CPU 打满。