Repository navigation
补齐 Gemini 显式缓存与 Codex 图片直连,修复流式重试和 Claude 指令兼容 - #31
Merged
CherryLover merged 17 commits intoOct 15, 2026
Merged
CherryLover merged 17 commits into
CherryLover merged 17 commits into
Conversation
Author
|
本 PR 暂时关闭:按需求将剩余适用功能全部回移并完成最终 SHA 的完整 CI 与 Security Scan 后,再更新代码与中文能力清单并重新打开本 PR。现有版本仅包含 Wei-Shaw#8005,不应提前合并。 |
added 16 commits
October 14, 2026 14:52
定位 CI 失败:QueryQuota 返回前后会异步 GET /v1/models,旧测试把两次 billing 请求与后台模型发现混为总数 2,造成并发时序相关失败。稳定复現第三次请求是模型列表读取,不是推理调用。 使用 testing/synctest 等待本次查询的后台任务完成,再严格分别断言两次 billing、付费账号零次推理、免费账号一次推理和模型列表 GET 次数。模拟上游按真实路径返回模型列表,拒绝意外路径。增加模型快照缺失、新鲜及过期场景,验证后台状态清理。 本地原始测试多轮复现失败;修复后 QueryQuota 组在 cpu=1,4,8 各重复100次通过。仅修改测试,不改生产调度、计费、模型同步或 Codex 图片实现。完整 CI 与安全扫描由本次推送验证。
72f2d7a 推送后未出现 GitHub Actions 运行,代码树保持不变,通过已授权的 gh 凭据重新推送验证。必须等待本次 SHA 的 CI 和 Security Scan,不使用旧提交的检查结果。
为 CI 与 Security Scan 增加 workflow_dispatch,保留 push/pull_request 及原有全部检查和权限不变。推送未产生运行时,可明确指定当前开发分支验证,不必提前重开目标 PR。
将 CherryLover main 1a596e5 合入个人开发分支,解决 Haiku 5.5 signed thinking 与剩余 Wei-Shaw#8012 内联系统消息转换的冲突。保留 chatInputAudio 和所有既有模型能力,新增组合回归测试,apicompat 与 claude 包测试通过。未修改或重开目标 PR。
选择性适配 Wei-Shaw/sub2api Wei-Shaw#8006 @43a3c197:新增缓存元数据、API Key/分组/上游账号绑定、TTL 校验、上游资源读写、修改租约和失败回滚恢复、PostgreSQL 仓储及244迁移。复用 lite 更严格的官方 URL 判断,不引入 Vertex API Key 模式及已移除的订阅模块。 增加和适配缓存核心及仓储测试,并补强 TTL 溢出、异常 JSON、响应大小限制。缓存核心单元测试通过,仓储 integration 测试编译通过,数据库执行结果以本次 CI 为准。 本提交是 Wei-Shaw#8006 的核心层实现,尚未挂载对外缓存管理接口,也未接入最终计费事务与生成请求绑定;不宣称完整功能已交付,PR CherryLover#31 继续关闭。
缓存不存在或过期在账号错误策略前统一返回403,避免污染账号状态;绑定到显式缓存网关的429/5xx直接返回经脱敏的错误,不换号和重复退避。绑定 countTokens 上游失败不返回缺失缓存内容的虚假本地估计。增加 native 生成/计数、过期资源和普通鉴权保真测试,同时解决核心层未接入导致的 unused 静态检查失败。 本地 GeminiCachedContent/GeminiExplicitCache 专项测试通过;对外 cachedContents 路由和计费链路仍在开发中,PR31保持关闭。
提供 cachedContents 创建、查询、分页列表、续期和删除;按 API Key、用户和分组隔离资源,生成及 countTokens 固定原账号,禁止切换缓存所有者。缓存读取和删除允许额度耗尽的有效 Key 使用,但不放开创建、续期、过期 Key 或普通生成。 适配 lite 的 Key 额度模型:缓存绑定/续期、Key和账号扣费、去重及完整用量日志在同一 PostgreSQL 事务提交。锁定最新Key行检查 lifetime及5h/1d/7d窗口,续期只收增量存储、不重复收按次费用。失败保留修改租约或回滚上游;补充鉴权、分页、报价、并发超支、审计写失败回滚和幂等集成测试。未恢复已裁掉的用户余额/订阅系统,不回移Wei-Shaw#7954。 重新生成 Wire 并接入恢复服务启停及调度快照字段。针对性本地服务/handler/middleware/routes测试通过,SQL集成用例编译通过,真实数据库运行及完整CI、安全扫描以本次最终SHA验证。PR31保持关闭待全量验收。
修复 provideCleanup 新增缓存服务后旧测试缺少参数导致的完整 CI 编译失败。缓存额度检查与实际扣款 SQL 对齐:NULL 窗口保留已有用量,防止旧数据下超支,新增已删除/停用/过期/分组变更和 NULL 窗口集成回归。 Codex 图片生成及编辑的 JSON→SSE/JSON 全链路新增测试;校验整个 data 数组与 Base64,异常响应在首字节前拒绝;客户端断开仍保留已生成图片计费用量。修正图片模型映射后返回的实际 UpstreamModel。 本地全量后端 unit(go test -tags unit ./...)及图片 OAuth/直连专项全部通过;等待本次 SHA 的完整 CI、真实数据库集成与安全扫描后继续最终验收,未重开 PR31。
修复续期报价无效赋值和删除条件表达式静态检查;真实事务测试按专属ID清理缓存、用量、去重和账号分组数据,避免污染后续列表及全站统计,不放宽原有断言。 补充完整HTTP生命周期、创建结算失败清理、续期失败回滚、未知创建结果不重试、价格缺失预检、上游计数和续期到期时间校验;固定存储计费时间并在最终SQL结算重新检查新启用的Key消费窗口。纳入已编写的中文缓存和图片直连操作说明。 本地全量unit及缓存/图片竞态检测日志均通过,本次重新执行缓存/图片/启动专项与集成编译通过;最终验收以本次SHA的完整CI和Security Scan为准,PR31暂不重开。
在原有CI全绿后额外执行全部前端测试,发现useModelWhitelist的Sonnet 5.5预设用例遗漏getPresetMappingsByPlatform导入。补全导入,不修改测试断言;本地205个测试文件、1625条测试及生产构建全部通过。 保留现有前端lint、typecheck和关键回归,CI新增全量Vitest及前端生产构建,避免只跑关键子集掩盖其他前端回归。未修改生产发布或镜像流程。
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
本次更新的功能
补齐 Gemini 显式上下文缓存和 Codex 图片直连,同时修复流式输出前失败的重试、Claude 5.x 系统指令转换及回归测试遗漏。以下内容描述相对当前 main 的实际新增变化,不重复列举已合并 PR #30 的其他能力。
pre-output time budget exhausted的错误事件,交由已有输出前失败转移机制处理;正常输出中出现相同文字不会触发重试1. Gemini 显式缓存:接口、权限与计费
接口
POST /v1beta/cachedContents:创建缓存。GET /v1beta/cachedContents:分页列出当前 Key 和分组下的有效缓存。GET /v1beta/cachedContents/{id}:查询公开缓存元数据。PATCH /v1beta/cachedContents/{id}:仅修改ttl/expireTime,支持对应updateMask。DELETE /v1beta/cachedContents/{id}:删除上游缓存及本地绑定。原生
generateContent、streamGenerateContent和countTokens中的缓存引用使用网关公开资源名;转发时验证归属,再改写为真实上游资源名。权限及调度
缓存同时绑定 API Key、用户、分组和上游账号。同一用户的其他 Key 也不能借用该缓存;不存在、过期及无权访问的缓存返回统一错误,避免枚举。公开响应不返回上游私有资源名或账号凭据。
引用缓存的请求必须使用创建它的账号,仍执行当前账号资格、模型、并发和利润策略检查;不能通过失败转移换到其他账号。缓存错误在账号级错误策略前处理,避免将单个缓存失效错误扩大为账号异常。绑定缓存的
countTokens上游失败时,不返回忽略缓存正文的本地估算。读取和删除允许额度耗尽但仍有效的 Key 操作;创建、续期、过期 Key、停用用户/分组及 IP 限制不获得此豁免。创建请求的提示内容接入原有安全审计。
持久化及计费
新增迁移
244_gemini_cached_contents.sql。缓存实际正文保留在上游,本地只持久化归属、模型、token 数、时间与修改租约等元数据。创建按现有输入计费规则加缓存存储量收费;续期只收超过原到期时间的增量存储费,不再次收取输入 token 或按次请求费。缩短 TTL / 提前删除不退还已结算的存储费。保留精简版的分组倍率和 Simple Mode 行为,不恢复用户余额、订阅或其他已裁剪的外围系统。
缓存绑定/续期、Key 和账号扣费、去重记录及完整 usage log 在同一个 PostgreSQL 事务中提交;锁定最新 Key 行重查总额度和 5h/1d/7d 消费窗口。新增并发超支、NULL 窗口历史数据、已停用/删除/过期 Key 和分组变更的回归。一次结算失败不会留下已扣款但无日志的半完成状态。
创建结算失败尝试清理上游;提交结果不明时先核查数据库。续期失败或进程退出保留持久化修改租约,恢复任务回滚未结算的上游延长。上游 HTTP 与本地数据库不是跨系统事务,未知创建结果不会自动换号重复创建,相关残留资源由 TTL 限制并保留诊断日志。
2. Codex 图片直连:兼容性和默认行为
客户端仍使用
/v1/images/generations与/v1/images/edits。仅 OpenAI OAuth 账号明确设置extra.codex_direct_images_enabled=true且实际模型在支持列表中时走原生直连;默认保留原来的 Responses 图片桥接,不全局切换既有账号。编辑支持已有图片 URL / data URI、multipart 图片及遮罩转换。原生 JSON 响应在输出前完整验证;流式生成和编辑分别转换为
image_generation.completed/image_edit.completed,多图分别输出,缩进 JSON 不破坏 SSE 帧。空图片数组、混入无效条目、非法 Base64、超限响应及上游错误不会先输出虚假成功事件。保留实际模型映射、图片数量和尺寸、输入/输出/缓存用量;客户端断开后仍保留上游已生成图片的计费信息。未启用账号和普通 API Key 的原有路径不变。
3. 本轮修复的测试与 CI 问题
provideCleanup测试参数不匹配导致的编译失败。ineffassign及删除条件的staticcheck QF1001。getPresetMappingsByPlatform导入,现已补齐。4. 验证记录
最终提交:
ce93b20c7fc000ebb98ed5afdb1659c6e72a3e78开发仓库的完整 CI 和 Security Scan 均已通过。PR #31 重新打开后,目标仓库也再次通过 PR 完整 CI 和 PR Security Scan,检查对应的代码头均为上述 SHA;当前无合并冲突。
上述均为自动化验证,未调用生产付费模型接口。
5. 合并审核重点及操作说明
gemini_cached_contents_handler.go、gemini_v1beta_handler.gogemini_cache_billing.go、gemini_cache_settlement.go、gemini_cached_content.goopenai_images_direct.go、openai_images_responses.goresponses_anthropic_system.go、openai_gateway_passthrough.go配置、接口示例和行为限制见 Gemini 显式缓存说明 与 Codex 图片直连说明。缓存默认最大 TTL 为 24 小时;图片直连按账号默认关闭。
Wei-Shaw#7954 MiniMax 自动额度查询扩展不在本轮范围内;PR #30 保持不变。本 PR 不自动合并、不发布版本或镜像。