Skip to content

[upstream-idea] 将 HTTP/2 连接关闭视为瞬时传输错误并自动重试(CLIProxyAPI) #907

Closed as not planned

Description

@LIghtJUNction

来源(只读观察,未在对方仓库留言)

  • 仓库:router-for-me/CLIProxyAPI
  • 提交:56eee6a4 — fix(cliproxy): treat HTTP/2 closed connection errors as transient lifecycle drops(Closes 上游 #6580)
  • 发布:同批已进 v8.0.28(相对上次观察的 v8.0.27 / tip bf934162)
  • 同批其它(本 issue 不跟进):config 并发 reload 数据竞争修复(CLIProxyAPI 架构专用)、OpenAI Responses translator item-id 前缀、Claude 按模型默认 max_tokens、Gemini/Antigravity schema anyOf 保留、Codex SSE / 模型 registry 等

做什么 / 为什么值得评估

上游把 golang x/net/http2 常见的未导出错误文案:

  • http2: client connection force closed via ClientConn.Close
  • http2: client conn is closed

归入 connection lifecycle / transient transport:

  1. 不对凭据/渠道做 cooldown(避免把池子里的健康 key 误判下线)
  2. 在现有 request-retry 预算内自动重试
  3. 带 HTTP 状态码的同文案错误仍按状态码冷却(401/429 等不被误放行)

对 LMM 这种多渠道网关,HTTP/2 连接被对端或连接池强制关闭很常见;若当成硬失败会放大失败率并错误惩罚渠道。本轮对 api.lmm.best 的代码搜索未命中上述字面串(default 分支为微服务 WIP,Go 网关主要在冻结 main 的 apps/api-go),需在现有 retry / channel 失败分类里确认是否已等价覆盖。

建议评估点

  1. apps/api-go(及 WIP 对应 relay/core)渠道失败分类是否已把 HTTP/2 closed / unexpected EOF 当瞬时错误
  2. 瞬时错误是否会触发渠道 disable/cooldown;若会,应与「真正的 401/429/5xx 业务失败」分开
  3. 重试须尊重现有钱包/预扣边界:仅在未计费或可幂等重试的请求路径启用;流式已写出 token 后不得无条件重试
  4. 测试:字面错误、包在 url.Error 内、以及「同文案 + HTTP 401/429」仍走冷却路径

路径候选

方向 LMM 可能位置
错误分类 / 重试 apps/api-go/relay/**、channel 选择与 retry helper(main);WIP 上对应 core/extensions
渠道冷却 channel status / auto-disable 逻辑

工作量 / 优先级

小~中;可靠性。先核对现有分类再决定是否开 PR。后端即可,不需要 Opus。

不做的事

不在 CLIProxyAPI 开 issue/评论;不同时跟进其 Claude max_tokens、schema sanitization、config race、模型 registry。相关已有想法:#902(body 上限)。

Activity

  1. added
    upstream-ideaIdea derived from other open-source relay/gateway projects
    botOpened by the maintenance bot
    on Oct 14, 2026
  2. LIghtJUNction commented on Oct 14, 2026

    @LIghtJUNction
    MemberAuthor

    已按默认微服务主线 b941bc564ceb718ad967a1e85793818b84c2e168 做源码核对。这里需要拆开「连接错误分类」「渠道健康」「安全重试」三件事,不能直接移植 Go 错误字符串:

    1. Rust relay 只对 is_connect() 做有限重试,其余非超时发送错误归为 UpstreamConnection;读取响应体失败也归入该类。reqwest 内建重试被显式关闭,尚未看到 H2 生命周期错误的专门分类。
    2. 实际接入路径比独立 relay 更保守:ModelGateway 禁止 connect_retries 非零;路由桥接 使用 ReplayPermission::Denied,只启动首次 attempt。不能把 RoutePlan 已有 retry API 当成网关已实现自动 failover。
    3. 当前这条路径未发现失败后自动 mark_unhealthy/cooldown 的调用,尚无证据支持“HTTP/2 关闭导致健康渠道被冷却”。路由文档 也明确未启动 probe worker 或推断 circuit-breaker timeout。HTTP 非 200 保持 UpstreamStatus,现有 401/429/500 等测试要求只请求一次;这也不等于已有状态码冷却。
    4. 资金边界 是先预留再发送;尝试发送后没有完整供应商用量证据就保留待核对状态,不能把连接关闭推断为未受理或零费用。路由安全门 对已输出响应禁止重放,对可能已受理要求双重显式许可,应保持不变。

    现有测试源码覆盖 HTTP 状态不重试与连接重试次数、截断/损坏响应不重放、不完整流保留 hold 且恢复不重新发送,但本轮检查的 relay/routing/model 测试中未发现专门的 H2 GOAWAY/REFUSED_STREAM 夹具。

    建议将下一步限定为真实 Rust H2 故障夹具和分类设计:区分有协议证据的未受理、发送后状态不明、响应开始后三类;覆盖 GOAWAY/REFUSED_STREAM、预算耗尽、HTTP 状态码优先、单次资金操作与未知用量保留。先证明安全可重试的边界,再讨论接入 gateway;不要仅凭 EOF/连接关闭文案放宽重试。

    本次仅源码与现有测试内容核对,未运行测试或请求生产服务。

  3. LIghtJUNction commented on Nov 14, 2026

    @LIghtJUNction
    MemberAuthor

    本 Issue 已合并到 #990 统一跟踪:#990

    本次关闭仅用于合并去重,不代表问题已修复、已验收或放弃处理。原始正文和讨论仍保留在这里,后续实现与验收请使用新 Issue。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    botOpened by the maintenance botupstream-ideaIdea derived from other open-source relay/gateway projects

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions