Skip to content

[upstream-idea] Responses 响应 ID(previous_response_id / response_id)按租户绑定归属,防止共享上游 key 下跨用户续接(litellm) #914

Closed

Description

@LIghtJUNction

来源(只读观察,未在对方仓库留言)

  • 仓库:BerriAI/litellm
  • 提交:389403fedebb — fix(proxy): check previous_response_id ownership on /v1/responses/compact (#46408)(2026-10-15 01:57 台北)
  • 改动点:litellm/proxy/hooks/responses_id_security.py 原本已对 aresponses(previous_response_id)以及 aget/adelete/acancel_responses、alist_input_items(response_id)做归属校验,此次把 /v1/responses/compact 的 previous_response_id 也纳入同一张表;代理未签发的 ID 默认拒绝("This response id was not issued by this proxy"),并补了跨租户 / 管理员 / 畸形 / 重复 ID、上游故障、进程重启等集成测试

为什么值得评估

多租户网关常用**同一个上游 key(或同一 key 池)**服务多个用户。OpenAI Responses 的 resp_… 在上游是按组织 / 项目作用域的,而不是按网关用户:

  • 用户 B 只要拿到用户 A 的 resp_…(日志、截图、分享的 curl、客户端缓存、错误回显等泄露途径),就可能通过 previous_response_id 续接 A 的对话上下文(让模型复述历史即可读出内容),或调用 GET/DELETE /v1/responses/{id}、/input_items、/cancel 操作别人的响应
  • /v1/responses/compact 同样带 previous_response_id,是容易被漏掉的第二入口(litellm 本次修的正是这个遗漏)

ID 本身不可猜,但这是纵深防御 / 租户隔离问题,与 LMM 的钱包、审计边界同等性质。

LMM 现状(待确认)

  • 默认分支 wip/rust-core-go-extensions@707842db:services/core/src/http.rs、services/core/src/model_http.rs 有 /v1/responses 路由;owner 刚合入 fb06f1a6(opt-in native relay with bounded idle streams)
  • 对默认分支做代码搜索,previous_response_id / response_id 字面量无命中(非 web 代码),推测是原样透传请求体——需确认是否存在任何「响应 ID → 用户 / token」的记录或校验
  • 冻结的 main@3948a0a1 的 Go 网关(apps/api-go/relaykit/dto/openai_responses_compaction_request.go 等)也仅作参考,不回灌

建议评估点

  1. 盘点所有带响应 ID 的入口:POST /v1/responses(previous_response_id)、POST /v1/responses/compact、GET/DELETE /v1/responses/{id}、POST /v1/responses/{id}/cancel、GET /v1/responses/{id}/input_items,以及 Responses WebSocket([Feature] Support Cockpit Responses WebSocket mode #35)
  2. 方案二选一或组合:
    • 映射表:成功响应后记录 resp_id → (user_id, token_id, channel_id)(带 TTL),后续请求带该 ID 时校验同一用户,否则 403/404;同时可复用为「续接时粘住同一渠道」的路由依据
    • 签名封装:对外返回 lmm_resp_<签名(user, 原 id)>,入站解签后还原上游 ID;未经本网关签发的 ID 默认拒绝(可配置放行给直连上游的老客户端)
  3. 管理员 / 运维是否允许跨用户访问需显式策略;拒绝路径不得产生预扣或上游费用
  4. 错误信息不回显他人 ID 或上游原文
  5. 测试:本人续接成功、他人 ID 被拒、伪造 / 畸形 ID、compact 路径、重启后映射仍有效(或明确失效语义)

工作量 / 优先级

中;安全 / 租户隔离。纯后端(Rust core 为主),不需要 Opus。建议在 native relay 成为默认前评估。

同批 litellm 不适用(N/A)

SHA 原因
457b5d26c736 Bedrock Mantle / Claude Platform json_schema 流式 供应商专用
4f34856a659a router pre-content stream retry helper 重命名 litellm 内部重构
a0ac9b4f1fbf deployment warning 端点 + snooze litellm proxy 运维 UI
d0f3a2dfdb65 Vertex Gemini 流式 per-request timeout litellm SDK 专用
6b7c77b7d309 aiohttp keep-alive 15s 默认 litellm Python/Rust 客户端专用
2bb8f7f21972 Decisions playground UI UI
b5aa82706727 service_tier 透传给 Anthropic/Azure 供应商参数映射

不做的事

不在 litellm 开 issue / 评论;不移植其 Python hook 实现。相关已有想法:#902(body 上限)、#907 / #913(传输瞬时错误)。

Activity

  1. added
    upstream-ideaIdea derived from other open-source relay/gateway projects
    botOpened by the maintenance bot
    on Oct 14, 2026
  2. LIghtJUNction commented on Nov 14, 2026

    @LIghtJUNction
    MemberAuthor

    当前 Rust 主线已交付本 issue 的 Responses ID 租户归属边界,固定实现提交为 0067db4a3f086f458f8c3a86ba9c4da216cd815d,当前配方固定源码为 e5002ecabc0f08b27d92608a3271d1c3f74d6270。

    • 对外使用 resp_lmm_… 本地句柄;previous_response_id 通过持久化映射恢复原上游 ID,不再把未归属 ID 直接透传。
    • 解析绑定当前调用者凭据、模型和分组,并重新执行实时授权;外部/未知 ID 使用一致拒绝,拒绝路径不调用上游且不改变资金快照。
    • 覆盖本人/其他用户、撤销与权限变化、相同上游 ID 冲突、compact、持久化重启和 WebSocket 的定向回归。
    • 实现提交记录已验证 scoped PostgreSQL/WebSocket regressions 与 independent fresh69 runtime/ACL checks;相关独立测试位于 responses_continuity_independent.rs、responses_continuity_review_independent.rs 和 responses_websocket_tests.rs。

    本关闭仅针对该租户隔离问题;生产部署、完整旧行为等价与整站验收仍按 docs/progress.md 单独跟踪。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    botOpened by the maintenance botupstream-ideaIdea derived from other open-source relay/gateway projects

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions