Skip to content

[upstream-port] Chat → Responses 转换保留 input_image 的 detail 字段(new-api #7855) #932

Closed as not planned

Description

@LIghtJUNction

上游变更

Chat Completions(以及 Claude Messages)请求转换成 Responses 请求时,上游以前会丢掉图片的 detail。现在:

  • 新增 media.ResponsesImageDetail(detail):low/high/auto/original 原样保留(大小写、空格归一化),缺失或未知值回落为 auto;
  • oai_chat/to_oai_responses_req.go 的 input_image 写入 detail(取 part.GetImageMedia().Detail);
  • Claude → Responses 转换(图片块与 tool_result 图片)固定写 detail: "auto";
  • 补了单测和 golden 文件。

为什么值得移植

  • 用户在 Chat 请求里指定 detail: "low" 时,被转发到 Responses 上游后会丢失,可能导致图片按默认/高精度计费和计 token,和用户预期不一致;
  • 有些严格的 Responses 校验器会拒绝没有 detail 的 input_image,显式写 auto 能避免 400。

LMM 中的对应位置(main)

  • apps/api-go/relaykit/relayconvert/internal/oai_chat/to_oai_responses_req.go:ChatCompletionsRequestToResponsesRequest 里 dto.ContentTypeImageURL 分支(约第 228 行)目前只写 type 与 image_url,没有 detail;
  • apps/api-go/relaykit/relayconvert/internal/media/(或 fork 内等价位置):新增 ResponsesImageDetail / DefaultResponsesImageDetail;
  • fork 的 claude_messages/ 下目前没有 to_oai_responses_req.go(只有到 Chat 的转换),这一半 不适用;
  • 需确认 fork 的 dto 是否有 GetImageMedia(),没有的话直接从 MessageImageUrl.Detail 取。
  • 默认分支 wip/rust-core-go-extensions 上暂未找到对应的 Go 转换代码;如果 Rust core 有自己的 Chat→Responses 转换,也应按相同语义处理。

风险与冲突

  • 低风险:只是多带一个字段。original 只有部分模型支持,按上游做法原样透传。
  • 与钱包、支付、订阅、assistant、HeroSMS、bounty 契约、Redis-off 运行时、1 USD = 500000 credits 以及 task/JS 插件宿主决策都无关。
  • 若 fork 有 golden 测试(testdata/golden/request/openai_to_openai_responses.golden.json),需要同步更新。

需要跑的测试

  • go test ./relaykit/relayconvert/...(在 apps/api-go/relaykit 下)
  • 新增用例:detail 为 low/high/auto/original/未知值/缺失 时的输出。

工作量估计

小(约 0.5 小时),纯后端,可走默认模型。


由 lightbot 每小时上游审查自动创建。

Activity

  1. added
    botOpened by the maintenance bot
    upstream-portQuantumNous/new-api upstream commit port candidate
    on Oct 17, 2026
  2. LIghtJUNction commented on Oct 18, 2026

    @LIghtJUNction
    MemberAuthor

    已核对当前默认 Rust 主线:请求转换仍明确拒绝图片内容,尚未出现“接受 input_image 后丢掉 detail”的可用路径。冻结 main 的旧 Go 缺陷不能直接作为新主线现状回灌。

    本 Issue 保持 OPEN,作为 A05 多模态接入时的字段契约与回归要求:支持图片后需覆盖 low/high/auto/original、未知/缺失值以及 Chat→Responses 的实际转发,并结合上游支持范围检查。当前未新增图片能力,也未宣称 detail 已端到端修复;与 #895 的剩余能力验收一起跟踪。

  3. LIghtJUNction commented on Nov 14, 2026

    @LIghtJUNction
    MemberAuthor

    本 Issue 已合并到 #986 统一跟踪:#986

    本次关闭仅用于合并去重,不代表问题已修复、已验收或放弃处理。原始正文和讨论仍保留在这里,后续实现与验收请使用新 Issue。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    botOpened by the maintenance botupstream-portQuantumNous/new-api upstream commit port candidate

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions