Repository navigation
[WIP][MK-05] Rust 模型转发、协议转换与有界流式输出 - #696
Merged
Merged
Conversation
…[relay-normalize]
…ash isolation [relay-normalize]
…s [relay-normalize]
LIghtJUNction
marked this pull request as ready for review
October 10, 2026 09:52
Codex Review SummaryThis comment shows the latest Codex review activity on this pull request.
ℹ️ About Codex in GitHubYour team has set up Codex to review pull requests in this repo. Reviews are triggered when you
Codex reacts with 👀 while any review is running, comments if it has suggestions, and reacts with 👍 once all reviews finish with no findings. |
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
任务与分支
任务 05,父 PR #675。保持 Draft,不合并、不部署生产。
wip/rust-core-go-extensionsb83723cdac3f148140806b8025cb5360a2f6a26dwip/mk-05-relay6c2c79d673dd0b4d702d6a50b45ee38aafe6abfa已实现
Rust 独立 HTTP 转发;客户端支持 OpenAI Chat Completions 和 Responses,上游支持 OpenAI Chat、OpenAI Responses、Anthropic Messages、Gemini GenerateContent。每组均支持 JSON 和 SSE;基础范围为文本、函数工具和工具结果,单个候选输出。
支持 UTF-8/SSE 跨网络分块解析、工具参数分段、独立工具调用 ID 与 Responses 输出项 ID、思考文本、供应商签名、用量与结束原因。Responses 事件序号递增。正常工具完成必须包含有效 JSON;达到输出限制时保留未完成状态。缺少结束标记不会被当作成功。
客户端断开会取消上游读取和输出;已获得的预留句柄仍进入有超时限制的结算流程。覆盖连接、响应头、读取、慢客户端写入、总体转发和计费钩子的超时。默认不重试;最多仅允许两次连接失败重试,HTTP 状态、部分输出和不确定的 POST 不重放。
默认限制:16 个进行中请求;每请求 8 个等待发送的数据块,每块 16 KiB;单个 SSE 事件 256 KiB;累计输出 1 MiB;单个工具参数 256 KiB;最多 128 个输出块。错误包同样受分块限制。排空先拒绝新请求,再等待已接收请求,超时后取消剩余上游,并报告仍未结束的任务。
计费、路由与生产限制
转发模块内提供
RouteProvider::select和Billing::reserve/finalize接口及测试替身,没有实现或接入任务 03、04 的正式资金和路由存储。任务 03 必须提供持久化预留、结算和异常恢复;任务 04 必须提供 Rust 持有的已生效路由与价格版本。预留成功前不发送上游请求。结算未确认持久化前,不发送
[DONE]、response.completed、response.incomplete,也不发送非流式 JSON 200。缺失用量保持未知,不是零。预留超时可能已经提交,必须按请求 ID 恢复;失败结算不能自动免单。转发模块不持有数据库连接或跨整个流的事务,也没有 Go 扩展调用。公共模型入口未接线;原有模型接口和业务就绪检查仍保持 503。不能将本 PR 当作生产计费已接通。
验证结果(2026-10-10 UTC)
最终提交的只读检查均通过:
cargo fmt --all --check、cargo clippy --locked --all-targets -- -D warnings全部通过。Rust 测试 69 通过、0 失败、0 忽略,包含原有核心测试;本任务新增 17 个 relay 单元测试、20 个真实 HTTP 测试。另有 8 个服务边界检查通过。16 组协议矩阵属于上述一个 HTTP 测试:4 上游 × 2 客户端格式 × 流式/非流式,不重复加到 69 项总数。所有 16 组均通过。
真实 HTTP 验证涵盖首段及时输出、三字节分块、工具调用、思考签名、用量、断开连接、取消、各阶段超时、重试限制、截断/无效 UTF-8、缓冲边界、错误包分块、预留拒绝和结算失败。额外回归覆盖普通文本签名不丢失、错误用量不破坏最后有效快照、加密/带引用标注内容明确报错。
实际构建并启动 Go 扩展进程。收到首段 Rust HTTP 输出后终止 Go,Rust 随后仍发出后续内容与
[DONE],测试计费适配器完成一次结算。最终日志记录 PID 3613,输入/输出用量 2/3。没有重启 Rust 或容器;不保证单实例容器重启时 token 零中断。构建环境:GitHub Actions Linux,Rust 1.99.0、Go 1.27.2、隔离 PostgreSQL。没有调用真实付费模型接口;上游为模拟 HTTP 服务。内存测试验证队列、字节和数量限制,不是整个进程 RSS 峰值或生产负载测试。
最终工作流只有
contents: read,不保存 Git 凭据,不自动改源码、提交或推送。开发期间的临时校正脚本已删除;最终源码与前一轮通过验证的实现一致。改动范围
apps/core-rust/src/relay/、apps/core-rust/tests/relay_http.rs、lib.rs模块导出、Reqwest 依赖与锁文件,以及本任务 CI。未修改任务 03 的资金文件、任务 04 的路由文件、任务 06 的 Protobuf、公共 HTTP 入口或 Go 代码。未增加旧数据迁移。
明确不支持
图片/音频/视频、多候选、托管工具、加密或有状态 Responses 历史、带引用标注的 Responses 输出、Anthropic 隐去的思考块等,均不在基础转换范围。供应商签名不能跨协议重放。Chat 工具名称/ID 在首次出现时必须完整;部分签名历史仅保留输出,尚不支持重放。详见文档,不静默删除已识别的不可转换内容。
复现与接入说明
最终分支检查 artifact 的 SHA-256:
2e68e6927dc1b0e87da251ae1d8f953defbabc027f06c23f373a3b853e1c6b53。mk05-tested-commit.txt对应最终提交,日志与源码快照一同保存。