[Research Radar] AI inference performance & RSI — daily categorized insights

目标

持续跟踪 AI inference 性能优化与递归/自主改进（RSI） 的 GitHub repo、paper、作者/官方工程 blog，为 InferRSI 架构和方向演进提供可追溯的研究输入。本 issue 是固定研究索引；每日报告使用新的 comment，避免覆盖历史结论。
google sheet 链接：https://docs.google.com/spreadsheets/d/1xNv8vFVyignnvXGLKvIKpjmMuL2gczcfV4KW8iwCveA/edit?gid=1366588410#gid=1366588410

报告以中文洞察为主，保留英文技术名称与原始链接。研究、提案和已验证结果分开记录；本 issue 不授权模型/GPU调用、代码修改、知识自动推广或自动合并。

分类维度

每条发现同时带上以下标签，而不是只按论文列表排列：

模型/工作负载：LLM 与 Agentic；Diffusion 图像/视频/音频；Loop/Recurrent Transformer 与自适应计算深度；Decision/Action/Policy/World Model；跨模态与流式交互。Decision model 包括决策/动作策略推理，不默认等同于模型路由。
优化机制：Schedule；Cache；Parallel/Pipeline；Kernel/Compiler/Fusion；Quantization/Sparsity/Speculation；Compute/Quality Budget。
系统层级：单算子、模型执行、单机/分布式 serving、端到端任务/交互、优化控制器与知识反馈。
RSI 环节：瓶颈诊断 → 候选生成 → 受约束搜索 → 独立验证 → 成本/质量选择 → 可复用经验。区分 engine 优化与 harness/skill 优化。
证据成熟度：Idea / Paper-reported / Code available / Integrated / Locally validated；另外单列未验证、反例、失败与适用边界。合并不等于性能验收。
与 InferRSI 的关系：已有能力、已有 open issue/PR、可扩展缺口、暂不建议；映射实际模块与现有 owner，不重复建 runner/catalog。

每日报告约定

标明研究截止时间（北京时间）、InferRSI 默认分支 SHA；发布前重新核对代码基线。
优先最近发布/实质更新，补充必要的经典基础；明确“新发布”“新进展”“基础参考”，不把旧论文当今日新闻。无可靠新增时如实说明，不凑数量。
每条包含：来源及日期/版本、机制、为何重要、实验条件与限制、InferRSI 可借鉴点、最小验证建议和停止条件。
原始 paper、官方 repo、作者/厂商 blog 优先。Repo stars、单算子加速、作者报告、CPU fixtures、GPU/E2E 验证不能相互替代。
性能比较保留硬件、模型、版本、精度、输入/负载、baseline、质量与尾延迟限制；不跨条件排名、不叠加百分比。
总结 今日最值得阅读的 3 项、建议验证的 1–3 个方向、暂缓/反例。建议不是已授权实验或已承诺实现。
延续历史去重与更正：同一来源无实质变化不重复当新发现；已被修复/合并/否定的结论及时修正。
仅公开来源与技术分析，不发布私有笔记、原始敏感日志或凭据。

与现有工作的边界

复用架构文档、SearchSpace coverage #91、Harness improvement #93 和三类优化方法 #131。本研究不取代这些事项的验收，也不重复路由项目特性监测或 PR 审查。

首轮为建立研究基线；后续在本 issue 按日期追加日报。

2026-10-27｜表格版：优先看 model-specific inference engine

证据截止：北京时间 17:25。这是今日基线的可读性修订与五个重点引擎补充，不是把旧资料当今日新闻。发布前 main 仍为 38d5883b8e72。以下均为公开资料分析，未独立运行模型 / GPU。

1. 优先方向：为特定模型与工作负载设计执行引擎

项目 / 一手来源	特化对象与机制	证据边界	InferRSI 最值得借鉴
DwarfStar / ds4	选定 DeepSeek 等 MoE；C 运行时整合量化、专家流式、KV 与 serving	作者基线：V4 Flash Q2 / M5 Max 128 GB / 2K，decode 39.35 tok/s。不是跨引擎胜负，也非任意 GGUF 通用兼容	模型 × 量化产物 × 运行时联合候选；容量与速度分开评估
Strata	Qwen3.8 / Qwen3.6，另有 DeepSeek 引擎；热专家 VRAM + CPU 执行未缓存专家，配合 MTP	旧版实测：0.1.26 / RTX 5070 12 GB + Ryzen 7600 / 64 GB RAM / Q2 / MTP，4K decode 93 tok/s；当前 v0.2.6 部分专家跳过默认改变输出	异构放置搜索；版本、精度和质量 gate 缺一不可
Splash	选定 Qwen 等模型；专属 DFlash 2、Metal、KV / 循环状态缓存、连续批处理	作者 HTTP 实验：M5 Pro 48 GB、Qwen3.8-27B 短 prompt，decode 74 vs oMLX 38 tok/s；双方推荐配置，不是单因素对照	联合优化 draft、runtime、API 延迟与缓存；精确回放不能代替真实多轮
Lily	Qwen3.6-35B-A3B Q4 / group 64；Rust + Metal，融合 kernel、GPU 路由与 token 交接	9 月 2 日新基线：M5 Max 128 GB，MLX 0.32.2 + mlx-lm 0.31.3，batch 1，decode 1.236–1.319×；128K prefill 0.801×。不含 HTTP / 加载，非通用 serving	优先学习 benchmark contract；保留长上下文倒退。free-running token 可不同，MLX 还计算 Lily 不返回的 logprobs
Husky	Woof 4B 4-bit；Metal、INT8 KV、编辑 prompt lookup + 273 MB Flash draft	作者 M5 Max 128 GB：编辑 730 vs MLX 163 tok/s；无 draft 的普通写作仅 1.02–1.27×。已核实官方介绍，未核实公开源码；CUDA 为规划	根据编辑 / 写作选择 speculation，不把重复文本峰值泛化

这些项目不是同一模型 / 硬件 / 精度 / 缓存条件，不做总榜排名。它们是技术来源或潜在实验目标，不是已接入 InferRSI 的依赖。

2. 其他模型与 RSI 机制，保持分类

类别 / 来源	核心洞察	InferRSI 建议与限制
LLM / AgentX	调度、缓存、并行一起改变不同请求类别的体验	分开看短交互 / 长 prefill 的 TTFT、TPOT、P99 与 SLO goodput
Diffusion / SoftCache	缓存陈旧度与采样步长联合调节	固定采样器后搜索 cache × steps；去噪计时不能代替端到端收益
Loop / Continuous Depth Batching	深度调度必须保留 KV 语义	先验 live 退出与质量；预录轨迹回放不是线上质量证据
Loop / LoopSpec	中间深度 draft，最终深度验证	固定 verifier，计入拒绝、KV、编译和端到端成本
Decision / Real-Time Chunking	异步动作块可减少任务等待，而非加快模型 forward	用闭环成功任务 / 秒、观测年龄、deadline 评估；先限仿真
RSI / KernelAgent	候选去重、串行 profiling 与 profile 复用降低搜索成本	指纹包含 shape / 硬件 / 工具链；不跳过独立正确性验证

**架构优先级：**先把“模型 × 产物 × 硬件 × 工作负载”的验证契约接入已有 Harness × Model × Infra，再搜索 kernel / memory / draft / serving 的组合；不另建通用 engine 或第二 runner。近期最值得精读 Lily 的验证契约、Strata 的异构放置、Splash 的端到端 serving。这些是研究建议，不是实验执行或收益承诺。

2026-10-27 补录｜Project Maya

证据截止：北京时间 20:32。这是遗漏补录，不是首次发布新闻；核对当前主线 v1.1.30 / 8621e331（提交于 10 月 27 日）。未独立运行模型 / GPU。

方向 / 项目	模型与当前能力	证据与边界	InferRSI 借鉴
Model-specific / 异构 MoE / Project Maya	GLM-5.3-Flash、DeepSeek-V4.1-Flash-1017 的专属引擎；MiniMax-M3.1 为实验。VRAM / RAM / NVMe 专家分层、CPU 与 PCIe 分工、模型专属 draft。NVIDIA CUDA；AMD / Windows 实验	开源实现与测试可查，不等于已独立复现。作者 Maya-S 质量测试：五任务各 400 题，均分 80.8 vs FP8 82.5（97.9% 保留）；7,672 held-out positions 的同 top-token 为 83.3%，非无损。GLM 的最多 8 并发不能泛化到所有模型	Now：优先读校准方法，性能结论待复现。校准代码使用未见 prompt、交错复测、超过 3% 才接受；不回写学习到的专家 profile，避免反复跑同一文本把热缓存误当普遍收益

性能时效：10 月 6 日历史实验为 2×V100 32 GB、Xeon E5-2690 v4、30 GB RAM、GLM UD-IQ1_S、greedy、500 prompt / 300 output；plain 26.2 vs MTP split24 40.0 tok/s。这是旧实现的作者数据，不是当前 v1.1.30 实测，也不能与其他引擎直接排名。文件也保留了错误修复、无收益预取和 CPU 路径反例。
正确性与创新边界：批量 prefill 明确与单 token 路径舍入不同；单 GPU MTP 不与 parallel / DFlash 同开。项目明确源自 Strata，并使用 ggml / llama.cpp、exllamav3、beellama.cpp；值得研究的是特定模型下的工程组合与校准，不宣称专家分层或投机解码本身首创。
**最小验证建议：**固定模型产物 hash、RAM 预算、prompt / seed 和冷热缓存；同质量比较 CPU / PCIe 分工与 draft，计入端到端延迟和尾部；无稳定收益或质量越界即淘汰。主仓 MIT 不覆盖一切：可选 DFlash2 权重为非商用 CC BY-NC-ND 4.0，MiniMax 权重另有商业条件。

2026-10-27 补录｜JustGoal：知识与 harness 的价值必须通过对照证明

截止北京时间 22:19；InferRSI main 51fa1d31。来源是 OpenBMB JustGoal 的 10 月 26 日算子代码发布及随仓论文。已阅读论文方法、对照、限制并抽查代码；未运行模型/GPU，以下性能数字均为作者报告。

分类： LLM attention / GDN / MoE；Kernel/Compiler/Fusion；算子层＋优化控制器；候选生成→搜索→独立验证；Paper-reported / Code available，非本地验证。

最重要的洞察：不要把“goal-only”误读为“不需要验证”

JustGoal 是实验配置，不是新 agent 架构。通用 Claude Code 接收目标与约束，自建优化循环；本仓主要发布最终 kernels 和部分 solution.json，不是可直接接入的完整 campaign runner。
论文 §4.4 的同模型 Fable 5.1 2×2 对照比标题更有价值：single-shape 下，KDA-0.5 harness 相对 JustGoal 为 0.95×；whole-definition 下为 1.37×（相对参考分别 0.97× 与 0.71×）。这提示 harness 的价值可能更多来自跨 shape 分解、组织与覆盖，而非对每个窄任务添加更多流程。该解释仍有限：领域先验与分解机制没有被完全单独消融，KDA 复现也受公开材料限制。
§3.2 / §4.5 明确保留最终独立正确性检查：FlashInfer-Bench，FA4 backward 使用官方测试协议，不使用 agent 自定容差。作者还修复错误 kernels 后重新计时；自建检查仍会漏掉精度、输出、构建或运行错误。因此“作者最终修正后的速度”不能等同于“无人干预一次交付成功率”。
作者总体结果为 10 个可比较算子中 8 个快于所选开源库，几何均值 1.14–2.34×；FA4 forward 为 0.77×、KDA 为 0.99×。B200 / sm_100a，主环境 CUDA 13.0；计时是 cold-L2 的 CUPTI kernel span，排除 JIT、cache flush、同步开销，不是 serving/E2E 收益。不能推广到 A100、Ascend 或视频端到端。

对 InferRSI knowledge / workbench 的具体启发

flowchart LR
 A["#143 冻结目标、shape域、预算与质量门槛"] --> B["同模型 / effort / 工具 / 预算"]
 B --> C["Goal-only baseline"]
 B --> D["+检索知识"]
 B --> E["+流程或任务分解"]
 C --> F["统一独立 verifier 与未参与搜索的测试"]
 D --> F
 E --> F
 F --> G["正确率、覆盖率、搜索总成本、最终性能"]
 G --> H["保留有效知识；无增益或反例也归档"]

Knowledge 不以数量证明价值。 [Tracking] SearchSpace distillation coverage and knowledge consolidation #91 / docs: add a generated skill coverage reverse view #194 的反向视图回答“覆盖哪里”；Skill Eval 回答“在何种任务与模型下带来多少增益”。应允许知识无收益或误导的负结果，模型升级后重新比较。不能由本文推出“蒸馏/skill 无用”。
Workbench 的阶段应该是可检查的产物边界，而不是固定思考脚本。 目标、候选、证据、裁决保留稳定接口；给搜索策略自由度，同时限制其修改验收规则。与 Proposal: controlled task-local harness improvement on top of Skill Eval #93 的受控 harness 改进方向相关，但 issue 的关闭状态不等于该方案已完整实现。
从 kernel 蒸馏“适用域与状态契约”，不只摘调优技巧。 例如 full-shape DSA 包装含固定架构/维度约束、top-k fallback、设备级 workspace 和 stream 选择；single-shape 实现含缓存与 epoch 生命周期。这些是可审计的知识单元，不代表其并发安全或服务效果已经验证。

**最小验证建议（尚未执行/授权）：**先做离线接口审计，选一个窄 shape 任务和一个多 shape 任务，固定输入、正确性标准、时间边界及完整成本记录；后续若获实验授权，再以同模型/effort/工具/预算比较 goal-only、加知识、加分解，使用多次独立尝试并保留失败。收益不稳定、质量越界、只在搜索样本上提升或新增成本无法抵偿时，停止推广。复用现有 Skill Eval / harness，不新增第二套 runner，也不把 B200 结果移植成其他硬件的预期收益。

2026-10-28｜InferRSI 每日研究

证据截止：北京时间 08:30:57。发布前复核 main 51fa1d31cc4a805490ddfe8055a36c81d70c4f08 未变。

本轮是增量核验与历史补发现，不把旧论文冒充今日发布。所有性能均为作者报告；本轮仅原文、源码和配置静态核验，未运行模型/GPU/付费实验。阅读价值不等于生产可用。

主表：两项发布增量、一项历史补发现、一项昨日补录复核

分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
Model-specific · Maya / DeepSeek、MiniMax	新增独立请求序列并行；同时修补 MiniMax drafter 长 prompt 写入与 DeepSeek 共享 expert 表竞争。属于执行路径完善，不是新算法。	已读落地路径；MiniMax 并行会关闭 DSpark 与 KV streaming，更多 KV 占用显存、挤压 expert cache 空间。开放 PR #557 的 DSpark 并行与速度不能算进发布版。	代码可用 / 值得验证；未独立运行。	v1.1.34，2026-10-27；本轮实质增量。	P1：复用隔离/状态正确性验证；先测跨请求串扰、取消、drafter 回归，再谈吞吐。Maya 蒸馏不在本任务。	[E1]
Model-specific · Strata / Qwen、DeepSeek	v0.2.7 对 ≤13 GiB NVIDIA 的 Qwen 默认启用驻留偏置路由，改变专家选择；DeepSeek 另有默认专家数变化。不是透明 offload，先验是 Cache-Conditional Experts。	作者披露默认 prior=1.5 时任务分数低于关闭值；样本小且不等数，不能判定同质量加速。更高 prior 出现复制/代码错误。	代码可用 / 值得验证，默认质量风险优先；未独立运行。	v0.2.7 / engine 0.1.52 / 5e8a4cca，10-27；旧 93 tok/s 不外推。	P0：把 expert 选择改动纳入语义变更与质量预算，不与纯内存搬运优化混评。已有知识复用，不重复蒸馏。	[E2]
LLM 混合线性注意力 · ReaDy / Qwen3.8-27B	在 DSpark draft 中读取已提交的 Gated DeltaNet 状态；相邻 prior art 是目标 KV 条件化 draft。不是 loop Transformer 自适应深度。	原文/源码均可读；相对 DSpark 约 8% 包含额外微调，仅对微调对照约 5.7%。单 B200、并发 1、greedy；没有负载尾延迟证明。	代码可用 / 值得验证；明确增量机制，未独立复现。	论文 10-14 / v2 10-18；源码 8ac61b51，10-15。本轮历史补发现。	P1：对接在途 #121/#164/#169，复用 main 的通用 runner；专用 recurrent state 生命周期与回滚仍须验收，不新建 serving 框架。	[E3]
RSI 控制层 · JustGoal / 算子优化	昨日补录复核：goal-only 与知识/分解策略需要配对比较；发布物是算子代码与 solution.json，不是通用自主搜索引擎。	已核验论文同模型 2×2 对照与修复后重计时边界；知识包的独立因果收益仍未分离。NCU skill 也有负结果。	推荐阅读（研究设计）；有效加速仍是作者报告，未独立复现。	公开 release 10-26 / f052fc0b；昨日既有补充，不算今日新项目。	Now：复用现有 N/E/R skill evaluation 与有界 offline improvement。补持出任务和全搜索成本，不以 catalog 数量当收益。	[E4]

观察区：尚未通过关键复现门槛

分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
Diffusion · PoSTCache / 图像与视频	未来 anchor 校正已跳过步骤，再积分 solver；对比 forward reuse / Taylor 外推。离线校准选择 anchor。	原论文有质量对照和漂移反例，但未找到可核验 canonical 代码；计时非服务 E2E，离线校准成本未并入。	论文可读 / 观察，代码与复现入口未核验。	arXiv v1，2026-10-19；历史补发现。	Watch：先查代码/solver 端点及校准成本；不要先导入加速百分比。	[E5]
Decision / VLA · VLA-Rolling	学习旧 action-tail 的有效性，联合 warm start 与计算步数；先验含 ChainVLA、ActionCache、RTC，并非首次尾部复用。	原文、代码、发布权重配置存在训练损失/EMA 等对齐疑点；论文曾修正一项成功率增幅。部分模型无等价公开 rollout。	代码与权重可见 / 观察；复现配置须先澄清。	v1 10-18 / v3 10-21；本轮历史补发现。	Watch：采用 episode reset、缓存有效性、闭环失败率契约；暂不把 headline 纳入通用收益。	[E6]
Model-specific · cachedMoE	无已知 repo 名检索发现的 MoE cache 实现；可作为数值等价失败知识，而非新增推荐。	README 旧 NLL 与后续状态记录不一致；严格 decode 测试仍有失败，不足以认定同质量加速。	观察 / 暂不推荐集成；未独立运行。	84ba1ab7 / 10-22；10-21 数值基线有重设，严格 decode 后续仍失败。	Watch：先解决 source/experiment 版本一致性与质量失败；这是候选拒绝实例，不用 stars 筛选。	[E7]

Now / Next / Watch

Now：优先验证 Strata 的默认语义变化；Maya 并发是实际能力增量，但并发路径与单请求投机不是同一实验条件。
Next：ReaDy 值得读状态条件化 draft；对接在途状态契约，复用 main 通用 runner。JustGoal 支持更严格的 skill 因果对照，不支持再造一个宣称自主搜索的控制器。
Watch：PoSTCache、VLA-Rolling 和 cachedMoE 均有关键证据缺口；不因新颖或有源码就升级为 solid 加速。

最小验证建议（未执行，执行另需授权）

建议 1（未执行）：Strata prior=0 对照发布默认值，同硬件/权重/提示集，检查 expert 路由、任务质量、p50/p95 与全校准成本。先固定最多 20 个持出任务、2 次重复；出现正确性回归即停，扩大预算需另行授权。
建议 2（未执行）：ReaDy 比较 AR / DSpark / 微调但不读状态 / 状态 reader，保持目标、精度、greedy 与长度一致；检查 token 等价、拒绝回滚及吞吐。先做 10 个边界请求；任何状态泄漏/不等价立即停止，GPU 执行需另行授权。
建议 3（未执行）：复用 N/E/R 的运行/独立评分设施，另设因子对照比较 goal-only、知识、分解及二者组合；同模型/工具/预算、开发集与冻结持出集分离，计失败与总 token/时间成本。先 6 个算子族、每格 2 次；无质量通过或预算耗尽即停。

证据索引

[E1] Maya — release b04264526e93a3c7d3c051cb9cec97af86ae8a37，10-27 23:18Z；文档头 249f9a87d1a9d72bec2b684d704b0aa9296b1c9c。DeepSeek step_multi 保存各请求 state/KV；多请求同时 decode 不做 drafts，但维护各自 drafter rings；MiniMax forward_rows 保存 SeqKv，并发 >1 关闭 DSpark 与 KV streaming、KV 留显存。来源沿 Strata/ggml、既有 GLM 多序列方法，不主张新算法。29157105 修复 rows>16 时 drafter K/V 写入；32f3c8c6 修复 expert table/pending swap 竞争。并行 Python 测试主要是 mock/容量规则，矩阵逐行测试不是跨请求 GPU 隔离证明。PR #557 仍 open，不能引用其 DSpark 并行或 4.8× TTFT 为正式版能力。本文不运行测试，不引用跨条件速度。

来源 1 · 来源 2 · 来源 3 · 来源 4

[E2] Strata — SHA 5e8a4cca7d690ac60ca37eb09e7d0e010099ad6d，10-27 13:54Z；v0.2.7 发布 14:54Z，engine 0.1.52。Qwen ≤13 GiB NVIDIA 默认 STRATA_ROUTE_PRIOR=1.5；resident expert 加分改变 top-10 选择，使用原概率归一化，非 bitwise cache。作者 RTX3060 12GB / IQ3_XXS：80 tasks 未见 copy/code errors；agent 平均 4.5/10（4 runs）对 off 5.6/10（7 runs），运行数不等且 off 范围 4–6，不能判统计显著。prior=2.0 曾出现复制/代码错误。另 4×R9700 DeepSeek 默认 6→5 专家，小质量集不等于通用无损。既有先验 Mixture of Cache-Conditional Experts，非本轮新算法。layer-major prefill、batch pipeline 与近似路由必须拆分；release 保留 split-serve 变慢及 prefill/decode trade-off 负例。回退参数存在但本任务不改变设置。

来源 1 · 来源 2 · 来源 3

[E3] ReaDy — 首发 2026-10-14，v2 10-18；源码 8ac61b51d529fad980566cfde7a3c41415ba93a5（10-15）。读取 README、VALIDATION.json、environment.json、MODEL_SPEC.txt、adapter.py 与论文。SGLang pin 29481685462732237d80d86076d6563e1f658102；CUDA 12.9、Torch 2.13、Triton 3.7.1。Qwen3.8-27B，B200，BF16 / FP32 recurrent state，并发 1、greedy，输出上限 1024、上下文 16384、block 7。作者七项基准均值 TPS：AR 95.86、DSpark 280.42、仅微调 286.50、ReaDy 302.78；排除 prefill。状态 reader 相对微调对照约 5.68%，不能把总 7.97% 全归给状态读取。低秩查询读 committed GDN state，并接受目标 argmax 前缀/回滚拒绝状态。有限作者功能测试不等于七基准或服务负载复现；未独立运行。更多层/更高秩有接受率增而速度降的负例。GitHub issue 列表为空，不是正确性保证。

来源 1 · 来源 2

[E4] JustGoal — 昨日既有公开补充的重新核验，而非重复发现。源码 release f052fc0b28fc7f10b2ef1ae7aa4682aabbbe868d，10-26。本轮读取 repository PDF 全文相关方法/2×2/负例段落。B200 sm100a、CUDA 13、driver 580.105.08，Claude Code 2.1.304；固定 24h 预算比较，冷 L2/CUPTI kernel span，排除 JIT/flush/sync，非 serving E2E。发布的是 kernel 与 solution.json。单一模型完整 2×2 将 scope 与 harness 相交，但知识/分解策略的各自因果贡献未分离；另一 agent 的重现也非原团队全部私有流程。作者审查并修复错误后重计时，不等于首次自主正确率；NCU skill 对三个形状均落后于 NCU，部分候选需要修复。无需复制昨日速度表。InferRSI 已有 N/E/R 暴露对照与有界 offline verifier-guided improvement；现有模块不等于在线自主发现。

来源 1 · 来源 2

[E5] PoSTCache — 首发 2026-10-19。读取方法、实验配置和局限；未找到可核验 canonical 代码发布，paper 表述配置与依赖随代码发布。未来 full anchor 的残差校正过去跳过预测，再积分 solver，不增加网络调用；离线 10 条完整轨迹用于 covariance surrogate 与贪心 anchor 选择。H200，Python 3.12.13、CUDA 13.0.2、Torch 2.11、Diffusers 0.37.1、Transformers 5.4；FLUX/Qwen Image、Wan/CogVideoX/OpenSora。DrawBench 200×3 seeds、VBench 944×5，包含感知/语义质量。计时为 CUDA 同步生成 wall time、排除保存/指标计算；encoder/VAE 端点未由代码确认，不能称服务 E2E。离线校准未并入速度。baseline 参数有交代但缺不可变源码 pin；存在 offline-online gap、校正后 anchor 状态与已算输出不一致、长区间漂移。作者报告，不独立复现。

来源 1

[E6] VLA-Rolling — v1 10-18、v3 10-21；GitHub 8fdc5d75d93cd779e5fc9add05a069763c23978f，训练/模型代码 4430cce6（10-16），ACE revision 2a706069a660e80f695b137d0fdb237f155afd9e。读取全文/附录、源码与 9 份发布摘要。paper 非对称 L1 与发布 smooth_l1/asymmetric=false、EMA 权重方向及视觉结构等需对齐；不能据此断言论文实验错误。π0.5/MetaWorld 的 +9.32 pp 已在 v3 修正为 +0.66 pp，不应称最新版仍错。公开 rollout 主要是 PI05×3 benchmarks，9份权重不含 MolmoAct2。训练 RTX PRO 6000，仿真硬件原文写 4×RTX4090 32GB（无设备 manifest）；模型延迟非完整控制周期、无尾延迟。真机 14/20→15/20，仅多成功 1 次；两组 X-VLA 成功率下降。相比 ActionCache/STEP/ChainVLA/RTC 的新意是冻结 backbone 的学习式 confidence 联合预算，非首创 tail cache。未独立运行。

来源 1 · 来源 2 · 来源 3

[E7] cachedMoE — canonical acupof-ai/cachedMoE，SHA 84ba1ab723b1397e04e5532bdd50e8e0668594b2（10-22）；C++20 Vulkan/Slang + NVMe LRU，用于 DeepSeek-V4.1 FP4/FP8。读取 README、STATUS、store/planner.cpp；ScoreAwarePolicy 实际退回 LRU，热度策略有失败记录。README NLL .622784 是旧 checkpoint；STATUS #101 记录 10-21 coopmat 默认变化，gate 从 .660034 重设 .693887，2/64 top1 翻转；#104 的严格 teacher-forced 通过 7/8、free 通过 6/8，仍有失败。warm 91-token 一致不足以认定全面等价。最新只是删除 Python 死码，非新速度实验。此次为发现负例，未独立运行。

来源 1 · 来源 2

架构与覆盖

已阅读 main 的架构、skill evaluation 与有界 offline improvement，并核查全部 23 个开放 PR（第二页为空）。#121、#164、#169 仍在途。四个已合入的 engine 知识候选不代表 native 性能验收。

检索采用不含种子 repo 名的模型/架构 × engine/runtime/serving × cache/offload/speculation/kernel/compiler 组合；覆盖 GitHub、arXiv 原文及官方工程材料，并扩展论文 prior art/README 引用。DwarfStar、Splash、Lily、Husky 保留种子核验；未找到足够可靠的新语音流式、loop 自适应深度或世界模型条目，不凑数。这是有界发现，不宣称全网穷尽。

种子状态：DwarfStar 10-21、Lily 09-02 无新实质更新；Splash 1.4.1 当前增量早于昨日 cutoff；Husky 仍为 09-20 文档实验，公开 engine SHA 未确立。昨日 JustGoal 已有补充，此处只对齐架构结论和证据，不重发旧长报。

2026-10-29｜InferRSI 每日研究

证据截止：北京时间08:33；main 013a4815，发布前再次核验。所有性能为作者报告；未独立运行测试、模型/GPU或付费实验。历史补发现不冒充今日发布。

重点阅读 / 值得验证

分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
Model-specific · Maya / DeepSeek	2–3 请求可共享 DSpark 草稿执行，按请求验证和回滚。属于既有投机解码的模型特定系统集成。	v1.1.36 已接入；4 请求因成本退回普通解码，prefill 仍阻塞其他请求。MiniMax 并行禁 DSpark 的限制未解除。	代码可用 / 值得验证；未独立运行。	10-28 v1.1.36 / f031a23b；#611 关闭但未合并，以 cherry-pick 发布。	P1：现有 Maya 知识仍固定 v1.1.34；后续只补状态隔离、跨 GPU staging 和负收益回退，不重蒸整仓。	E1
Model-specific · DeepInfer / DeepSeek-V4.1-Flash	根据接受概率与运行时成本选择验证预算；复用 vLLM/SGLang 等系统思路。是模型专属执行核心，不是完整 serving。	有实现、测试和 sweep 入口；公开版不包含 KV cache system、完整阶段分离服务及 DP 负载均衡。确定性模式要求关闭可变草稿长度。	推荐阅读（成本调度源码）；效果值得验证，未独立复现。	10-20 首公开材料；当前 55374155（10-25），本轮历史补发现。	P1：与 Maya 单 pass 门控对照，复用现有 search-policy / runner，研究接受率×总耗时而非只追逐接受率。	E2

观察区

分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
Model-specific · Strata / DeepSeek Mac	新增 Metal 路径，默认完整 6 experts；线程数回退优先保稳定。属模型定制移植，不主张新算法。	Engram >2 线程出现输出漂移，默认2线程但损失 prefill 性能；量化质量非无损，DSpark 默认关闭。	观察 / 质量风险优先；未独立运行。	源码 46c152a1（10-28）；0.2.7 release 追加0.2.7.1，实验日期未单独确立。	P0：复用现有 Strata 验证契约，记录重复一致性、共租资源、量化质量及负结果。	E3
Decision/VLA · vla.cpp / SmolVLA	ROCm 接通 ggml 执行，复用 F32 权重与 F16 跨注意力缓存。后端移植，不是算法创新。	有数值对照和合成 predict 计时；HIP 未重跑闭环任务，最快选项改变动作，不能判有效控制加速。	观察 / 可读验证协议；未独立复现。	#35 10-28 合并；aeef71b7，实验 d0e5d00 / llama.cpp b11223。	P2：复用 Model/Infra 扩展点，先动作正确性和闭环成功率，再评反馈时延。	E4
RSI / serving · Standard Kernel + CoreWeave	官方描述配置、引擎和 kernel 联合搜索，并用服务测量拒绝组件级假收益。与现有多 agent 优化属系统组合。	公开材料没有足够源码、硬件和 baseline 版本锁定，也未给全搜索成本；不能确认独立有效加速或新颖性。	观察 / 方法边界参考，不作性能推荐。	官方博客10-27；本轮补发现，非今日新实验。	Watch：借鉴先组件后服务的否决门槛；InferRSI offline controller 仍不等于该自主搜索系统。	E5

经典基线 / 当前状态纠偏

分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
LLM / recurrent state · ReplaySSM	输入缓存+周期 checkpoint 减少状态写回，并支持接受长度回滚。经典实现及状态纠偏，不算新算法。	部分 Mamba2 路径已合入；README 的三个旧在途 PR 已关闭未合并，替代 #55688 仍开放。吞吐提高不等于单请求更快。	经典基线；扩展 PR 观察，未独立运行。	博客06-15、论文10-09、源码09-30；#55688 更新10-28。	复用已合入 #121/#164 的候选契约；#169 仍在途。不能把不同 recurrent 架构/路径合并成已验证支持。	E6

结论

Maya 的 DeepSeek 并发投机已从在途进入 v1.1.36，但4请求回退、MiniMax限制仍在；发布、单次质量检查与生产收益分开。
DeepInfer值得读的是接受概率与执行总成本联合调度，不是把官方生产架构等同于完整开源服务。旧实验不能移植到新head。
Strata重复漂移、vla.cpp动作变化及ReplaySSM吞吐/单请求分歧，都说明正确性与目标指标应先冻结，再比较速度。

Now：复用现有 Maya / Strata、kernel-writing-guide 和 search-policy；把近期实现状态与旧知识pin分开，优先审查质量与状态边界。

Next：只建议 Maya v1.1.34→1.1.36 局部知识补充，并比较接受率驱动与成本驱动的预算选择；本日报不修改代码/知识包。

Watch：等待 Strata Engram 稳定性根因、vla.cpp HIP闭环结果、ReplaySSM #55688合并及Standard Kernel可复现材料。

小验证建议（不执行）

建议1（不执行）：Maya同模型/量化/固定expert placement，普通与投机并发1/2/3/4，先token/logit及取消后状态隔离，再测吞吐、TTFT/p99和峰值内存。冻结20条未用于调参的prompt、3次交错重复；预算上限2 GPU小时/12配置，任一串扰或质量失败立即停止并保留负例；计入校准和所有失败试验成本。

建议2（不执行）：成本调度对照只在同一DeepInfer固定pin中做varlen on/off，固定模型、设备、请求/采样与质量契约；先确认支持路径再比较接受率、总时延及SLO goodput。最多8配置/2 GPU小时，若质量不可比或成本缺失则INCONCLUSIVE；不得以不同引擎/硬件数字替代对照。

证据索引

[E1] Maya：源码 f031a23b9682551e744e29d0e9f8d527df49f282，v1.1.36 发布10-28 21:10Z。已读 DS4 主循环、验证回滚与 --multi-check；跨 GPU staging 按请求窗口分离。作者 RTX3090+8×5060Ti、TP8、EXL3 3.5bpw、2/3 experts 在 RAM、554-token prompt、2×200输出、greedy：56.4→79.3 tok/s 有 near-tie 差异，不作普遍等价证明。维护者 V100 1/3卡修复复核，两请求约1.1×、四请求回退约1.00×；原四请求投机反而约0.89–0.92×。缺广泛质量、p99和重复方差；CPU/GPU expert迁移舍入仍需固定放置对照。

来源1 · 来源2 · 来源3 · 来源4 · 来源5

[E2] DeepInfer：源码553741557a57df44a46fb3ab72b6aafeaf945337。mtp_varlen.hpp 以 graph size 残差中位数和 sampler 时间校准总验证预算，分离历史接受率与当前分配避免 lookahead。batch invariant 测试含64条随机prompt、EP8、5 NextN；源码存在不代表本轮执行。确定性需 NVIDIA、batch invariant=1、varlen=0、固定seq_seed。公开sweep为4 SM100 prefill/64 SM100 decode的离线Pareto，plot含假定acceptance，不能当在线SLO证据；eval依赖数据/模型与judge，未运行。与Maya硬件不同，不排名。

来源1 · 来源2 · 来源3 · 来源4

[E3] Strata：46c152a1310f77cd2f0ce2c7cd213962df14fe83，Control0.1.53。M5 Max128GB，共租约60GB闲置Qwen服务，fresh process、每项2次；2.00/2.25bpw，固定expert placement的4995 positions KL0.170/0.111，非无损。>2 Engram线程16次中3–9次漂移，根因未确认；2线程prefill代价3–12%，decode-only限制尝试失败后回退。DSpark同答案但无加速故默认关闭。缺同条件强Metal baseline、<128GB及>32K验证。

来源1 · 来源2 · 来源3

[E4] vla.cpp：论文2606.08094 v1 06-06/v2 09-21；当前aeef71b726feab6bba00e97df61268ec863a2843，实验d0e5d00/llama.cpp b11223。RX9060XT16GB、ROCm7.14.1、Ubuntu22.04.5、i5-12400F，2×512图像/16合成语言tokens/50×7动作/10 flowsteps。作者默认优化228.1→208.5ms动作byte-identical，VRAM1541→2303MiB；3warmup+20reps×3process选择最低均值进程。最快127.7ms改变动作，HIP无闭环成功率、服务或长时间验证；OpenVLA-OFT无CPU数值reference。不能跨配置排名。

来源1 · 来源2 · 来源3 · 来源4

[E5] Standard Kernel：10-27官方博客。作者描述在 GLM/Qwen/DeepSeek 客户工作负载上联合优化，并人工复查质量；DeepSeek采用长prompt和高prefix reuse。源码、设备SKU、基线commit、重复方差及全搜索成本未充分公开。存在组件正确但服务变慢的作者负例；仅作控制流程参考，不能把商业自主系统效果外推到InferRSI。

来源1

[E6] ReplaySSM：73a9592e9d8a2268620e8883a82f5cec7442ed36；源码实现09-30，博客06-15/论文10-09。#48018/#52506/#52928已合入；#48792/#49847/#49887 10-12关闭未合并。替代#55688开放head d9cd1fd1fcfc5a08d14ff29ba7439f76ad42d628、base74340c73，GB3001400W/FlashInfer0.7.2.post1、OFF/ON/ON/OFF：B512总吞吐收益伴随每请求decode −6.1%。论文B256 H100/B300、FP32state/BF16activation与PR不是同条件；B1标准decode有0.96–0.99×负例。fork benchmark为greedy、固定输出256、忽略EOS、一次计时，非服务p99；测试容差不是bitwise证明。

来源1 · 来源2 · 来源3 · 来源4

架构与覆盖

架构核验：main 013a481。已读README、architecture、roadmap #61、harness-improvement、skill-evaluation/skill-eval-pr及相关实现；开放PR11项，100/页第二页为空（#233为截止后新Draft，仅作发布时上下文）。#121/#164已合入候选知识，#169仍开放；昨日Metal/Maya/h3知识已存在，不重复蒸馏。#215有明确授权的历史实跑，但不等于全库有效或本任务可执行；offline improvement仍使用给定候选，不是自主模型搜索。

架构 · Maya旧知识pin · offline控制器

检索增量从10-28 00:30:57Z起，向前重叠24h，截止10-29 00:33Z。模型/架构×engine/runtime/serving×cache/offload/speculation/kernel/compiler无种子名搜索，扩展README credits、论文related work、官方博客；覆盖六种子、Diffusion、recurrent、VLA/world model及speech。Dwarf/Lily窗口无commit，Splash以UI/打包为主，Husky仍无已确立公开engine SHA；新语音/扩散候选证据不足，不凑数。是有界发现，不宣称穷尽。

2026-10-30｜InferRSI 每日研究

今日最重要的是 Strata 撤回一个不稳健默认值，而不是又一个最高加速比。 本轮 1 项风险更新、3 项值得验证的工程增量、1 项观察；没有足够证据给出强性能推荐。

证据截止：北京时间 08:33:17；发布前复核 main 401ee8a 未变。五门槛分别检查正确性、实验扎实程度、版本时效、prior art 和 InferRSI 价值。所有数字来自作者/社区，本轮未运行测试、模型、GPU 或付费实验。

重点风险与验证候选

分类 / 项目	实质变化与 prior art	证据与限制	等级 / InferRSI 接点
Model-specific / Strata 0.2.8	10-29 将驻留专家加分路由恢复默认关闭。它改变模型选择，不是无损缓存；cache-conditional routing 不是新概念。	长 agent 会话循环报告涉及约 50K–83K 上下文。另有 20 GiB 卡在 prior 关闭时仍失败，profile 混杂未排除；回退不等于根治，issue 仍开放。	重点风险 / Now：把长多轮、重复动作、恢复失败纳入 gate；冻结 learned profile 与生效配置，而不只看单轮质量和 TPS。
Model-specific / Maya 1.1.39	10-29 默认开启 GLM SSD 专家“读到一块就传一块”，重叠 SSD→RAM 与 RAM→GPU；明确移植 Abyss 先例。	作者六组冷缓存交错对照：V100、Maya-S24、RAM tier 8 GB / scope 32 GB、100 input / 128 output，+2–34%；全 RAM 仅 ±0.4%。社区笔记本旧移植仅 +2.7%，质量对照有近似 skip 混杂。GGUF、chunk readiness 有边界；缺 p99/取消/长期质量。	值得验证 / Next：补现有 Maya v1.1.34 知识的 SSD miss、全 RAM 负对照及 chunk 边界，不把均值约 22% 推广为端到端通用收益。
Diffusion / H3 · stable-diffusion.cpp #2240	10-29 合并：H3 图重排融合、分段预取分离分配/提交、输出直绑缓存。旧版已有 graph-cut/prefetch，不是新 offload 算法。	作者 4090 24 GB、INT8 H3、batch 1、CFG 1、Euler 20 步、同 prompt/seed 42、124 帧：864×480 从 7.81→3.66 s/it；1376×768 从 27.38→16.85。缺多 prompt 质量、重复方差和 E2E；graph/ggml/cache/prefetch 同时改变，不能单因素归因。	值得验证 / Next：只补既有 residency skill 尚未覆盖的 H3 视频/音频 shape、INT8 与跨 segment 输出存活；不另建 runner。merge `37bc88b5`，审查 head `301aafa`。
RSI / Atrex Kernel Agent #125	10-29 合并：基础设施不可用与候选失败分开，完整结果才缓存，区分目标分数比与延迟比。KDA 等已有评测契约；这是可靠性工程增量，不是新搜索算法。	公开恢复记录：40 次确定性 mock、两次重试预算，超预算仍失败。非 GPU 性能实验，部分真实回归资料未公开；失败 seed 不等于盲测。	值得验证 / Now：审计既有 receipt/usage/结果判定，不重复造缓存或 runner。不照搬 retry：InferRSI holdout 仍只做一次冻结验收。

观察：语音的“快”必须先证明输出完整

SpecSpeech 首次源码 10-18，实质更新 10-26；这是今日补发现，不是今日发布。CTC/Parakeet draft 与 Qwen ASR verifier 重叠，SpecASR 2025 的转录回收和 2026 CTC draft 工作是明确先例。

值得保留的是反例：作者标出的单请求 2.48× 比较包含 baseline 转录被 8192 token 截断，summary 代码明确拒绝它。A40 / Qwen3-ASR-1.7B BF16 / greedy / vLLM 0.30 的 pooled +1.17% 只是单次运行，另有 0.87× 负例；无 WER/转录等价汇总、重复方差或服务 p99。Watch：借鉴完成性与同语料门槛，不以 2.48× 作收益依据。

三个结论与受控验证建议（仅提案）

Now：修正错误默认值的知识。 Strata 的长轨迹失败比短测 TPS 更影响使用判断；保留未解决根因，不把回退当验收。
Next：按条件验证系统组合。 Maya 分冷/热 SSD 与全 RAM，H3 固定精度做 fusion × prefetch 消融；先验证质量与状态，再看端到端和尾延迟。质量失败、状态错误或无收益即停止推广。
Now：先确保评测结果可信。 用缺失结果、矛盾 receipt、未知 usage、诊断截断与输出截断构成静态故障矩阵；不完整不得 PASS，不改变冻结 holdout 规则。

当前架构已有 Harness × Model × Infra 和 source-owned sidecars；#243 的条件/建议表达不是知识有效性验收。现有 Maya owner、sd.cpp residency owner 与 search policy 是接点，不新建平行体系。

**覆盖与排除：**增量自 10-29 00:33Z，重叠自 10-28 00:33Z；使用不含已知 repo 名的模型/架构 × runtime/serving × cache/offload/speculation/kernel 查询，并追溯 credits、源码与论文。种子提交完整分页；DwarfStar/Lily/Husky 无核实新增，不重复旧性能。Splash #622、CrispASR、SpecFit 等未完成全部证据门槛，不列推荐。Diffusion、recurrent/深度、VLA、语音和 LLM/多模态均做发现检索；旧 CDB/ReaDy/PoSTCache/VLA-Rolling/ReplaySSM/vla.cpp 不重复。有限覆盖，非全网穷尽；不同硬件/模型/计时范围不排名。

2026-10-30 纠偏｜以后只报告首次发现、未入库的新 repo

此前把旧 repo 的新版本/PR 继续当日报重点，不符合现在的要求。从现在起按 canonical repo 与别名跨日期去重，并排除 InferRSI 已入库项目；找不到合格新 repo 就短报，不凑数。 历史评论保留，不改写旧记录。

今日原清单中的 Strata、Maya、stable-diffusion.cpp 不再作为当前推荐。Atrex 与 SpecSpeech 均是今日首次出现，检查此前评论、历史记录及 main dabd1849 的完整树、skill-index、矩阵与别名代码搜索，未见更早报告或已入库命中；仅保留今天这一条，后续不重报。

补充发现的两个新 repo

核验截止：北京时间 10:20:24。新身份不等于新算法或成熟生产能力；未运行测试、模型、GPU或付费实验。

新 repo	做什么 / prior art	五门槛结论与关键限制	InferRSI 价值
kindlingai/gr8	GLM 5.3 专属 CUDA/RoCE 引擎，面向 3–6 台 GB10，联合特化量化、TP、draft 与调度；继承 EXL3/QTIP/DFlash2。10-10 建仓，当前 `d446fcc3` 为 10-30 更新，不是今天首发。	Beta / 值得验证，非强性能推荐。 Gate有健康检查、多 boot 配对与缺项 PARTIAL；但已提交 baseline仍旧版且缺长上下文/mixed4。已知问题含一次首请求不一致原因未明；无同条件强外部对照。	Next：学习模型特化边界与完整 gate，复用已有 runner；固定 topology、boot health、baseline与质量，缺项不得 PASS。
mattt/AnySpeechRecognizer	Core ML 模型专属 runtime 与 Apple Speech 风格 API，Parakeet live / Qwen 分段及 KV state；沿用 FluidAudio、möbius、NeMo。10-29 官方介绍，代码 `fd305213` 为 10-28。	仅观察。作者限制：fast 模式自然语音 WER 15–22%，Qwen live 可滞后 40 秒。更正并行 GPU pipeline 污染后仅两轮测速；原始逐文件 run 已丢失，缺 p99/独立复现。	Watch：语音契约分开看吞吐、首结果、finalization 与 WER；不以低 RTF 替代完整性/质量。

今日最终身份清单：gr8、Atrex（值得验证）；AnySpeechRecognizer、SpecSpeech（观察）。 两个补充 repo 均未见此前报告或当前入库命中。Spexis 等候选因旧栈/组合未验证不凑入表。发现来自非种子名组合搜索、源码/benchmark/known-issues/credits核对，覆盖有限，不宣称全网穷尽。

2026-10-31｜新仓库研究

研究截止：2026-10-31 08:35 北京时间；新发现不等于新发布，未执行模型/GPU/付费实验。

InferRSI main：22dc89ba673429178719970bae8c05269d790a29；排除历史日报与当前知识库96个canonical身份。

5项值得验证，1项观察；无强性能推荐；不跨条件排名。

值得验证（不是生产推荐）

分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
model-specific / hybrid LLM｜NInfer（Qwen/GLM）	KV/State联合恢复与GDN/KDA接受前缀重放；属于已有投机/缓存方法的模型特化组合。	有源码合同、历史实验版本及方差；性能实验缺同次质量，输出截断不能当完成任务。	值得验证；未独立复现	head1882c6ad（10-29）；性能9-28/29@7f6aafed	状态回滚负控、评测分母/终止证据schema；P1	[S1] https://github.com/Neroued/ninfer
Kernel/compiler＋受控搜索｜Xe-Forge，Intel GPU Triton/SYCL kernel优化	分阶段或tool-calling agent用编译、正确性、计时反馈迭代；主线具备试验源码哈希和外部评测入口，是系统组合/硬件定制而非已证实新算法。	已读源码与正确性协议；只有baseline时证明行为一致，不能发现原有bug。完整模型验证仍为Draft，反作弊扩展仍开放。	值得验证；开发中，非生产保证。本轮未运行、作者加速不能视为独立复现。	主线6cd3ee9（10-12）；首次仓库03-24，非今日新发。Draft #56不计入已实现。	现有证据/有界实验协议重叠；可比较外部evaluator与整模型推广门槛，不再造agent框架。P1：小kernel的oracle与成本契约。	[S2] https://github.com/IntelLabs/Xe-Forge
Serving配置搜索＋成本预测｜AMD Infera	确定性seed sweep后由LLM提议配置，以projector预测吞吐/延迟并筛SLO；可使用测量锚点，默认不是实机搜索。	源码有试验历史、调用预算和来源区分；10-30修复host TTFT/解码时钟并补SGLang EP通信成本。尚无本轮独立排名校准。	值得验证：候选预筛工具，不是已证实自主加速。预测SLO不能当服务SLO保证。	main ff1136e（10-30）；#219/#225已合入。首次仓库07-20，实验版本与校准条件须逐锚点记录。	可补候选预筛与测量锚点策略；现有预算/离线控制已重叠，不能把该模块当真实实验闭环。P1：冻结trace的排序误差检验。	[S3] https://github.com/AMD-AGI/Infera
语音流式 / runtime-serving / Schedule+kernel+投机｜yuekaizhang/faster-cosyvoice	CosyVoice3 speech-token与Token2Wav两段；按已发PCM预计可播放时长调度，先救即将断流请求、再首包，再最早deadline。跨session packed DiT，单session每批只入一个依赖Mel缓存的chunk；FlashInfer/graph/DSpark组合。系统组合和模型定制；相对SpeechSpec增加完整PCM serving、deadline队列与packed Token2Wav，不是同repo别名；作者issue1亦说可移植至Triton，不宜声称新投机算法或击败Triton通用能力。	作者报告单Hopper、固定参考音频/文本、seed0、warmup15s+measure60s，C1各首包均760ms；有p50/p95与累计ablation。2020 SeedTTS中文作者CER target1.1593%、draft1.1380%、均0生成失败。无独立复现；缺精确GPU型号、跨框架baseline版本、重复方差、音色/MOS/长尾多语言质量与真实客户端buffer证据。	值得验证；本批首选，不是生产推荐；未独立复现	f1049c59；实质更新 2026-10-09；实验 benchmark commit Oct9; no exact run timestamp	InferRSI可增加语音实验contract：TTFP+underrun+CER/音色+全pipeline成本；调度策略离线确定性，不是RSI自主搜索。优先复用评测定义，不在license未定时移植代码。	[S4] https://github.com/yuekaizhang/faster-cosyvoice
Diffusion图像/视频 / runtime / offload+量化+Cache｜THU-MIG/edge-dit.cpp	ggml原生DiT运行时，图分段、模型感知量化/放置、auto-fit与双buffer异步CUDA offload；缓存IR在读取失败时回退全计算。 ggml/sd.cpp已有技术的DiT系统组合与模型定制，不宣称新缓存算法；CAPABILITIES里Diffusers无cache仅测试harness覆盖，不能写主流实现不支持。	作者4090、batch1/seed0/每配置warmup1、3prompts均值；图像1024²/Wan832x480x41；区分denoise和E2E，E2E不含加载/编码。无独立复现/方差尾延迟；native f16与Diffusers bf16非同算术，q8/w8不同；sd.cpp分层计时混入加载量化，不能取速度比。Qwen-Image-Edit auto-fit q4_K dirCLIP0.031/Lightning0.019对约0.13–0.14，明确质量失败。	值得验证（内存规划与质量失败契约），不可作通用性能推荐；未独立复现	97cc585d；实质更新 2026-09-01 isolate LTX runtime; Aug31 LTX offload；实验 2026-08-05 4090 snapshot	优先可借鉴显存预算→候选计划→质量判据→失败知识保存；auto-fit只保证fit不保证质量，适合InferRSI质量先行门禁反例。	[S5] https://github.com/THU-MIG/edge-dit.cpp

观察

分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
model-specific LLM｜Mach X（Intel Arc）	Q6_K kernel＋前缀快照＋prompt-lookup；硬件特化组合，非新投机算法。	有policy源码和测试；数字来自自改权重/重复文本，一卡缓存路径已知数值漂移。	观察；未独立复现	v0.2.34@d91c08e1（10-30）；实验10-28/29	候选回退/数值漂移失败知识；P2	[S6] https://github.com/Red-Weasel/machx-inference-engine

结论 / Now / Next / Watch

Now：优先读状态事务、语音完整性与质量失败合同；没有足够证据直接推荐性能收益。

Next：复用既有Harness、AB/BA、质量/预算/holdout门禁；#275/#268仍是受限在途能力，不再造agent框架。

Watch：历史速度、模拟预测和单算子收益不能替代当前版本任务级效果；许可不明先不移植代码。

建议验证（仅建议，不执行）

1 状态回滚：NInfer同模型同算术快照对照records/fold；拒绝/零接受/取消负控，检查状态和logits、内存、p95、全搜索成本。首次不一致即停止，预设单次资源预算。

2 语音质量：faster-cosyvoice固定Torch Flow baseline逐开关比较，至少3重复；CER/音色、PCM p95、断流及启动编译成本，先确认许可，质量退化即停。

3 预测校准：Infera用已存在的测量锚点离线比较seed-only与agent排序；固定版本与trace，成本预算相同；跨regime/实测来源不明不晋级。

证据索引

S1 RTX5090 32GiB, CUDA13.4, Qwen3.8-27B NVFP4/groupwise-int, FP8 row-256 KV, prefix disabled, chunk1024; 820 requests in20 configs reported error-free. Saturation C=8 NVFP4 922.4 tok/s is one selected steady wave, while full75-request corpus C=8 490.9 tok/s uses different denominator; neither is current-head benchmark. AIME15 all5 C1 samples hit65536 budget; C1 corpus completion limits33–39/75 depending profile. No answer accuracy in campaign. Separate model-card scores are not same-run quality gate.

来源：https://github.com/Neroued/ninfer/tree/1882c6adbc98043fcf89f3589aa5addb3742777a，https://github.com/Neroued/ninfer/blob/1882c6adbc98043fcf89f3589aa5addb3742777a/docs/maintainer/speculative-decoding.md，https://github.com/Neroued/ninfer/blob/1882c6adbc98043fcf89f3589aa5addb3742777a/include/ninfer/ops/gdn_replay.h，https://github.com/Neroued/ninfer/blob/1882c6adbc98043fcf89f3589aa5addb3742777a/docs/performance/methodology.md，https://github.com/Neroued/ninfer/blob/1882c6adbc98043fcf89f3589aa5addb3742777a/docs/performance/qwen3.8-27b.md，https://github.com/Neroued/ninfer/commit/d602894abcd071c273003f021258f46608aab447，https://github.com/Neroued/ninfer/issues/394

S2 {"main": "Staged DSPy/Claude workspace plus merged dspy-agent54, tensor descriptors55. Trial keys bind source/spec/reference/variant hashes; rejects missing verdict and measured-attempt absent; explicit built-in benchmark opt-in; baseline-only oracle does not prove semantics.", "open_limitations": "53 integrity anti-hacking suite is OPEN.56 E2E model pipeline is DRAFT OPEN (head2af8e5427308ff5983b2f27a8eada829b0ec4873).57 eval-injection fix open.", "author_report": "PR56 B70 batch8 input2048 output4, gpt-oss20b MXFP4, three patches,3 captures per arm: device-time1495.8→1327.1ms (1.127x). Not E2E latency/task quality. Patched OpenVINO Phi fails8x2048 while baseline runs: retained negative result.", "paper": "https://arxiv.org/html/2605.26118v1: 97 KernelBenchL2/B70,1.17x geometric mean versus PyTorch eager; references to large kernel-only speedups use weak/unoptimized comparator, not service gain. Page first-submission date conflicts with ID month; avoid exact first-paper claim.", "missing": "Full search tokens/time/cost, matched current optimized baseline, task-level quality and independent repeated trials; Draft experiment version not linked to immutable raw artifacts."}

来源：https://github.com/IntelLabs/Xe-Forge/blob/6cd3ee98dfe32746b345a6abe521fa4cb9bdc187/src/xe_forge/core/trial_manager.py，https://github.com/IntelLabs/Xe-Forge/blob/6cd3ee98dfe32746b345a6abe521fa4cb9bdc187/src/xe_forge/skills/benchmark.py，https://github.com/IntelLabs/Xe-Forge/blob/6cd3ee98dfe32746b345a6abe521fa4cb9bdc187/src/xe_forge/engines/agent_engine.py，https://github.com/IntelLabs/Xe-Forge/pull/53，https://github.com/IntelLabs/Xe-Forge/pull/56，https://arxiv.org/html/2605.26118v1

S3 {"source": "inferasim-tune --inference required otherwise training; reproducible --seed-only comparator. Default has_gpu false scores projection. On serving path profiling-mode benchmark alone does not select hardware; has_gpu/cached anchor governs. memory-real/full remain serving projection; dry synthetic.", "budget": "max_perf_calls/max_benchmark_calls limits; max_proposals guidance only and axes applies to training, not serving. inference_trials.jsonl persisted/deduplicated including failed candidates.", "updates": "219 fixes host latency, independent P/D clocks, length ranges and prefill delayer.225 adds allreduce-mode EP dispatch and prefill live-KV diagnostics. Author reports593pass4skip for225; NOT independently run.", "stale_document": "manual/simulation/boundaries.md says no split P/D queues, but merged219 and des.py implement split clocks/queues; avoid repeating stale constraint.", "missing": "Frozen hardware/backend/model/trace calibration, rank correlation, quality controls for precision/speculation levers, measured vs projected provenance on every trial, full search LLM/evaluator cost and confidence intervals."}

来源：https://github.com/AMD-AGI/Infera/blob/ff1136e4a51998eba2933ed63cfb9c10120f86ea/infera/projection/agents/tuning_agent/evaluator.py，https://github.com/AMD-AGI/Infera/blob/ff1136e4a51998eba2933ed63cfb9c10120f86ea/infera/projection/agents/tuning_agent/inference_agent.py，https://github.com/AMD-AGI/Infera/pull/219，https://github.com/AMD-AGI/Infera/pull/225，https://rocm.docs.amd.com/projects/infera/en/main/simulation/tuning_agent.html

S4 作者报告单Hopper、固定参考音频/文本、seed0、warmup15s+measure60s，C1各首包均760ms；有p50/p95与累计ablation。2020 SeedTTS中文作者CER target1.1593%、draft1.1380%、均0生成失败。无独立复现；缺精确GPU型号、跨框架baseline版本、重复方差、音色/MOS/长尾多语言质量与真实客户端buffer证据。

来源：https://github.com/yuekaizhang/faster-cosyvoice/blob/f1049c59196c2c1a890079abc56056b43f27cd1d/docs/benchmark.md，https://github.com/yuekaizhang/faster-cosyvoice/blob/f1049c59196c2c1a890079abc56056b43f27cd1d/faster_cosyvoice/streaming/token2wav_scheduler.py，https://github.com/yuekaizhang/faster-cosyvoice/blob/f1049c59196c2c1a890079abc56056b43f27cd1d/pyproject.toml，https://github.com/yuekaizhang/faster-cosyvoice/issues/1#issuecomment-6159597813

S5 作者4090、batch1/seed0/每配置warmup1、3prompts均值；图像1024²/Wan832x480x41；区分denoise和E2E，E2E不含加载/编码。无独立复现/方差尾延迟；native f16与Diffusers bf16非同算术，q8/w8不同；sd.cpp分层计时混入加载量化，不能取速度比。Qwen-Image-Edit auto-fit q4_K dirCLIP0.031/Lightning0.019对约0.13–0.14，明确质量失败。

来源：https://github.com/THU-MIG/edge-dit.cpp/blob/97cc585d9dbd9ac5e30b78ef2e2c4a0d8bfbe9f2/docs/performance-4090.md，https://github.com/THU-MIG/edge-dit.cpp/blob/97cc585d9dbd9ac5e30b78ef2e2c4a0d8bfbe9f2/src/core/backend/ggml/cuda/ed_async_offload.cu，https://github.com/THU-MIG/edge-dit.cpp/issues/86

S6 Two Arc Pro B70 32GiB each, Nanbeige4.3-33B author-modified Q6_K 27GB, --ctx65536 --thinking on. Prompt restore5250/5414tokens in6ms, prefill21.4→1.7s; repeated-text lookup77.6tok/s,515/539 drafts accepted. This is a repeated-content case, not general-agent throughput. One-card ctx8192 constrained. Docs explicitly say no request lanes (parallel N queues); one-card cache path near ties can change greedy output after50–80words. int8-kv keeps fp16 cache so no claimed VRAM saving.

来源：Red-Weasel/machx-inference-engine@d91c08e1e07ea07c72d16ad80b70d58f81bb5358，https://github.com/Red-Weasel/machx-inference-engine/blob/d91c08e1e07ea07c72d16ad80b70d58f81bb5358/docs/MODEL_SETTINGS.md，https://github.com/Red-Weasel/machx-inference-engine/blob/d91c08e1e07ea07c72d16ad80b70d58f81bb5358/include/ie/dense_lookup.hpp，https://github.com/Red-Weasel/machx-inference-engine/blob/d91c08e1e07ea07c72d16ad80b70d58f81bb5358/tests/unit/dense_lookup_policy_test.cpp，https://github.com/Red-Weasel/machx-inference-engine/issues/3

覆盖有限，不宣称全网穷尽。新颖性主要是系统组合/模型特化，不等于算法创新。

2026-11-01｜新仓库研究

研究窗口截至2026-11-01 08:30北京时间；08:38复核源码。4项值得验证，无强性能推荐；未执行任何模型/GPU/付费实验。

发布前 main：218565698d850e955f85d0d394a5f0e5e3619812；已排除历史5页/8评论及当前105个来源文件中的已有repo。

已有AB/BA、质量/预算、KV workbench与owner-frozen单对live launcher；不等于通用自主优化。

分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
model-specific / DeepSeek-V4-Flash；缓存与异步专家读取	把常驻专家计算与 SSD 缺页读取重叠，并批量合并专家请求。约40%继承 kimi-k3-in-c；新增价值主要在模型实现和独立 oracle，而非预取算法。	已读原始字节与整模型 oracle 测试、缓存/批量路径和撤回记录。没有同机强外部基线、完整质量任务或尾延迟证据；作者的微基准不能当 E2E 收益。	研究型 CLI；值得验证其校验/失败知识方法。未独立运行。	首见 2026-08-20；当前 d0402056，实质记录 08-25；11-01 核验，为历史新发现。	复用已有 offload/基准设计能力；候选补充是独立缓存读取 oracle、按剩余 miss 评估预取和热漂移反例，不新增自主搜索控制器。	S1 https://github.com/ronak-create/deepseek-v4-in-c
RSI测量/评测协议｜AutoTuneBench	提议→静态检查→执行→判定→保留；沿用OpenEvolve/KernelBench等。新增价值是测量反例和审计语料，不是新优化算法。	协议要求与执行代码存在差距；51/100正确、收益中位约1×对PyTorch eager，异常大收益隔离；不能作有效加速背书。	值得验证测量反例；未独立复现，不建议整体集成。	9-16 v1.0.0；head64cc8d7；实验9-12至15，为历史新发现。	P1：补处理是否实际生效、饱和与强baseline反例；复用当前质量/ABBA/预算/受限launcher。	S2 https://github.com/li-ch/autotunebench
语音流式 / NeMo-Speech.cpp：Nemotron ASR等C++运行时	ggml基础上的持久流式缓存、分块状态与重置测试；是runtime系统组合，非新的缓存算法。	作者给出WER/分块p99；Q8与FP32对照及重复次数不同，不能归因等质加速。HIP长音频和WebSocket负载问题仍开放。	值得验证；未独立复现，不作生产可用或速度背书。	7月建库；当前20999cc（10-30）。实验commit未锁。	P1：补流式reset/EOU/分块几何与长序列失败知识；复用既有评测，不新造自主搜索控制器。	S3 https://github.com/NVIDIA/NeMo-Speech.cpp
Decision/VLA / Embodied.cpp：SmolVLA等具身原生runtime	ggml原生量化与多阶段模型接口；相对已有vla.cpp，重点读闭环质量和完整请求测量契约，非新量化算法。	作者同边界308 vs491ms，但成功率83% vs86%、一任务9/20 vs20/20；不能称质量保持。	值得验证；延迟原始样本公开，闭环日志/dirty源码链不完整；未独立复现。	论文7-02，v3 8-09；实验9-30/10-02，main156bed（10-17）。不是今日实验。	P1：补全CPU观测→CPU动作边界、逐任务失败和质量门槛；先借用契约，暂不集成runtime。	S4 https://github.com/SEU-PAISys/Embodied.cpp

Now：优先学习独立oracle、状态重置与逐任务质量失败，四个项目均不代表已验证有效加速。

Next：复用现有质量/预算/比较器与受限launcher；#268仍是离线协调Draft，不重复造通用agent控制器。

Watch：历史实验不继承当前head；微基准、生成动作均摊时延、总体CI重叠不能代替E2E/质量非劣。

建议1（不执行）：1工程小时静态审计，比较AutoTuneBench协议与当前InferRSI严格校验，注入缺shape/错baseline/无处理回执；记录误放行、误拒和全成本，来源不明或重复现有门禁即停。

建议2（不执行）：固定小缓存fixture、偏移残差和工作集阈值，用独立字节oracle核DeepSeek读取；任何字节差或版本不全即停，后续模型性能另获授权。

建议3（不执行）：语音reset/EOU与VLA逐任务质量契约；先绑定实验源码和原始数据，等精度baseline、p95/p99、全搜索成本与预算预注册，质量退化立即停止。

证据索引

S1 [{"url": "https://github.com/ronak-create/deepseek-v4-in-c/blob/d0402056d0da4bf7edfd2d4977de479a0db9d201/tests/unit/test_cache.c", "fact": "Independent pread fixture comparison; misaligned tensor offset residues; residents unchanged during async misses."}, {"url": "https://github.com/ronak-create/deepseek-v4-in-c/blob/d0402056d0da4bf7edfd2d4977de479a0db9d201/tests/unit/test_model_oracle.c", "fact": "Actual-loader whole-model tiny independent PyTorch reference; async begin/end and ragged batch oracle code; not executed by us."}, {"url": "https://github.com/ronak-create/deepseek-v4-in-c/commit/d0402056d0da4bf7edfd2d4977de479a0db9d201", "fact": "Author 65-token route replay: previous-token predictions become cache hits above working-set threshold, not useful prefetch misses. Narrow trace/predictor/budget result; raw trace not located, not universal impossibility."}, {"url": "https://github.com/ronak-create/deepseek-v4-in-c/commit/08342537a5534d12ead4277d99b2d510b8ce50ba", "fact": "Author withdraws attention +13% regression and batch4 optimum due thermal/order drift. Deterministic cache-union cliff remains; no positive E2E conclusion."}, {"url": "https://github.com/ronak-create/deepseek-v4-in-c/commit/49a7af5b152d0147ae5291ca6ca79bd0fb65dcbe", "fact": "Current GPU batch implemented; component time 4.1/4.0s ->0.6/0.6s, paired TTFT 54.8/51.7->56.6/46.7(~3% mean) within noise; not E2E acceleration."}]

{"correct": "Code confirms O_DIRECT alignment and separate per-k reduction ordering, read overlap, independent pread fixture oracle and whole-loader tiny PyTorch oracle. Published README prefill/GPU statements stale; current CUDA includes k_mmq_fp8_n. Tiny fixture success does not establish full-model quality.", "solid": "Author records explicit repeated/interleaved checks and negative results, but not independently reproduced. No locked external same-machine comparison or broad quality/latency/cost package. Hardware exact CPU/SSD missing. Prior performance numbers do not transfer to head.", "timely": "Historical August project newly found November1. Head d0402056 is route-trace analysis, not new engine speed experiment. Aug25 GPU batch commit 49a7af5 and thermal retraction0834253 must supersede older README claims.", "novel": "Model-specific system combination and validation discipline, not independently established algorithm novelty. README acknowledges kimi-k3-in-c and existing colibri overlap/prefetch work. No original paper found.", "value": "Potential bounded evidence/quality test additions for existing inference-benchmark-design, weight-loading/offload/cache work. Need parent integrate current-main/inflight overlap; no claim current InferRSI lacks these generic mechanisms."}

版本/条件：{"head": "d0402056d0da4bf7edfd2d4977de479a0db9d201", "created": "2026-08-20T09:35:32Z", "last_substantive": "2026-08-25T10:49:32Z", "hardware": "Author: 20-core x86 AVX2/FMA (exact CPU absent), RTX5060 Laptop8GB sm120 CUDA13.3, WSL2 Ubuntu24.04 23GB VM, Gen4 NVMe5.3GB/s (exact drive absent)."}

限制：[]

来源：https://github.com/ronak-create/deepseek-v4-in-c/blob/d0402056d0da4bf7edfd2d4977de479a0db9d201/tests/unit/test_cache.c
https://github.com/ronak-create/deepseek-v4-in-c/blob/d0402056d0da4bf7edfd2d4977de479a0db9d201/tests/unit/test_model_oracle.c
ronak-create/deepseek-v4-in-c@d040205
ronak-create/deepseek-v4-in-c@0834253
ronak-create/deepseek-v4-in-c@49a7af5

S2 "Author Sep15 GB10 KernelBench L1 pass@1 deepseek-flash, 100 tasks, 51 admitted correct, median1.0001× against PyTorch eager, 2 >10× anomalies quarantined. Paper remeasurement claims0.60% median run-to-run deviation over53 candidates. A/B mingpt_gelu_tune20iterations/arm: profiler hints OFF2.4840ms vs ON2.4957ms best, shared saturated wall; null, not benefit. Do not put speedup numbers in summary without these limits."

{"correct": "Original paper links canonical repo; source and evidence tables available. Important implementation gaps qualify strong paper claims.", "solid": "Pinned engine images/commits, negative controls and raw evidence present. Author-only experiments; eager KernelBench baseline is not modern strong compiled baseline. No independent reproduction or production E2E gain established.", "timeliness": "Historical September artifact first discovered this run; do not label today's release. Experimental numbers stay bound to September software/hardware.", "novelty": "System measurement discipline and audit corpus, not novel optimizer. Closest prior art KernelBench, OpenEvolve/Astra, existing paired benchmarking. Global novelty not proven.", "value": "Read treatment-delivery failures and saturation/strong-baseline counterexamples; InferRSI already has frozen plans, AB/BA, hidden grading, budgets and bounded edits, so do not add redundant general gate/controller."}

版本/条件：{"head": "64cc8d7ca5d0ee40c4e2189b2c2c8dfb1a2a7c2f", "first_publication": "2026-09-16", "experiment_dates": "2026-09-12–15 historical pilot; paper v1 2026-09-16", "versions": "SGLang0.5.19@0bcd822377da7b5718e674eaf9c870d349424dd1; vLLM0.29.0@98dff2a81d747d1dba01a47f939f48c3526d4206; kernel GB10; held-out Apple M5 Max/MLX negative0.79× author-reported."}

限制：[]

来源：https://arxiv.org/html/2609.18123v1
https://github.com/li-ch/autotunebench/blob/64cc8d7ca5d0ee40c4e2189b2c2c8dfb1a2a7c2f/ARTIFACT.md
https://github.com/li-ch/autotunebench/blob/64cc8d7ca5d0ee40c4e2189b2c2c8dfb1a2a7c2f/config/protocol.yaml
https://github.com/li-ch/autotunebench/blob/64cc8d7ca5d0ee40c4e2189b2c2c8dfb1a2a7c2f/pdb/ingest_validate.py
https://github.com/li-ch/autotunebench/blob/64cc8d7ca5d0ee40c4e2189b2c2c8dfb1a2a7c2f/agents/loop.py
https://github.com/li-ch/autotunebench/blob/64cc8d7ca5d0ee40c4e2189b2c2c8dfb1a2a7c2f/experiments/kernelbench_l1/results/TABLE.md
https://github.com/li-ch/autotunebench/blob/64cc8d7ca5d0ee40c4e2189b2c2c8dfb1a2a7c2f/experiments/astra_parity/README.md
https://github.com/li-ch/autotunebench/blob/64cc8d7ca5d0ee40c4e2189b2c2c8dfb1a2a7c2f/figs/plot_cand_ab_saturation.py

S3 ["Open #98 reports long HIP audio hang from pinned ggml ARGSORT fallback; not independently reproduced and not a claim all backends fail.", "Open #73 describes websocket read drops under load and pending upstream-library fix; current main must not be described robust realtime serving.", "Optional model-backed geometry tests skip without a model; test source read is not a pass."]

{"correct": "Official NVIDIA ownership, fork=false, independent speech runtime using ggml/llama.cpp; cache-aware encoder source and geometry tests inspected. Not an alias/ordinary fork of prior llama.cpp entry.", "solid": "Bench entrypoints and WER/p99 exist. RTX4090 0.6B EN test-clean2620 utterances5.4h: 160ms chunks Q8_0 mean2.3ms/p992.8/WER2.66 versus NeMoFP32 mean20.7/p9922.7/WER2.69, AUTHOR REPORT ONLY. Different precisions, 3 cpp trials vs1 NeMo trial, baseline timing boundary and unlocked experiment revision prevent causal speed endorsement. TTS lacks perceptual quality evidence.", "freshness": "Current head Oct30; cache mechanisms preexisting, current runtime changed Oct28-30 incl SALM, no-voice decode and vendor BLAS. July repo is newly discovered, not newly launched. Benchmark update date not established.", "novelty": "Engineering composition around ggml/llama.cpp and existing NeMo models; strongest reusable point is per-stream ring/state geometry and reset/EOU testing, not novel model/cache algorithm.", "value": "Extend existing benchmark-design/failure evidence with streaming-session state invariants; likely compatible with existing harness contracts. Main architecture linkage must be finalized by parent, not claim an autonomous optimizer."}

版本/条件：{"current_sha": "20999cc921d2b14aa58708f61756a8b2e787ba20", "current_commit_date": "2026-10-30T08:44:44Z", "experiment_revision": "BENCHMARK.md does not pin implementation and baseline commit; do not transfer performance claims to current head"}

限制：["Open #98 reports long HIP audio hang from pinned ggml ARGSORT fallback; not independently reproduced and not a claim all backends fail.", "Open #73 describes websocket read drops under load and pending upstream-library fix; current main must not be described robust realtime serving.", "Optional model-backed geometry tests skip without a model; test source read is not a pass."]

来源：https://github.com/NVIDIA/NeMo-Speech.cpp/blob/20999cc921d2b14aa58708f61756a8b2e787ba20/BENCHMARK.md
https://github.com/NVIDIA/NeMo-Speech.cpp/blob/20999cc921d2b14aa58708f61756a8b2e787ba20/src/asr/encoder/cache_aware_encoder.cpp
https://github.com/NVIDIA/NeMo-Speech.cpp/blob/20999cc921d2b14aa58708f61756a8b2e787ba20/tests/cpp/asr/test_cache_stream_geometry.cpp
NVIDIA/NeMo-Speech.cpp#73
NVIDIA/NeMo-Speech.cpp#98

S4 ["6.161ms/generated action is latency divided by50, NOT control frequency or action response latency.", "VRAM1029 vs1671MiB is whole-device fallback in WSL, not process-only memory.", "Wilson CI overlap does not establish equivalence/noninferiority.", "Closed-loop raw artifacts are gitignored local outputs; report tables available but independent episode audit not established.", "Current-head code presence does not transfer old measured speed to current build."]

{"correct": "Paper author/project link resolves to SEU-PAISys/Embodied.cpp; fork=false. Source contains native VLA runtime and benchmark scripts. vla.cpp is explicitly nearest prior art, not an alias or rebranded version.", "solid": "RTX4060 Laptop sm89 WSL2, CUDA12.0/driver576.88, PyTorch2.5.1 CUDA12.4, LeRobot0.4.3 LIBERO0.1.0. Q8 native vs Python fixed 2 CPU CHW512 images/state8/instruction/noise50x32 -> full50x7 CPU actions, including preprocess/transfers/readback, cpp localZMQ.5warmup100timed20separate memory. AUTHOR REPORT:308.030ms mean/p99393.719 vs490.755/p99518.767. LIBERO-Object10tasks20episodes each166/200 vs172/200. Precision/runtime joint change, no quality equivalence.20episode per-task losses include9/20 vs20/20.", "freshness": "Current main Oct17 #15 includes SmolVLA followup; actual measurements Sep30/Oct2 and experiment hash distinct. Paper v3 Aug9 is background, not source of this later experiment.", "novelty": "Runtime/interface integration plus measured-contract hardening; no novel quantization claim. Nearest vla.cpp remains prior art only. Paper general ratios not recycled into this row.", "value": "Strong fit to inference-benchmark-design and fixed-workload audit evidence: separate generated-action division from control frequency, full request boundary, raw latency and task-specific quality failures. Reuse existing eval infrastructure; no need for new optimization controller."}

版本/条件：{"current_sha": "156bed151826780e2ce0132f8d0e3540889ae8cd", "current_commit_date": "2026-10-17T02:13:34Z", "experiment_revision": "3a3468cfe634e88d93d08aafcae89bd3ef0fb5a2; closed-loop2026-09-30/fixed-boundary2026-10-02. Closed-loop ran on dirty tree based dcedfec with binary hash but not full source patch identity."}

限制：["6.161ms/generated action is latency divided by50, NOT control frequency or action response latency.", "VRAM1029 vs1671MiB is whole-device fallback in WSL, not process-only memory.", "Wilson CI overlap does not establish equivalence/noninferiority.", "Closed-loop raw artifacts are gitignored local outputs; report tables available but independent episode audit not established.", "Current-head code presence does not transfer old measured speed to current build."]

来源：https://github.com/SEU-PAISys/Embodied.cpp/blob/156bed151826780e2ce0132f8d0e3540889ae8cd/eval/smolvla_q8_object_followup_20260930.md
https://github.com/SEU-PAISys/Embodied.cpp/blob/156bed151826780e2ce0132f8d0e3540889ae8cd/eval/VLA_BENCHMARK_STANDARD.md
https://github.com/SEU-PAISys/Embodied.cpp/blob/156bed151826780e2ce0132f8d0e3540889ae8cd/eval/smolvla_q8_fixed_boundary_20261002.json
https://github.com/SEU-PAISys/Embodied.cpp/blob/156bed151826780e2ce0132f8d0e3540889ae8cd/scripts/bench_vla_boundary.py
https://arxiv.org/html/2607.02501v3

模型/架构×runtime/serving×机制组合搜索，GitHub源码/commit/issues、原始论文、README/credits扩展；覆盖有限，不宣称全网穷尽。

[Research Radar] AI inference performance & RSI — daily categorized insights #177

Description

目标

分类维度

每日报告约定

与现有工作的边界

Activity

david6666666 commented on Oct 27, 2026

2026-10-27｜表格版：优先看 model-specific inference engine

1. 优先方向：为特定模型与工作负载设计执行引擎

2. 其他模型与 RSI 机制，保持分类

david6666666 commented on Oct 27, 2026

2026-10-27 补录｜Project Maya

Dong1017 commented on Oct 27, 2026

2026-10-27 补录｜JustGoal：知识与 harness 的价值必须通过对照证明

最重要的洞察：不要把“goal-only”误读为“不需要验证”

对 InferRSI knowledge / workbench 的具体启发

david6666666 commented on Oct 28, 2026

2026-10-28｜InferRSI 每日研究

主表：两项发布增量、一项历史补发现、一项昨日补录复核

观察区：尚未通过关键复现门槛

Now / Next / Watch

最小验证建议（未执行，执行另需授权）

证据索引

架构与覆盖

david6666666 commented on Oct 29, 2026

2026-10-29｜InferRSI 每日研究

重点阅读 / 值得验证

观察区

经典基线 / 当前状态纠偏

结论

小验证建议（不执行）

证据索引

架构与覆盖

david6666666 commented on Oct 30, 2026

2026-10-30｜InferRSI 每日研究

重点风险与验证候选

观察：语音的“快”必须先证明输出完整

三个结论与受控验证建议（仅提案）

david6666666 commented on Oct 30, 2026

2026-10-30 纠偏｜以后只报告首次发现、未入库的新 repo

补充发现的两个新 repo

david6666666 commented on Oct 31, 2026

2026-10-31｜新仓库研究

值得验证（不是生产推荐）

观察

证据索引

david6666666 commented on Nov 1, 2026

2026-11-01｜新仓库研究

证据索引

Metadata

Metadata

Assignees

Labels

Type

Projects

Milestone

Relationships

Development

Issue actions