Skip to content

bench: dual V100 official usage comparison with Strata v0.1.42 - #8

Merged
MistVVK merged 3 commits into
MistVVK:mainfrom
koshikawa-masato:codex/v100-official-bench-0142
Oct 11, 2026
Merged

MistVVK merged 3 commits into
MistVVK:mainfrom
koshikawa-masato:codex/v100-official-bench-0142

Conversation

@koshikawa-masato

Copy link
Copy Markdown

This follows the request in #3 to remeasure using the new benchmark implementation.

XeStrata xe0.1.40.2.2 vs Strata v0.1.42, same-day runs on Ryzen 9 9950X / 128 GB RAM / 2× V100 PCIe 32 GB at 150 W each. IQ3_S, 32K, INT8 KV, MTP spec 4 / min-p 0.5, 24+24 layers, two slots / one active request.

Measurement Strata v0.1.42 XeStrata xe0.1.40.2.2
Japanese decode (tok/s) 79.2 68.2
English decode (tok/s) 88.5 80.5
Agent decode (tok/s) 87.2 75.6
Japanese TTFT (s) 0.64 0.96
Agent TTFT (s) 4.53 5.29
Agent prefill (tok/s) 876 743

Uses unmodified tools/bench_core.py ab_usage, conversations, sampling and aggregation: two alternating rounds, warm-ups excluded, all 68 measured turns completed.

Method caveat: this is not an unmodified --bench --original-strata invocation. At the measured tag, bench.py usage_cfg drops split_pci, layer_split, parallel and env during comparison, and upstream preparation selects the first GPU. Complete per-engine configurations were passed directly to official ab_usage to preserve the dual-GPU setup. No standalone generate/serve tiers, concurrency load test or quality evaluation.

Includes Japanese/English reports, commits and conditions, actual sanitized configs, per-turn records, and sanitized engine logs. XeStrata reports a two-GPU split and oneMath (cuBLAS) / joint_matrix. These logs alone do not establish the cause of the slowdown. No engine changes.

Validation: all 68 turns completed; maximum GPU core temperature 52 C. Markdown, offline links, spelling, secret scan and whitespace checks passed for added report files. Repository-wide REUSE still reports pre-existing missing notices in docs/BATCHING.ja.md, BENCH.ja.md, DETAILS.ja.md, MULTIGPU.ja.md, ORCA.ja.md and XE.ja.md; new files are covered. Production services restored.

@MistVVK

MistVVK commented Oct 10, 2026

Copy link
Copy Markdown
Owner

ありがとうございます。

マルチGPU関係は雑に作っただけなので遅いと思います。
おまけにVoltaの特徴的な欠け方(DP4aがない)というのも対応を難しくしてます。

これからリモートマルチGPU対策をしようかなと思っているので、今後ともどうかよろしくお願いします。

P.S.
推測で書いたVoltaコードが合っているかのチェック目的に1GPUのスコアのほうが知りたいです。

@koshikawa-masato

Copy link
Copy Markdown
Author

ご依頼のV100 1枚のスコアを、このPRに追加しました。

GPU0(PCIeが速い方)だけを使用し、150 W・IQ3_SでXeStrata xe0.1.40.2.2とStrata v0.1.42を同日に交互に各2回測定しています。公式の ab_usage / ab_generate を使いました。

測定 Strata v0.1.42 XeStrata xe0.1.40.2.2
日本語 decode 65.1 tok/s 64.9 tok/s
英語 decode 78.8 tok/s 76.6 tok/s
agent decode 77.5 tok/s 72.2 tok/s
日本語 TTFT 0.54 s 0.68 s
agent prefill 1,029 tok/s 937 tok/s
1K generate decode 78.9 tok/s 80.0 tok/s
1K generate prefill 693 tok/s 679 tok/s

1GPUでは日本語と短い固定入力のdecodeはかなり近い結果でした。会話は32K・1枠(前の2GPU測定は2枠)、実際の同時リクエストは1本です。本家のデフォルトのPCIe自動調整とroute tail skipは有効のままです。

Voltaコード確認の参考として、--spec-follow のargmax差も記録しています。XeStrataは2回とも7/256、通常版自身の追従は0/256でした。異なるエンジンと既定値なので、これだけで不具合や品質低下とは判断していません。

カーネル診断の生ログ、起動経路、ターン別記録も添付しました。既定のdense-bf16は約2,726 us、no-xmxは約22,512 usでした。経路ラベルはcuBLAS / joint_matrixと出ますが、命令レベルの検証ではありません。

日本語レポート / English report

@MistVVK
MistVVK merged commit 5d4eca3 into MistVVK:main Oct 11, 2026
MistVVK added a commit that referenced this pull request Oct 11, 2026
…ィの記録)

koshikawa-masato(コミットは ponzu0147)の 5b41331・91d1a8a65 をそのまま取り込む。
bench/results/2026-10-11-community-v100-x2-official-usage の記録だけで、
エンジンのコードは変えない。次のリリースで main に入ると、GitHub の PR #8 は
マージ済みになる。
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

3 participants