LLM のレイテンシとスループットをベンチマークする方法

ベンチマークは「速い」という主張ではなく、利用者の要件に対する再現可能な測定です。同じモデル revision、GPU、リージョン、推論エンジン、入力セット、同時実行数を固定します。

最低限記録する指標

• time to first token (TTFT)
• end-to-end latency と p50/p95/p99
• 出力 token/秒、総 token/秒、成功率
• 同時実行数、入力/出力 token 数、queue 時間
• GPU 利用率、VRAM、モデル、ランタイム、リージョン

短い単発リクエストだけでは本番品質を示せません。warm-up 後に代表的な入力を繰り返し、複数の concurrency で測ります。失敗、timeout、切り捨て、品質低下も結果です。

目標を先に決めます。例えば「p95 が X 秒以下、成功率 Y% 以上、品質評価を通過」のようにし、条件を変えた測定を同列に比較しないでください。