GPU リージョンを選び、デプロイを再現可能にする方法

リージョン選定は距離だけの問題ではありません。利用可能な GPU、データの置き場所、利用者からのレイテンシ、ストレージ、法務・セキュリティ要件、障害時の移行をまとめて確認します。

比較と再現の手順

1. 対象リージョンで同じモデル、GPU、イメージ、入力セットを用意する。
2. TTFT、p95、スループット、失敗率、転送時間を測る。
3. 選んだ GPU、リージョン、イメージ ID、model revision、依存関係、環境変数名、公開ポートを manifest に残す。
4. 永続データを別に保持し、クリーンなインスタンスで再構築できることを確認する。

地域やデータ所在地について推測で約束しないでください。現在の checkout と契約条件を確認し、要件が変われば測定を更新します。