オープンモデル向け GPU と量子化の選び方

GPU 選びはパラメータ数だけでは決まりません。重み、KV キャッシュ、推論エンジンのオーバーヘッド、一時テンソル、同時実行数を合計し、代表的なプロンプトで検証します。

選定手順

1. モデルカードでパラメータ数、対応精度、推奨ランタイムを確認する。
2. 重みのメモリを概算する。FP16 は概ねパラメータ当たり 2 bytes、INT8 は 1 byte、INT4 は 0.5 byte が出発点です。
3. KV キャッシュ、ランタイム、余裕領域を加え、目標コンテキスト長と同時実行数で再計算する。
4. 目的の GPU、量子化、モデル revision を固定し、実測ピーク VRAM と品質を記録する。

量子化の判断

量子化は重みの容量を減らしますが、品質、速度、対応演算子、KV キャッシュを自動で解決するものではありません。同じ評価セットで精度・レイテンシ・失敗率を比べ、必要な品質を満たす最小の構成を選んでください。

実運用で確認すること

GPU 名、VRAM、リージョン、モデル revision、推論エンジン、context length、batch/concurrency、量子化形式、ピーク VRAM、エラーを残します。OOM が出たら、モデルだけでなく context と同時実行数も下げるか、より大きな GPU で再試験します。

次は Glows.ai Cloud GPU Customer Playbook で、選定からコストと検証までをつなげてください。