Sep 14, 2025·11:00 AM

Glows.ai で GPUStack を実行する方法

チュートリアル

このチュートリアルでは、Glows.ai で NVIDIA GeForce RTX 4090 GPU をレンタルし、GPUStack を実行する手順を説明します。

扱う内容は次のとおりです。

Glows.ai でのインスタンス作成
GPUStack を使った任意のモデルサービスのデプロイ
コードからのデプロイ済みモデル呼び出し
Auto Deploy オンデマンドモードの概要

GPUStack の概要

GPUStack は AI モデルを実行するためのオープンソース GPU クラスター管理ツールです。NVIDIA CUDA や Apple Metal などの GPU、LLM、VLM、画像モデルなどのモデル、vLLM や Ascend MindIE などの推論バックエンドに対応しています。複数バージョンのバックエンドを同時に実行でき、単一ノードまたは複数ノードでのマルチ GPU 推論、自動障害復旧、負荷分散、リアルタイム GPU 監視も利用できます。

GPUStack はさまざまな GPU、モデル、推論バックエンドを組み合わせ、異種 GPU 間で分散推論を実行できます。既存アプリケーションと連携しやすい OpenAI-compatible API も提供しています。

主な機能：

複数の GPU プラットフォームに対応（NVIDIA CUDA、Apple Metal など）
複数のモデル形式に対応（LLM、VLM、画像モデルなど）
複数の推論バックエンドに対応（vLLM、Ascend MindIE など）
複数バージョンのバックエンドを並行実行し、単一ノードまたは複数ノードでマルチ GPU 推論を実行
自動障害復旧、負荷分散、リアルタイム GPU 監視

同種のツールと比べて、GPUStack には次の特徴があります。

多様な GPU とモデルに対応
柔軟なバックエンド連携
異なるベンダーの GPU を組み合わせた分散推論
連携を簡単にする OpenAI-compatible API

インスタンスを作成する

Glows.ai にログインし、用途に合わせて新しいインスタンスを作成します。公式チュートリアルを参照してください。
Create New ページで次の項目を設定します。
- Workload Type：Inference GPU -- 4090 を選択
- Image：公式の GPUStack (img-rgqwxrpy) イメージを選択。GPUStack サービスが設定済みで、ポート 80 で待ち受けます。

Datadrive を使う（任意）

Datadrive は Glows.ai のクラウドストレージサービスで、インスタンス作成前にデータ、モデル、コードをアップロードできます。作成時に Mount をクリックすると Datadrive が接続され、直接読み書きできます。このチュートリアルでは推論サービスだけを扱うため、Datadrive のマウントは任意です。

設定後、Complete Checkout をクリックしてインスタンスを作成します。