🔥 L40s Server Is Now Live – Just 0.83 credits/hr!
Glows.ai

Ollama と DeepSeek がプリインストールされた GPU クラウド?まずイメージを確認

クラウド GPU
Ollama
DeepSeek
LLM 推論

Ollama と DeepSeek がプリインストールされた GPU クラウド?まずイメージを確認

Ollama と DeepSeek がプリインストールされた GPU クラウドを探しているなら、イメージの内容を、推論サービスのランタイムとモデルの重みの二つに分けて確認してください。Glows.ai は Ollama イメージと、それとは別の DeepSeek イメージを掲載しています。Glows.ai はモデルがインストール済みの Ollama イメージと、すぐに使える DeepSeek-R1 イメージを提供しているため、構築済みの環境から始められます。

簡単な確認を行えば、この違いを踏まえた明確な起動計画を立てられます。接続先サーバーを特定し、モデル一覧を調べ、適したモデルを選び、API の公開や同時実行数の増加に進む前に一つのリクエストを検証しましょう。

イメージの説明をデプロイの出発点として読む

Glows.ai のカタログには、Ollama フレームワークのイメージと、Open WebUI を組み合わせた Ollama が含まれます。別途、DeepSeek-R1 32B (Q4)、DeepSeek-R1 70B (Q4)、DeepSeek-R1-Distill-Llama 70B も掲載されています。選んだ項目によって、起動後に確認すべき内容が決まります。

Ollama のランタイムとモデル管理フローを使いたい場合は、Ollama イメージを選びます。掲載されたモデルとソフトウェアが目的のタスクに合う場合は、DeepSeek アプリケーションイメージを選び、その推論エンジンを確認してください。DeepSeek というラベルだけでは、Ollama との互換性や特定の API 形式は判断できません。

カタログは環境の説明であり、すべての GPU に対する互換性テストではありません。正確なイメージ、利用可能なハードウェア、モデル要件を合わせて確認してください。Glows.ai はインスタンスの確認と管理に SSH と JupyterLab を利用できます。その他のツールは選択したイメージによって異なります。

1. ランタイムと接続先サーバーを確認する

Ollama CLI がインストールされたシェルで、設定されている OLLAMA_HOST の値も含め、CLI がどのサーバーを対象にしているかを確認します。その後、バージョン、モデル一覧、ロード済みモデルを調べてください。

bash
ollama --version
ollama list
ollama ps

各コマンドが何を調べるかに沿って結果を読み取ります。

コマンド意味
ollama --versionOllama のバージョン情報を表示する。報告されたサーバーバージョンと、クライアントとサーバーのバージョン不一致の警告を確認する
ollama listCLI が接続している Ollama サーバーに登録されているモデルを一覧表示する
ollama ps接続先サーバーが現在ロードしているモデルを、取得可能なプロセッサー情報とともに表示する

ollama list にモデルがあることは、ターミナルを開いているマシンに重みが保存されている証拠にはなりません。別のサーバーと通信している可能性があります。また、ollama ps が空でも、モデルが未ダウンロードとは限りません。モデルが存在していても、ロードされていない場合があります。

CLI がサーバーに接続できない場合は、まずサービスの状態、ログ、接続設定を確認します。すぐに別のコピーをインストールしたり、別のプロセスを起動したりすると、元の問題を解明しないまま新しい問題を生む可能性があります。

2. 対象の DeepSeek モデルを特定する

「DeepSeek-R1」は、大きく異なるデプロイを指すことがあります。完全版の R1 は大規模な Mixture-of-Experts モデルです。R1 の蒸留モデルは、R1 が生成した推論例を使って学習した、より小さな別のモデルです。完全版を単に低精度化したコピーではありません。

量子化も別の区別です。Q4 というラベルは、精度を下げた重みの表現を示します。モデルのアーキテクチャ、推論エンジン、コンテキスト容量、タスクでの品質のすべてを説明するものではありません。同じデプロイで蒸留と量子化の両方を使うこともあります。

再現可能な構成にするため、完全なモデル ID、パラメータ規模、該当する場合はベースモデルの系統、量子化方式、推論エンジンを記録します。モデルカードとライセンスも確認してください。これらのカタログ項目は特定の 32B と 70B のデプロイを示しており、完全規模の R1 モデルは掲載していません。

3. モデル一覧に必要なものがない場合だけダウンロードする

Ollama を使う構成を選び、接続先サーバーに目的のモデルがない場合は、ダウンロード前に現在の Ollama ライブラリのタグを確認してください。ディスク容量、アクセス条件、GPU 要件も先に確認します。

コマンドを実行する前に、下記のプレースホルダー文字列を、確認済みのモデルタグに置き換えてください。

bash
MODEL_TAG='REPLACE_WITH_VERIFIED_OLLAMA_MODEL_TAG'
ollama pull "$MODEL_TAG"
ollama run "$MODEL_TAG" 'Explain a stack and a queue in two short sentences.'

pull は接続先の Ollama サーバーにモデルの取得を要求します。run はそのサーバーに、選択したモデルをロードしてサンプルのプロンプトに回答するよう要求します。どちらのコマンドも、デスクトップ上のファイル保存場所を確定するものではなく、別途掲載されたアプリケーションイメージを Ollama イメージに変換するものでもありません。

その後、ollama list と ollama ps を再度確認します。応答が成功したからといって、ワークロード全体が GPU 上で実行されたと考えず、実際に使われたプロセッサーを確認してください。自分のデプロイで得られた応答と所要時間を記録します。

4. 重み、コンテキスト、同時リクエスト数に合わせて容量を計画する

重みのサイズは推論メモリの一部にすぎません。ランタイムにも作業領域が必要であり、アテンションキャッシュの要件はコンテキスト長や同時リクエスト数とともに増えます。モデルのロードに成功しても、長いプロンプトや高い負荷では失敗する場合があります。

短いリクエスト一つと、稼働中のモデル一つから始めます。タスクに適したコンテキストの目標を設定し、同時実行数を増やす前にテストしてください。モデルタグ、量子化方式、プロンプト長、出力長、ランタイムのバージョン、GPU、観測したメモリ使用量を記録します。

量子化は重みのメモリ使用量を減らせますが、小さな蒸留モデルを選ぶとモデル自体が変わります。アプリケーションの例を使って回答品質を評価してください。GPU の時間単価が低くても、必要な時間内に許容できる出力を得られる構成でなければ役立ちません。

セルフホスト型 LLM API では、同時リクエスト、最初のトークンまでの時間、応答完了までのレイテンシー、失敗率も確認します。別の推論スタックがワークロードに適している場合に備え、Glows.ai は vLLM イメージも掲載しています。選択前に、同じモデルとトラフィックの前提でエンジンを比較してください。

5. アプリケーションを接続する前にサービスを保護する

まず、管理された開発用接続でアクセスを検証します。セルフホストした Ollama サーバーのローカル API は認証を要求しないため、個人利用では SSH トンネル経由で接続してください。HTTP サービスを公開する前に、待ち受けアドレス、ポートマッピング、認証、ネットワークアクセス制限を確認してください。クライアントライブラリに API キーの入力欄があっても、サーバーがそのキーを検証している証拠にはなりません。

モデルサービスの URL やシークレットを、公開ノートブックやスクリーンショットに含めないようにします。リクエストが失敗したら、接続エラーとモデルのロードエラーを分けてください。サービスに到達できること、認証に成功すること、モデルが応答を完了することは、それぞれ別の確認項目です。

アプリケーションが使う API 機能を検証します。OpenAI 互換インターフェースは、すべての API 動作を再現せず、一部の有用な操作をサポートする場合があります。ストリーミング、構造化出力、ツール呼び出しが必要なら、それぞれ個別にテストしてください。

6. コストと復旧方法を明確にする

Glows.ai のインスタンス GPU 計算リソースは秒単位で課金されます。ダウンロード、起動、トラブルシューティング、アイドル状態でのサービス待機も、課金対象のインスタンス時間を使う場合があります。モデルのアンロードはランタイムのメモリを解放しますが、インスタンスの課金停止を意味しません。セッションを閉じる際は、リソースの実際の課金状態を基準にしてください。

正確なイメージ ID とモデル ID、ランタイム構成、依存関係のバージョン、小さな検証用リクエストを保存します。インスタンスを解放すると、Ollama でダウンロードしたモデルを含め、インスタンスのディスク上のデータは消去されます。必要なものは Datadrive に保存するか、解放前に Snapshot を作成してください。リモートサーバーの一覧にあるモデルは、その重みのバックアップではありません。

最終的には、どのイメージがランタイムを提供し、どのサーバーがモデルを保持し、どのハードウェアが実行し、認証済みのアプリケーションがどうアクセスするかを説明できるデプロイにします。そこから、自分のワークロードで得られた証拠をもとに、コンテキストとリクエスト負荷を増やしてください。

Glows.ai
すべてのサービスは正常に稼働中
ISO/IEC 27001:2022 Certified
  • Twitter
  • Github
  • Discord
© 2026 Glows.ai - All rights reserved.