llmfit でマシンが動かせる AI モデルを調べる方法（MacBook M1 と Glows.ai RTX 4090 で実測）

このチュートリアルでは、オープンソースツール llmfit を使って、モデルをダウンロードする前にマシンで動かせるオープンソースの大規模言語モデル（LLM）を判定する方法と、Ollama で実際にモデルを動かして llmfit の見積もりが正確かどうかを検証する方法を解説します。

検証は 2 つに分けて行います。メモリ 8GB の MacBook M1 と、Glows.ai 上の NVIDIA GeForce RTX 4090 インスタンスです。2 台で動かせるモデルのサイズ、速度、回答品質を比較します。

このチュートリアルの内容は以下のとおりです。

• 事前準備（llmfit と Ollama のインストール）
• llmfit の画面を知る
• MacBook 実測 1：Llama 3.2 1B
• MacBook 実測 2：Qwen3 4B（メモリ上限を超えた場合）
• Glows.ai RTX 4090 実測：Qwen3.6 27B
• 結果のまとめと活用のヒント

llmfit の紹介

llmfit はオープンソースのターミナルツールです。オープンソースのモデルは数万個あり、それぞれに複数の圧縮バージョンがあります。勘で選んでダウンロードすると、実行した途端にメモリ不足になったり、極端に遅かったりすることがよくあります。llmfit はマシンの CPU、メモリ、GPU を検出し、モデルをダウンロードする前に次のことを教えてくれます。

• そのマシンでモデルを動かせるか（Fit レベル）
• どの圧縮バージョンを選ぶべきか
• 1 秒あたり何トークン生成できるかの見積もり

llmfit は評価だけを行い、モデルは実行しません。実際にモデルを動かすには Ollama などのツールが必要です。モデルファイルは大きなデータのかたまりにすぎず、Ollama がそれをメモリに読み込んで回答を計算します。

事前準備

1. llmfit のインストール

macOS では Homebrew でインストールします。

brew install llmfit

Linux（Glows.ai のインスタンスなど）では公式のインストールコマンドを使います。

curl -fsSL https://llmfit.axjns.dev/install.sh | sh

インストール後、次のコマンドでバージョンを確認します。このチュートリアルでは llmfit 1.1.16 を使用します。

llmfit --version

2. Ollama のインストール

macOS では ollama.com からインストーラをダウンロードし、「アプリケーション」フォルダにドラッグして開きます。インストール後、バージョンを確認します。

ollama --version

3. 共通のテスト質問を用意する

公平に比較するため、このチュートリアルではすべてのモデルに同じ質問を使います。

Explain what a GPU is in about 150 words.

llmfit の画面を知る（MacBook M1 8GB）

1. llmfit を開く

次のコマンドを実行します。

llmfit

画面上部の 2 行は、llmfit が検出したハードウェアと実行ツールです。

• CPU / RAM / GPU：この MacBook M1 は 8GB のユニファイドメモリで、CPU と GPU が同じメモリを共有します
• RAM: X GB avail：現在実際に使えるメモリです。後の判断でとても重要になります
• Ollama / MLX / llama.cpp：検出されたモデル実行ツールです。このマシンにはどれもインストールされていないため X と表示されています

Ollama をインストール済みでも、ここには ✗ と表示されることがあります。llmfit の評価結果には影響せず、llmfit に内蔵された実測機能にだけ影響します。

2. 列の説明

3. Fit レベル

f を押すと Fit レベルでモデルを絞り込めます。レベルは 4 段階です。

Perfect：メモリ使用量が低く、コンテキスト長もフルに確保されます。

Marginal：メモリ使用量は 85%–92% で、多くのモデルが Q2_K や Q3_K_M まで圧縮され、コンテキスト長も大幅に短くなります。

Too Tight：メモリ使用量が 100% を超え、動作しません。このレベルで表示される速度は参考になりません。

4. 絞り込みと並べ替えで合うモデルを選ぶ

順に条件を設定します。f で Perfect、U で Chat、s で Score に切り替えると、先頭に並ぶのが「このマシンで最も快適に動くチャットモデル」です。1 位は unsloth/Llama-3.2-1B-Instruct-GGUF でした。

Score が最も高いモデルが最も賢いとは限りません。Score は「このマシンでのバランスのスコア」で、小さいモデルは速く、メモリにも余裕があるため、総合点が上位に来やすくなります。より賢いモデルが必要なら、Perfect の中でパラメータ数順に並べ替えて大きいモデルを選びます。ただし速度は遅くなります。

5. よく使うショートカット

ショートカットは大文字と小文字が区別され、別の機能になります。

MacBook 実測 1：Llama 3.2 1B

1. llmfit の評価を確認する

/ を押して llama-3.2-1b を検索します。同じモデルでも変換バージョンが多数あるので、Provider が unsloth のものを選びます。

選択して Enter を押すと詳細が表示されます。主な項目は次のとおりです。

• Fit Level：Perfect、Run Mode は GPU
• Baseline Est：見積もり 35.0 tok/s
• Mem Usage：22.7%（約 1.8GB / 8GB）
• Score Breakdown：品質 54、速度 88、適合度 100、コンテキスト長 100

スコアの内訳から、このモデルの特徴がわかります。動作が速くメモリにも余裕がありますが、品質スコアは低めです。

2. Ollama でモデルを実行する

次のコマンドを実行します。

ollama run hf.co/unsloth/Llama-3.2-1B-Instruct-GGUF:Q8_0 --verbose

モデル名の形式： hf.co/ + llmfit 上のモデル名 + : + 圧縮バージョン。Ollama は Hugging Face からモデルを直接ダウンロードします。llmfit 上のモデル名が GGUF 形式でない場合は、詳細ページ右側の GGUF Downloads で利用できるダウンロード元を探せます。

--verbose を付けると、回答のたびに速度の統計が表示されます。チャットを終了するには /bye を入力します。

ダウンロードが終わるとチャットが始まるので、まず hello と入力して試します。

3. 実測の速度と回答品質

テスト質問を入力すると、統計情報の eval rate が実際の生成速度です。42.53 tokens/s で、llmfit の見積もり 35 tok/s よりやや速い結果でした。

回答は流暢で文字数も適切ですが、内容に誤りがあります。モデルは GPU に「数十億個のコア」があると述べていますが、実際の GPU のコア数は数千から 1〜2 万個程度で、「数十億」はトランジスタの数です。これは llmfit が示した品質スコア 54 と一致します。

4. メモリ使用量を確認する

別のターミナルタブを開いて、次のコマンドを実行します。

ollama ps

SIZE は 1.5GB で、llmfit の見積もり約 1.8GB に近い値です。PROCESSOR は 100% GPU で、モデルが完全に GPU に読み込まれて動作していることを示します。

5. 見積もりと実測の比較

メモリに余裕があるとき、llmfit の見積もりはかなり正確で、やや控えめです。

MacBook 実測 2：Qwen3 4B（メモリ上限を超えた場合）

1. llmfit の評価を確認する

/ を押して qwen3-4b を検索します。公式の Qwen/Qwen3-4B-Instruct-2507 の評価は Fit Good、Mem 71%、見積もり 9.3 tok/s です。

実測には Ollama の公式モデルライブラリの qwen3:4b-q8_0 を使っています。llmfit 上の Qwen3-4B-Instruct-2507 と同じ 4B・8-bit で、メモリと速度の見積もりも同じなので、公式バージョンを参考にしています。

画面最上部に注目してください。RAM: 2.6 GB avail / 8.0 GB total です。表の 71% は総量 8GB で計算した値ですが、この時点で MacBook が実際に使えるメモリは 2.6GB しかありません。

2. 詳細ページでメモリ要件を確認する

Enter を押して詳細を表示します。Memory 欄に重要な情報が載っています。

• Rec RAM（推奨メモリ）：3.7GB ですが、現在使えるのは 2.6GB だけです。このため、その後の使用で大幅に遅くなる、あるいは固まる可能性が高いとわかります
• VRAM by Context：コンテキスト長 4K ですでに 5.1GB 必要で、GPU が使えるのは 5.3GB しかなく、ほぼ上限です
• Disk/quant：同じモデルの 4-bit 版なら 2.2GB で済みます

3. 実際の実行結果

次のコマンドを実行します。

ollama run qwen3:4b-q8_0 --verbose

hi と入力しただけで PC 全体が固まり、回答が完了するまでに約 12 分かかりました。速度はわずか 0.36 tokens/s で、見積もりの 9.3 tok/s より 25 倍以上遅い結果です。

原因はメモリ不足です。システムがディスクをメモリの代わりに使うため、速度が大幅に低下します。（Qwen3 はデフォルトで考えてから答えるため、画面には先に Thinking の内容が表示されます。）

ポイント： 一覧の Fit レベルはメモリの総量で計算されています。実行前に、詳細ページの Rec RAM と画面上部の使用可能メモリを比較してください。メモリ使用量が 7 割を超えるモデルは、小型ノート PC では他のプログラムを先に閉じるか、より圧縮されたバージョン（4-bit など）に切り替えるのがおすすめです。

Glows.ai RTX 4090 実測：Qwen3.6 27B

8GB の MacBook でスムーズに動かせるのは、おおよそ 1B〜3B のモデルまでです。より大きく賢いモデルを動かすには、より大きな VRAM が必要です。ここからは Glows.ai の RTX 4090 インスタンスでテストします。

1. インスタンスを作成する

Create New をクリックしてインスタンスの作成を始めます。

1. GPU Model で NVIDIA GeForce RTX 4090 を選択します（24GB VRAM、10 vCPUs、50GB RAM、0.490 Credit/h）
2. Official イメージで qwen を検索し、Qwen3.6 27B Q4 を選択します（Ollama と qwen3.6:27b モデルがプリインストール済み）
3. Complete Checkout をクリックしてインスタンスを作成します

インスタンスが正常に起動したら、インスタンスのページで Access > SSH Port 22 > SSH Command をコピー > Password を使用、の順に進み、SSH でインスタンスに接続します。

2. GPU とモデルを確認する

インスタンスに接続したら、次のコマンドを実行します。

nvidia-smi
ollama list

nvidia-smi では GPU が RTX 4090、メモリが 24564MiB と表示され、現在の使用量は 1MiB だけなので、まだモデルは読み込まれていません。ollama list では、イメージに qwen3.6:27b（17GB）がプリインストールされていることがわかります。

ollama list で could not connect というエラーが出る場合は、Ollama サービスが起動していません。先に次のコマンドを実行してから再試行してください。

ollama serve > ollama.log 2>&1 &

3. llmfit をインストールする

次のコマンドを実行します。

curl -fsSL https://llmfit.axjns.dev/install.sh | sh

4. llmfit の評価を確認する

次のコマンドを実行します。

llmfit

画面上部で NVIDIA GeForce RTX 4090（24.0 GB, CUDA） が検出され、Ollama は ✓（1 installed） と表示されます。MacBook と比べると、Score が最も高いモデルは 1B から 27B クラスに上がり、見積もり速度は約 40〜45 tok/s です。

CPU と RAM には物理ホスト全体の値（144 コア、755GB）が表示され、実際にレンタルしている 10 vCPUs、50GB ではありません。モデルの実行は主に GPU で決まり、VRAM 24GB は正しく検出されているため、評価結果には影響しません。

上位に並ぶのは AWQ、GPTQ、AutoRound 形式のものが中心です。これらは主に vLLM 向けで、Ollama では直接実行できません。

i を押すと、インストール済みのモデルが一番上に並びます。Qwen/Qwen3.6-27B は Inst 列にチェックが付いていますが、Fit は Marginal、Mem は 97% です。

Enter を押して詳細を確認します。

• Quantization：Q4_K_M。モデルのデフォルトバージョンで、イメージにインストールされているバージョンです
• Best Quant：Q6_K (for this hardware)。llmfit がこの GPU で最も品質が高いと判断したバージョンです

一覧の Marginal は、実際にインストールされている Q4_K_M（16.1GB） ではなく、Q6_K（22.2GB） で計算されています。Inst 列のチェックは「このモデルがインストールされている」ことを示すだけで、同じ行のその他の数値は llmfit が推奨するバージョンでの評価結果です。

5. 実際にインストールされている圧縮バージョンを確認する

次のコマンドを実行します。

ollama show qwen3.6:27b

quantization は Q4_K_M と表示されます。Capabilities の thinking は、このモデルがデフォルトで考えてから答えることを表します。

圧縮バージョン名は Q4_K_M を例にすると、Q4 は各パラメータを約 4 bit に圧縮したことを表し（数字が大きいほどファイルが大きく、品質も良くなります）、K は圧縮方式、M は Medium で、同じ bit 数の中での中間バージョンを表します。

6. 実測 A：イメージのデフォルト設定（コンテキスト長 32K）

次のコマンドを実行します。

ollama run qwen3.6:27b --verbose

チャットに入ったら、まず次のコマンドで思考モードをオフにしてから、テスト質問を入力します。

/set nothink

なぜ思考モードをオフにするのか？ Qwen3.6 はデフォルトで一度推論してから答えるため、簡単な質問でも大量の思考内容を生成します。MacBook の Llama 3.2 1B には思考モードがないので、オフにすれば両方とも直接回答になり、公平に比較できます。複雑な数学や推論の問題では、/set think と入力すると再びオンにできます。

回答品質は Llama 3.2 1B より明らかに優れており、GPU には「数千個のコア」があると正しく説明し、CPU と GPU の違いも明確に説明しています。しかし速度は 3.75 tokens/s しかなく、198 トークンに約 53 秒かかりました。

別のターミナルタブで ollama ps を実行します。

• SIZE：24GB。RTX 4090 をまるごと使い切っています
• PROCESSOR：12%/88% CPU/GPU。12% が CPU の計算に割り当てられています
• CONTEXT：32768。イメージのデフォルトのコンテキスト長は 32K です

モデルは本体のほかに、会話の内容を記憶する領域（KV cache）が必要です。コンテキスト長を大きく設定するほどこの領域も大きくなり、Ollama はモデルの読み込み時にその領域をまるごと事前に確保します。32K のコンテキスト領域と 27B のモデルを合わせると 24GB を超え、収まらない分は CPU で計算されるため、全体の速度が大幅に低下します。これは llmfit の詳細ページにある VRAM by Context にも対応しています。

7. 実測 B：コンテキスト長を 4K に調整する

Ollama のチャット画面で次のコマンドを実行します。

/set parameter num_ctx 4096

もう一度テスト質問を入力します。モデルが新しい設定で読み込み直され（load duration は約 14 秒）、速度は 40.04 tokens/s に回復しました。

もう一度 ollama ps を実行します。

SIZE は 22GB、PROCESSOR は 100% GPU、CONTEXT は 4096 で、モデルは完全に GPU に読み込まれています。

nvidia-smi を実行します。

GPU メモリの使用量は 22427MiB / 24564MiB で、ollama が使用しています。読み込み前の 1MiB と比べると、27B モデル 1 つで RTX 4090 のメモリをほぼ使い切り、残りは約 2GB だけです。

同じスペックの別のインスタンスで再テストしても、速度はやはり約 41 tokens/s で、結果は再現できました。

/set parameter num_ctx は今回のチャットにだけ有効で、終了して再実行するとイメージのデフォルトの 32K に戻ります。長い文書を読み込んだり長い会話をしたりする必要がある場合は、VRAM がより大きい GPU（たとえば 48GB の L40S）の利用をおすすめします。

8. テスト完了後にインスタンスを停止する

Glows.ai のインスタンスは利用時間に応じて課金されます。テストが終わったら、まず /bye を入力して Ollama を終了し、My Instances でインスタンスを停止または削除して、課金が続かないようにしてください。

結果のまとめ

1. 実測結果の比較

2. MacBook と RTX 4090 の比較

モデルのサイズは 20 倍以上違うのに、速度はほぼ同じで、回答品質は明らかに向上しています。

3. コストの見積もり

RTX 4090 インスタンスは 0.490 Credit/h です。実測の 40.04 tok/s で連続生成した場合、1 時間あたり約 14.4 万トークンを生成でき、100 万トークンの生成に約 3.4 Credit かかります。

これは 1 人が連続して生成した場合の見積もりで、実際のコストは使い方によって異なります。

4. llmfit を使う際のヒント

1. まず Fit、次に Mem %：Perfect か Good を優先し、Mem % は 70% 以下が安全です
2. Score が高い＝最も賢いとは限らない：Score はそのマシンでのバランスのスコアです。より賢いモデルが必要なら、パラメータ数の大きいモデルを選びます
3. 圧縮バージョンを確認する：llmfit は推奨バージョンで計算するため、インストールしたバージョンとは限りません。ollama show で quantization を確認し、詳細ページの Disk/quant と照らし合わせます
4. 実際の使用可能メモリを確認する：一覧はメモリの総量で計算されています。実行前に、詳細ページの Rec RAM と画面上部の使用可能メモリを比較します
5. コンテキスト長は VRAM を消費する：速度が異常に遅いときは、まず ollama ps で PROCESSOR が 100% GPU か確認し、必要なら num_ctx を下げます
6. クラウドのインスタンスでは VRAM を基準にする：llmfit が読み取る CPU と RAM は、物理ホスト全体の値の場合があります
7. 最後は必ず実測する：llmfit はモデルをすばやく絞り込めますが、実際の性能は動かして検証する必要があります

お問い合わせ

Glows.ai の利用中に質問やご意見がある場合は、email、Discord、Line からお問い合わせください。

Email: support@glows.ai

Discord: https://discord.com/invite/glowsai

Line: https://lin.ee/fHcoDgG