適用於 vLLM 與 ComfyUI 的 GPU 雲端:效能與成本
適用於 vLLM 與 ComfyUI 的 GPU 雲端:效能與成本
選擇適合 vLLM 與 ComfyUI 的 GPU 雲端時,應比較記憶體是否足夠、軟體相容性、有效吞吐量,以及完成工作負載的成本。vLLM 處理語言模型請求,ComfyUI 則執行以節點組成的生成工作流程。適合其中一種工具的配置,不一定也適合另一種。
Glows.ai 適合希望在按秒計費的隨需 GPU 上,自行設定這些工具的開發者。映像目錄包含 vLLM 環境與 ComfyUI 映像,其中也有 FLUX.1-Kontext。先選擇符合工作負載的映像與 GPU,再量測延遲、輸出品質與完整執行成本,之後才擴大規模。
1. 依工作負載選擇雲端配置
兩種工作負載都需要足夠的 GPU 記憶體,但使用方式不同。vLLM 的模型權重會與鍵值快取及執行時緩衝區共用記憶體;上下文長度與並行請求數都會影響需求。ComfyUI 工作流程則可能載入多個模型與中間張量;解析度、批次大小、影片長度及自訂節點,都可能改變記憶體使用峰值。
| 需求 | vLLM | ComfyUI |
|---|---|---|
| 記憶體容量 | 模型權重、KV 快取、執行時緩衝區及並行請求 | 已載入的模型、中間張量、解析度及工作流程階段 |
| 有效效能 | 在所需延遲目標內,成功產出的 token 吞吐量 | 在要求品質下,每單位時間產出的合格圖片或影片數 |
| 啟動與 I/O | 載入權重並準備推論服務執行環境 | 載入檢查點、自訂節點、輸入媒體,以及處理輸出檔案 |
| 存取方式 | 應用程式向推論服務 API 傳送請求 | 使用者在瀏覽器編輯工作流程,或由用戶端提交排隊工作 |
選擇試跑配置時,應為實際工作負載保留記憶體餘裕。RTX 4090 配備 24 GB VRAM,可作為容量足夠時的入門選項;A100 80GB 與 H100 80GB 則提供更大的記憶體容量。不要只依 GPU 記憶體,就推斷確切可執行的模型大小、上下文上限或圖片生成能力。
若計畫在同一個實例上同時運行 vLLM 與 ComfyUI,應量測兩者合計的記憶體與資源需求。分開使用實例,能讓資源競爭、排程與各工作負載的成本更容易管理。多張 GPU 不會自動形成單一共用記憶體池。
2. 比較實例價格與完成工作的成本
Glows.ai 隨需實例價格 · 美元/GPU 小時
| NVIDIA GPU | 費率 | 需要驗證的項目 |
|---|---|---|
| RTX 4090 · 24 GB VRAM | $0.49 | 在預定上下文或工作流程設定下,記憶體是否足夠 |
| L40S | $0.83 | 可用配置與實測工作負載吞吐量 |
| A100 80GB | $1.20 | 記憶體餘裕與總執行時間 |
| RTX PRO 6000 | $2.30 | 估算所需規格前,確認可用版本與 VRAM |
| H100 80GB | $2.59 | 版本、GPU 數量,以及效能是否足以抵銷每小時費率 |
運算資源按秒計費。RTX 5090、H200 或 B200 的供應情況與價格,以及大量 H100 報價,請聯絡 Glows.ai。開始執行前,請確認最新費率與配置。
這些是隨需 GPU 實例費率,不是託管式無伺服器端點或 token 的價格。若要使用 Inference on Cloud 部署,應另外確認支援的模型與執行環境、擴縮行為及適用的計費方式。使用 AutoDeploy 時,平台會在收到請求時自動建立實例,閒置一段時間後釋放,避免閒置時持續產生運算費用。釋放後的第一個請求會有冷啟動時間。
GPU 運算成本 = Σ(GPU 數量 × 每 GPU 小時費率 × 計費時數)
將需付費的載入、閒置時間、失敗嘗試與重試納入運算費用,再加上另行計費的儲存、資料傳輸及其他服務,詳細條款以正式服務協議為準。
對 vLLM,應呈現每百萬個成功輸出 token 的成本,並一併提供輸入/輸出長度分布及延遲目標。對 ComfyUI,則應在固定解析度與品質設定下,呈現每張合格圖片或每部合格影片的成本。即使失敗的工作沒有產生可用輸出,也必須將其費用納入計算成本的分子。
舉例來說,一張 RTX 4090 以每 GPU 小時 $0.49 計費兩小時,GPU 運算成本為 $0.98。若這次假設執行產出 100 張合格圖片,每張圖片的運算成本就是 $0.0098。產出數量只是示意假設,並非基準測試結果;計算未包含儲存與其他費用。
3. 依記憶體與延遲目標調整 vLLM
vLLM 使用分頁式 KV 快取管理與連續批次處理等技術,提高推論服務效率。實際效益取決於模型、請求組合、硬體及執行設定。增加並行請求數可能提高整體吞吐量,同時增加排隊時間與尾端延遲,因此兩者都應量測。
-
固定比較條件:記錄模型與斷詞器版本、精度或量化方式、最大上下文、輸入/輸出長度,以及推論服務執行環境版本。部署前先確認模型與量化方式是否受支援。
-
量測預填與解碼:逐步增加並行請求數,同時追蹤首個 token 的回應時間、輸出 token 吞吐量、p50/p95 延遲、錯誤與 VRAM 使用峰值。請使用能代表實際應用的請求組合。
-
有目的地使用平行處理:張量平行能將受支援的模型分散到多張 GPU,但通訊開銷與互連方式也很重要。獨立副本可以處理更多請求,卻不一定能降低單一請求的延遲。
受支援的 vLLM 推論服務配置可提供相容於 OpenAI 的 API,但仍須確認特定 API 功能的相容性。vLLM 預設不需要金鑰就能呼叫。啟動時加上 --api-key <你的金鑰>,沒帶金鑰的請求就會被拒絕。
4. 建立可重複執行的 ComfyUI 工作流程
-
選擇並驗證映像。選擇適合工作流程的 ComfyUI 映像。一併確認 ComfyUI、Python、CUDA、PyTorch、自訂節點及模型版本;目錄中有映像,不代表所有 GPU 與映像組合都可用。
-
設定存取方式。使用 SSH 或 JupyterLab 進行設定。ComfyUI 使用 8188 port,本身沒有登入機制。個人使用時,建議透過 SSH 通道連線:複製實例 Access 頁上的 SSH Command,在
ssh後加上-L 8188:localhost:8188,例如ssh -L 8188:localhost:8188 -p <SSH port> root@<主機>。登入後保持連線,再用瀏覽器開啟http://localhost:8188。VNC 是否可用,取決於所選映像。 -
儲存完整工作流程。記錄工作流程圖、模型識別資訊、自訂節點版本、種子、取樣器、步數及媒體尺寸。實例釋放後,實例硬碟上的資料會被清除。模型與輸出檔請存放在 DataDrive;已安裝的套件與環境設定,請在釋放前用 Snapshot 保存。
分別量測冷載入與暖機後的執行時間。調整精度、注意力運算核心或平行工作數前,先分析個別節點與 I/O;每次調整後都重新檢查輸出品質。透過 API 或無介面模式執行,可自動提交工作,但本身不提供身分驗證。
5. 擴大規模前,先執行具代表性的試跑
保持工作負載固定,每次只變更一項配置。對 vLLM,應在相同品質與延遲要求下比較請求組合及並行請求數。對 ComfyUI,應使用相同工作流程、模型檔案、尺寸與取樣設定。記錄成功輸出、失敗情況、記憶體使用峰值、總計費時間及適用的服務費用。
納入冷啟動、閒置期間與實際資料載入情境,不要只量測暖機後的核心處理迴圈。重複試跑以確認波動情況。如果最佳化沒有改善效果,應調查記憶體壓力、運算、排程、I/O 與網路限制,不要直接假設只有某一項瓶頸。
共同作業時,Glows.ai Team 可將 GPU 資源、環境、資料集、權限與配額集中到同一個工作空間。請先約定工作負載的負責人與預算上限。若託管端點更適合需求,應另外評估 Inference on Cloud;將自行管理的執行環境遷移過去前,先確認相容性與使用條款。
常見問題
Glows.ai 同時提供 vLLM 與 ComfyUI 映像嗎?
是的。映像目錄列有 vLLM 環境與 ComfyUI 映像,包括搭配 FLUX.1-Kontext 的 ComfyUI。請依所選模型或工作流程,確認目前可用映像的配置、相依套件與 GPU 相容性。
應該先試哪一種 GPU?
先選擇能容納完整工作負載、且保有餘裕的配置。RTX 4090 24 GB 每 GPU 小時自 $0.49 起。若記憶體不足,可比較 A100 80GB 或 H100 80GB 等較大記憶體選項,再量測有效產出的成本,而不是假設固定的加速倍數。
應該選擇常駐實例,還是自動擴縮推論?
比較具代表性的流量模式、延遲需求與完整費用。常駐實例讓你掌控持續運作的環境;自動擴縮服務則可能有助於處理變動需求。請確認冷啟動行為、最低資源量與計費條款,不要先假設其中一種必然更便宜。
可以直接公開 ComfyUI 或 vLLM API 嗎?
應先設定適當的身分驗證與受限制的網路存取。瀏覽器介面、公用 IP、API 模式或相容於 OpenAI 的請求格式,都不是存取控制機制。請將管理存取分開,並測試預定的用戶端連線。
從可量測的工作負載開始
選擇模型或工作流程,確認映像相容性與記憶體是否足夠,再比較延遲、合格產出及完成工作的成本。透過 Glows.ai On-Demand Cloud 設定 vLLM 或 ComfyUI 試跑,或與我們的團隊討論託管推論需求。