尋找預裝 Ollama 與 DeepSeek 的 GPU 雲端?先確認映像檔內容
尋找預裝 Ollama 與 DeepSeek 的 GPU 雲端?先確認映像檔內容
如果你正在尋找預裝 Ollama 與 DeepSeek 的 GPU 雲端,請將映像檔內容分成兩部分檢查:推論服務執行環境與模型權重。Glows.ai 列有 Ollama 映像檔,也另列 DeepSeek 映像檔。Glows.ai 提供已預裝模型的 Ollama 映像,也有現成的 DeepSeek-R1 映像,可以直接從預建好的環境開始。
透過簡短檢查,就能將這項區別轉化為明確的啟動計畫。確認目前連線的伺服器、檢查其模型清單、選擇合適的模型,並在對外開放 API 或增加並行請求數前,先驗證一個請求。
將映像檔說明作為部署起點
Glows.ai 目錄包含 Ollama 框架映像檔,以及搭配 Open WebUI 的 Ollama 映像檔。另外也列有 DeepSeek-R1 32B (Q4)、DeepSeek-R1 70B (Q4) 與 DeepSeek-R1-Distill-Llama 70B。選擇的項目會決定啟動後應檢查哪些內容。
若需要 Ollama 執行環境及其模型管理流程,請選擇 Ollama 映像檔。若 DeepSeek 應用映像檔所列的模型與軟體符合預定任務,則可選用該映像檔,再確認其使用的推論引擎。僅有 DeepSeek 標籤,不能證明與 Ollama 相容,也不能確定特定 API 格式。
目錄提供的是環境說明,並非每款 GPU 的相容性測試。請一併確認確切映像檔、可用硬體與模型需求。Glows.ai 支援透過 SSH 與 JupyterLab 檢查及管理實例;其他工具則取決於所選映像檔。
1. 檢查執行環境與連線伺服器
在已安裝 Ollama CLI 的 shell 中,先確認 CLI 指向哪一台伺服器,包括任何已設定的 OLLAMA_HOST 值,再檢查版本、模型清單與已載入模型:
ollama --version
ollama list
ollama ps
依各指令的檢查範圍解讀結果:
| 指令 | 意義 |
|---|---|
| ollama --version | 顯示 Ollama 版本資訊;確認回報的伺服器版本,以及是否出現用戶端與伺服器版本不一致的警告 |
| ollama list | 列出 CLI 目前連線的 Ollama 伺服器所掌握的模型 |
| ollama ps | 顯示該連線伺服器目前已載入的模型,包括可取得的處理器資訊 |
模型出現在 ollama list 中,不代表權重儲存在你開啟終端機的那台機器上。你可能連線至另一台伺服器。ollama ps 為空也不代表尚未下載模型;模型可以存在但尚未載入。
如果 CLI 無法連上伺服器,請先檢查服務狀態、日誌與連線配置。立即另裝一份軟體或啟動另一個程序,可能在尚未釐清原問題前,又產生新的問題。
2. 確認你指的是哪個 DeepSeek 模型
「DeepSeek-R1」可能指向差異很大的部署。完整 R1 是大型混合專家模型。R1 蒸餾模型則是利用 R1 生成的推理範例訓練而成、規模較小的獨立模型,並不只是完整模型的低精度副本。
量化是另一項區別。Q4 標籤描述的是降低精度的權重表示方式,無法完整說明模型架構、推論引擎、上下文容量,或在你的任務上的品質。同一個部署可以同時採用蒸餾與量化。
為了重現設定,請記錄完整模型識別碼、參數規模、相關的基礎模型家族、量化方式與推論引擎,也應檢查模型卡與授權條款。這些目錄項目指的是特定的 32B 與 70B 部署,並未列出完整規模的 R1 模型。
3. 只有模型清單缺少所需模型時才下載
若選擇 Ollama 路線,而連線伺服器尚無目標模型,請先確認目前 Ollama 模型庫中的標籤,再進行下載。也應先檢查磁碟容量、存取條件與 GPU 需求。
執行指令前,請將下方預留字串替換為已確認的模型標籤:
MODEL_TAG='REPLACE_WITH_VERIFIED_OLLAMA_MODEL_TAG'
ollama pull "$MODEL_TAG"
ollama run "$MODEL_TAG" 'Explain a stack and a queue in two short sentences.'
pull 會要求目前連線的 Ollama 伺服器下載模型;run 則要求該伺服器載入所選模型,並回答範例提示詞。這兩個指令都無法確認桌面電腦的檔案儲存位置,也不會將目錄中另列的應用映像檔轉換成 Ollama 映像檔。
接著再次檢查 ollama list 與 ollama ps。確認實際使用的處理器,不要假設成功回應就代表整個工作負載都在 GPU 上執行。記錄部署的實際回應與耗時。
4. 依權重、上下文與並行請求規劃容量
權重大小只是推論記憶體需求的一部分。執行環境也需要工作空間,而注意力快取需求會隨上下文長度與同時請求數增加。模型即使成功載入,也可能在較長提示詞或較高流量下失敗。
從一個簡短請求與一個作用中的模型開始。設定符合任務的上下文目標,先完成測試,再增加並行請求數。記錄模型標籤、量化方式、提示詞長度、輸出長度、執行環境版本、GPU 與觀察到的記憶體用量。
量化可減少權重記憶體需求,而選用較小的蒸餾模型則改變了模型本身。請使用應用程式的實際範例評估回答品質。只有當配置能在要求的時間內產生可接受的輸出,較低的 GPU 小時費率才有幫助。
對自行託管的 LLM API,還應檢查同時請求、首個 token 回應時間、完整回應延遲與失敗率。若其他推論軟體環境更適合工作負載,Glows.ai 也列有 vLLM 映像檔;選擇前,請使用相同模型與流量前提比較引擎。
5. 連接應用程式前先保護服務
先透過受控的開發連線驗證存取。自行部署的 Ollama 本機 API 不要求身分驗證,個人使用時建議透過 SSH 通道連線。對外開放 HTTP 服務前,確認監聽位址、連接埠映射、身分驗證與網路存取限制。用戶端函式庫具有 API 金鑰欄位,不代表伺服器真的會驗證該金鑰。
不要將模型服務網址與機密資訊放入公開 notebook 或截圖。若請求失敗,應區分連線錯誤與模型載入錯誤:服務可連通、身分驗證成功,以及模型完成回應,是三項不同的檢查。
驗證應用程式實際使用的 API 功能。相容 OpenAI 的介面可能支援部分實用操作,而非重現所有 API 行為。應用程式若需要串流、結構化輸出或工具呼叫,請分別測試。
6. 明確確認成本與復原方式
Glows.ai 的實例 GPU 運算採按秒計費。下載、啟動、排除問題與閒置待命,都可能占用計費中的實例時間。卸載模型會釋放執行環境記憶體,但不代表實例停止計費。結束工作階段時,請以資源的實際計費狀態為準。
保存確切映像檔與模型識別碼、執行環境配置、相依套件版本,以及一個簡短的驗證請求。實例釋放後,實例硬碟上的資料會被清除,包括用 Ollama 下載的模型;需要保留的請存到 Datadrive,或在釋放前建立 Snapshot。遠端伺服器列出的模型,不等於模型權重的備份。
最後應得到一個你能清楚說明的部署:哪個映像檔提供執行環境、哪台伺服器保存模型、哪個硬體負責執行,以及通過身分驗證的應用程式如何存取它。從這裡開始,再依據實際工作負載的測試證據,逐步增加上下文長度與請求負載。