如何在 Glows.ai 設定 Ollama 模型儲存路徑

本教學示範如何將 Glows.ai 執行個體的 Ollama 模型儲存路徑設為 /datadrive/ollama。

快照會保存執行個體內的所有變更，但不包含 /datadrive 目錄。 如果模型檔案儲存在執行個體的本機磁碟，可能產生容量過大的 Snapshot，重新啟動時也需花較長時間載入。

建議將模型、資料和程式碼存放在 /datadrive，讓 Snapshot 只保存環境變更，例如透過 pip 或 apt 安裝的套件。

設定 Ollama 模型儲存路徑

開始前，請確認建立執行個體時已勾選 Mount，掛載你的 Datadrive。

建立執行個體後，前往執行個體介面並開啟 HTTP 8888 Port（JupyterLab 服務）。如下圖建立新的 Terminal：

在 Terminal 中依序完成以下操作：

1. 停止執行中的 Ollama 服務
2. 將 Ollama 模型儲存路徑設為 /datadrive/ollama
3. 重新啟動 Ollama 服務

pkill -f ollama
export OLLAMA_HOST=0.0.0.0
export OLLAMA_MODELS=/datadrive/ollama
nohup ollama serve > ollama.log 2>&1 &

設定並重新啟動後，使用 ollama pull 下載的模型都會儲存在 /datadrive/ollama。 下次不需建立 Snapshot，只要重新掛載 Datadrive，即可繼續使用先前下載的模型。

啟動時自動設定 Ollama 模型路徑

若不想在每次啟動新執行個體時手動設定儲存路徑，可以直接在 Glows.ai 執行個體啟動檔案中加入環境變數。

啟動檔案位於 /usr/bin/glows_init.sh。為方便編輯，先在 Terminal 中建立指向 /root/glows_init.sh 的符號連結：

ln -sf /usr/bin/glows_init.sh /root/glows_init.sh

接著在 JupyterLab 左側導覽列開啟 root directory，按兩下 glows_init.sh 進行編輯。在 Ollama 啟動前加入以下一行：

export OLLAMA_MODELS=/datadrive/ollama

按下 Ctrl + S 儲存檔案。

設定完成後即可建立 Snapshot。在執行個體介面點選 Take Snapshot，輸入快照名稱。如果不再需要目前的執行個體，可勾選 Release instance after Snapshot completes。

之後從此 Snapshot 建立的新執行個體，都會將 Ollama 模型儲存在 /datadrive/ollama，不必再次設定。

聯絡我們

使用 Glows.ai 時若有問題或建議，可透過 Email、Discord 或 Line 聯絡我們。

Glows.ai Email: support@glows.ai

Discord: https://discord.com/invite/glowsai

Line: https://lin.ee/fHcoDgG