如何使用 Glows.ai 搭配 Open WebUI 打造知識庫

本教程將教大家如何在 Glows.ai 租用 GPU 使用 Open WebUI，串接本地與外部模型，了解基礎和進階設置，及如何用 API 的方式銜接於個人的程式碼中。打造一種資料不外流、還能被程式化調用的部署使用方法。

本教程包括以下內容：

• 在 Glows.ai 創建實例並開啟 Open WebUI
• 基礎操作：模型設定、知識庫問答（RAG）
• 如何透過 API 呼叫，使 Open WebUI 能被程式應用
• 串接外部模型供應商（OpenAI、Anthropic 等）
• 進階功能：技能（Skills）與子代理（Sub-agents）

Open WebUI 是一個自架、開源的 AI 聊天平台，透過 Ollama 這類推論引擎執行本地開源模型（如 Llama、Qwen），也能同時接上 OpenAI、Anthropic 等外部雲端服務，讓使用者在同一個介面裡混用不同來源的模型。它不只是聊天介面，還內建知識庫問答（RAG）、自訂助理、API 相容層等功能，可以當成應用程式背後的 AI 基礎設施使用。

接著讓我們透過步驟化的示範，一起在 Glows.ai 上體驗 Open WebUI 的功能。

登入 Open WebUI

啟動實例

首先我們在 Glows.ai 創建一個實例，您也可以參考實例創建教程：https://docs.glows.ai/zh-TW/docs/create-new。

• 點擊 Create New 並於介面中，選擇 GPU NVIDIA GeForce RTX 4090。選擇具有 Open WebUI 版本 0.11.0 的鏡像，本次實作我們選擇的是 img-9vl776l1 - Open WebUI 0.11.0 鏡像。點擊 Complete Checkout 啟動實例。

• 成功啟動機器後，點擊 Port 8080 後，點擊 Open 進入 Open WebUI 介面。

• 在 Open WebUI 視窗中即可進行登入。若是第一次開啟，需要註冊一個管理員帳號。

設置 RAG 知識庫

什麼是 RAG

RAG（Retrieval-Augmented Generation，檢索增強生成）是先將公司內部的資料（產品文件、SOP、內部規範等）透過向量化（Embedding）技術處理並長期存放於知識庫中，當您提問時，AI 能查找知識庫中您上傳的專屬文件，找出相關內容當作參考依據再回答。

在一般 AI 的對話中，AI 只憑在對話時記住的內容回答；而將所有資料貼進對話中發問，不僅每次都要重複貼上，對話結束後這些內容也不會保留，無法長期累積知識。RAG 技術的應用可以解決這個痛點。

建立 RAG 知識庫

• 點擊左側的 Workspace，點擊 Knowledge，再點擊 Create，開始建立知識庫。

• 輸入知識庫的基本資料後，點擊 Create Knowledge。

• 建立成功後您可以看到知識庫名稱，以及知識庫的 ID，稍後將會使用到此 ID。

• 接著點擊 ＋，並點擊 Upload files。

• 選擇您要作為知識庫資料的檔案，本案例中使用虛構故事劇情文本。

• 檔案上傳後，您即可在列表中看到資料，表示此知識庫成功嵌入此檔案。

將知識庫綁定於模型

• 為了使 AI 能調用此知識庫中的資料，我們需要建立一個新的模型，並且綁定此知識庫。首先點擊 Model 後，點擊 Create。

• 輸入模型基本資料以及 System prompt。

• 在下方接著選擇 Select Knowledge，並選擇您指定的知識庫。

• 完成後點擊 Save & Create。

• 建立成功後，您即可在模型列表中看見該模型。

使 AI 透過知識庫的資料回答

• 在對話框右側選擇先前建立的模型，並且在對話框輸入測試的問題，確認 AI 能夠取得知識庫的資料。

• 測試成功，AI 成功取得知識庫中的資料並回答。

使用 API 方式調用知識庫

為什麼要使用 API

透過網頁介面設定好的知識庫，除了在聊天視窗裡使用外，也能讓外部程式透過 API 直接呼叫，將 AI 透過知識庫回答的能力整合進自己的應用程式中，而不侷限於手動在網頁上操作。具備調用知識庫能力的 AI 可以透過程式碼觸發，能被排程、串接進工作流程中，不必每次都手動開啟瀏覽器操作。

取得 API 金鑰

要透過 API 呼叫 Open WebUI，必須先取得 API 金鑰作為身分驗證，讓系統可以判斷這次您的請求擁有權限，進而開放服務。

• 首先點擊左下角 Settings。

• 點擊 Authorization，開啟 API Keys 後，點擊 Save 後，即會開啟 API 金鑰功能。

• 點擊 Account，您即可獲取 API Key。

取得知識庫 ID

在呼叫 API 時，除了 API 金鑰之外，必須額外提供知識庫的 ID，明確告訴系統這次要調用的文件資料來源是哪一份。

• 首先點擊 Workspace → Knowledge → 點擊指定的知識庫。

• 您可以在右側找到知識庫的 ID，此 ID 將會作為參數傳入 API 請求。

發送 API 請求

取得 API 金鑰及知識庫 ID 後，接著我們即刻進行 API 的使用。

• 首先透過 Glows.ai 介面，取得 SSH 連線方式。例如：ssh -p <你的SSH port> root@tw-06.access.glows.ai。

• 透過終端機使用 SSH 存取該機器，輸入密碼後進入機器。

• 輸入以下的 API 請求：

curl -X POST http://localhost:8080/api/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5:7b",
    "messages": [
      {
        "role": "user",
        "content": "According to the knowledge base, what is the maximum number of string students the Aldrew Conservatory accepts per year? Cite the exact passage."
      }
    ],
    "files": [
      {
        "type": "collection",
        "id": "YOUR_KNOWLEDGE_ID"
      }
    ]
  }'

• 為驗證 AI 是否真正調用知識庫資料，範例中要求 AI 針對知識庫中的虛構故事劇情進行問題測試。其中一則問題為「故事中的音樂學院每年最多招收多少名學生」，並要求 AI 附上引用原文。

• AI 正確回答「12 名」，並準確引用了知識庫中對應的段落位置，證實檢索結果確實來自知識庫，而非模型猜測。

• 另一則問題為「故事中的燈塔的高度是多少?」，同樣要求 AI 附上引用原文。AI 正確回答「46 公尺高」。

Sub-agents

什麼是 Sub-agents

Sub-agent 是一個讓 AI 把工作拆成多份，分派給多個獨立分身各自獨立處理、最後彙整結果的功能，適合需要同時處理多個互不相關子任務的情境，任務無需依序處理。

接著一起來看看如何開啟這項功能。

設定並使用 Sub-agents

• 點擊左下角個人資訊頭像，點擊 Setting。

• 將 Enable sub-agents 開啟，點擊 Save。

• 開啟一段對話進行測試，Sub-agents 成功觸發任務委派後，進一步以數學計算題測試其準確性，確認「子代理」運算功能。產出結果確認 Sub-agents 能成功觸發平行任務處理機制。

Skills

什麼是 Skills

Skills 是一個讓你把固定的規則或風格寫成一份可重複調用的技能，讓您不需每次對話都重新交代一遍的功能。在 Open WebUI 的對話框中，您可以輸入 $ 列出現有的 Skills 主動使用，也可以綁定在自訂模型上，讓 AI 自己判斷該不該套用 Skills。

建立 Skills

• 點擊 Workspace → 點擊 Skill → 點擊 Create 開始設定。

在此頁面中，您可以輸入：

• Skill Name: 技能名稱。
• Skill ID: 用於識別技能，聊天輸入框打 $ 呼叫技能清單時，系統內部依此 ID 比對。
• Skill Description: 一句話說明什麼情況下該使用這個技能，決定技能是否會被正確觸發。
• 內文: 具體規則，用條列式列出可執行的行為要求。

• 在此範例中，我們建立一個「Email 潤稿助理」技能，讓 AI 依照固定的四條規則（語氣、長度、結構、結尾）調整郵件用詞，並在回覆開頭附上固定標記，方便確認技能是否真的被套用。輸入完畢後，點擊 Save & Create。

• 完成後您即可在 Skills 列表中看見建立好的 Skill。

使用 Skills

• 點擊 Models 選擇欲套用 Skill 的模型，並在右側點擊 Edit。

• 點擊 Select Skill，選擇剛剛建立的 Skill。選擇完畢後在選單下方點擊 Save & Update。

• 在聊天對話框透過問題測試，Skill 成功被自動觸發（view_skill 已執行）。AI 偵測到這次的提問（潤飾寄給客戶的訊息）符合此觸發情境，因此自動呼叫 view_skill 讀取規則並套用。

• 您也可以主動在輸入框輸入 $ 列出現有的 Skills，主動指定讓 AI 使用。

串接外部模型供應商

除了自架的本地模型（Ollama），Open WebUI 同樣能接上其他雲端模型（如 OpenAI），兩者可以在同一個介面裡並存、混用。

• 點擊左下角個人訊息頭像後，點擊 Setting。

• 在左側列表選擇 Connections，將 OpenAI API 開啟後，點擊 ＋。

• 開始輸入外部供應商模型資訊。

• 點擊 URL，您可以選定不同的模型供應商。輸入您的 API Key，完成後點擊 Save。

  此欄位雖然命名為 OpenAI API，但實際上不限於 OpenAI 官方。在下拉選單可以看到多家已預設好的選項：

  • api.openai.com — OpenAI
  • api.anthropic.com — Anthropic（Claude）
  • generativelanguage.googleapis.com — Google Gemini
  • api.mistral.ai — Mistral AI
  • api.groq.com — Groq
  • openrouter.ai — OpenRouter
  • api.x.ai — xAI（Grok）

• 在 Models 中，您即可以選擇剛剛所設置的外部供應商模型。

• 您也可以直接在對話框右側，指定您要使用的外部供應商模型。

聯絡我們

使用 Glows.ai 時若有問題或建議，可透過 email、Discord 或 Line 聯絡我們。

Email: support@glows.ai

Discord: https://discord.com/invite/glowsai

Line: https://lin.ee/fHcoDgG