Glows.ai:以異質運算整合 AI 算力

AI 開發需要的算力持續增加,運算資源也成為許多團隊的瓶頸。Glows.ai 採用異質運算架構,支援多種硬體,並透過 Elastica 技術,在同一個執行個體中整合不同類型的運算資源。
支援多種運算硬體
Glows.ai 支援針對 AI 設計的 TPU、NPU,也涵蓋 NVIDIA H100、H200、GeForce RTX 4090 GPU 與 Apple 晶片。使用者可以依工作負載選擇合適的運算資源。
平台也支援 Apple 自有晶片。Glows.ai 透過虛擬化 OSX 環境提供 Apple 晶片 GPU 加速器,讓需要這類硬體的 AI 應用也能取得相應的運算資源。
Elastica 技術:在同一個執行個體中整合不同硬體
Glows.ai 的 Elastica 技術能以近乎零延遲的方式整合異質運算資源。使用者可以在同一個執行個體中動態搭配不同加速器,依工作需求組合 TPU、GPU、CPU 與其他資源。
這套運算模式可提高硬體使用率,也讓不同類型的硬體一起處理同一項工作。無論是小型推論或大型模型訓練,使用者都能依任務分配資源,不必受限於單一硬體架構。
Glows.ai 會依不同規模的 AI 工作負載提供對應的硬體組合。使用者可為小型推論或大型模型訓練調整設定,在運算需求與資源使用率之間取得合適配置。
下一步:個人運算資源管理
我們正在開發新一代個人加速器管理系統,讓使用者自行管理運算資源。使用者可透過介面分配資源、安排工作與監控效能。已擁有硬體的使用者也能將現有資源納入管理,降低額外的使用成本。系統會根據工作需求安排資源,讓運算任務在合適的硬體環境中執行。
後續規劃
除了運算平台,AI 開發還需要資料、模型與監控工具。我們會繼續開發及改善這些工具,減少研究人員處理基礎設施的時間,讓他們把心力放在研究與應用上。
AI 技術的進展離不開研究社群的合作。Glows.ai 希望提供一個讓開發者共同建構 AI 應用的運算環境,也期待與你一起找出更多可行的做法。
進一步了解 Glows.ai:
- 網站:https://glows.ai
- Discord:https://discord.gg/glowsai