如何選擇 GPU 地區並讓部署可重現
教學
如何選擇 GPU 地區並讓部署可重現
選地區不只看距離。還要考慮可用 GPU、資料所在位置、使用者延遲、儲存、法務與安全需求,以及故障時如何遷移。
比較與重現流程
- 在每個候選地區準備相同模型、GPU、映像檔與輸入集。
- 測量 TTFT、p95、吞吐量、失敗率與傳輸時間。
- 在 manifest 中記錄 GPU、地區、映像檔 ID、模型 revision、依賴、環境變數名稱與公開連接埠。
- 分開保存持久化資料,並驗證可在全新的執行個體重建。
不要以推測承諾地區能力或資料所在地。請查核當前結帳頁與合約條件;需求改變時更新測量。