> ## Documentation Index
> Fetch the complete documentation index at: https://supastack.dev/llms.txt
> Use this file to discover all available pages before exploring further.
> For the full documentation corpus in one file, fetch: https://supastack.dev/llms-full.txt

# 生產級 AI SaaS 架構設計：串流輸出、Token 預算與 BYOK

商業級 AI SaaS 核心架構剖析：Server-Sent Events (SSE) 串流傳輸、加密 Bring-Your-Own-Key (BYOK) 儲存、Token 成本預算與多供應商容災降級。

_釋出於 2026-11-05._
_更新於 2026-11-05._

> **如何設計一套帶 Token 預算與 BYOK 的生產級 AI SaaS 架構？**
> 這取決於你的計費模式與使用者層級，但生產級 AI 架構離不開四大基石：具備斷線重連特性的 SSE 邊緣串流傳輸、在 Postgres 中基於 AES-256-GCM 的加密 BYOK 金鑰保險庫、在呼叫前執行的兩階段原子 Token 預算預扣機制，以及在 OpenAI 與 Anthropic 之間的自動容災降級路由。supastack 開箱完整實現了這套架構，原生支援按工作區設定消費上限與用量即時歸因。

## Server-Sent Events (SSE) 串流傳輸與活動訊號機制

建構商業級 AI 應用必須摒棄傳統的單次 JSON 回應模式。主流大型語言模型生成完整回答往往需要數秒乃至數十秒，即時串流輸出對於首字展示延遲和使用者留存至關重要。

基於 HTTP/2 的 Server-Sent Events (SSE) 是串流輸出的黃金方案。與複雜的 WebSockets 相比，SSE 能天然穿透各類企業級防火牆，支援標準 HTTP 認證標頭，並在偶發網路中斷時由瀏覽器自動重連。在 Next.js 邊緣路由中使用 `TransformStream` 發送資料區塊，並定期穿插活動訊號空訊框（`: ping\n\n`），可防止反向代理和負載平衡器因閒置而中斷連線。


## 基於 AES-256-GCM 的加密 BYOK 金鑰保險庫

企業級客戶與高頻 AI 重度使用者往往強烈要求自備 API 金鑰（BYOK），以便享受他們與 OpenAI 或 Anthropic 簽署的企業協議與資料隱私保障。

純文字儲存客戶的第三方 API 金鑰是致命的安全隱患。成熟的架構必須將金鑰存放在獨立的專用保險庫表中，使用 AES-256-GCM 配合隨機初始化向量（IV）與認證標籤進行落盤加密。金鑰只在發起大模型請求的瞬間在伺服端記憶體中解密，嚴禁寫入磁碟，並在記錄檔與客戶端輸出中嚴密遮蔽。


## 兩階段 Token 預扣與防擊穿保護機制

AI SaaS 創辦人面臨的最大財務風險是未付帳單導致的資金穿透：惡意使用者或異常迴圈在你的 API Key 上瞬間跑出數千美元用量，而你的帳單週期卻滯後反應。

為了徹底消除負餘額風險，必須引入兩階段 Token 預扣通訊協定：在發出大模型呼叫前，按提示詞估算最大所需 Token，並在資料庫交易中對該工作區的月度預算進行原子預扣。一旦預扣額度超出上限，立即返回 HTTP 429 攔截。待串流傳輸完成，根據模型返回的實際 Usage 中繼資料結算真實扣除，並釋放剩餘預扣額度。


## 多服務商無縫降級：OpenAI 與 Anthropic 雙活容災

僅依賴單一模型服務商具有巨大的停機風險。無論是 OpenAI 還是 Anthropic，在尖峰期都頻繁出現偶發性的 HTTP 429 限流或 503 服務不可用故障。

生產級 AI 架構透過統一的能力適配層抹平介面差異。當向 `gpt-4o` 的呼叫觸發頻率限制或逾時時，內建的智慧路由器會自動以指數退避重試，並無感降級呼叫備選模型（如 `claude-3-5-sonnet`）。終端使用者感受不到任何報錯，產品高可用性得到有效保障。