LLM 推論部署 TCO 分析：託管 API vs NIM 自架 vs 純開源自架
撰於 2026-07。價格會變動，方法論不會 — 所有數字都可在
cost_calculator.py換成當下牌價重算。
1. 三種方案的成本結構
A. 託管 API（OpenAI / Anthropic / NVIDIA NIM API）
- 成本 = 用量 × 單價，完全變動成本，零固定成本
- 隱藏成本：rate limit 對產品尖峰的約束、資料出境合規、模型版本被動升級
- 適合：MVP、流量不穩、團隊無 infra 能力
B. NIM 容器自架（雲 GPU）
- 成本 = GPU 時租 × 台數 + NVIDIA AI Enterprise 授權 + 少量 DevOps
- NIM 打包了 TensorRT-LLM 最佳化，同等硬體吞吐通常高於未調校的開源 serving，等效於降低每 token 成本
- 隱藏成本：授權費（per-GPU 計價）、容量規劃失誤（尖峰不足/離峰閒置）
- 適合：流量穩定、中大規模、需要資料私有
C. 純開源自架（vLLM / SGLang 自行調校）
- 成本 = GPU + 工程團隊：最低的帳面算力成本，最高的人力成本
- 需要自行處理：量化、kernel 調校、autoscaling、監控、模型升級迴歸測試
- 適合：推論是核心競爭力、有專職 infra 團隊的公司
2. 關鍵洞察：交叉點由「GPU 利用率」決定
自架的每 token 成本 = 固定成本 / 實際用量。同一套 GPU：
- 利用率 70%：每 token 成本可低於 API 牌價 3–10 倍
- 利用率 15%（常見的失敗案例）：比 API 貴
PM 該問的第一個問題不是「哪個便宜」，而是「我的流量形狀撐得起多少利用率」。 B2B 上班時間流量（日間集中）與 B2C 全天流量（平緩）適合自架；爆發型流量（行銷活動驅動）適合 API 或混合。
3. 隱藏成本清單（帳面比價常漏掉的）
| 項目 | API | NIM 自架 | 純開源 |
|---|---|---|---|
| 工程建置（一次性） | ~0 | 低（容器標準化） | 高（1–3 人月） |
| 持續維運 | ~0 | 0.1–0.3 FTE | 0.5–1 FTE |
| 模型升級 | 被動 | 換容器版本 | 完整迴歸調校 |
| 合規/資料主權 | 受限 | 完全控制 | 完全控制 |
| 尖峰彈性 | 高（rate limit 內） | 中（要預留容量） | 中 |
4. 決策樹
日均 token 量 < 100 萬？ → API
├─ 否 → 資料可出境？
│ ├─ 否 → NIM 自架（合規驅動，規模其次）
│ └─ 是 → 流量穩定度高？（峰谷比 < 3）
│ ├─ 是 → 跑 TCO 計算器，利用率 > 40% 即評估 NIM 自架
│ └─ 否 → API 為主 + 保留混合架構選項
└─ 有專職 infra 團隊且推論是核心成本？ → 評估純開源深度調校
5. 敏感度分析（用計算器重現）
以日均 3,000 萬 tokens、L4 GPU $1.2/hr、NIM 授權攤提為基準：
- 利用率從 40% → 70%：自架每百萬 token 成本下降 ~43%
- GPU 時租 ±30%：對交叉點影響小於利用率 ±15%
- 結論：容量規劃能力（PM/TPM 的工作）比採購議價更影響 TCO
附錄：假設與資料來源
- 雲 GPU 定價：主要雲商 L4/A10G 隨需牌價區間（2026-07）
- API 定價：各家公開牌價（頻繁變動，計算器可自行輸入）
- NIM 授權：NVIDIA AI Enterprise 公開定價模式（per-GPU/年）
- 吞吐假設：TensorRT-LLM 最佳化對未調校 serving 的增益採保守值 1.5–2.5x（NVIDIA 公開 benchmark 區間下緣）