NIM vs Self-hosted vs API — LLM 推論成本的 PM 決策框架
一份從產品經理視角出發的 LLM 推論部署決策分析：什麼規模該用託管 API、什麼時候該切到 NVIDIA NIM 自架、隱藏成本在哪裡。附可調參數的成本計算器。
A PM’s decision framework for LLM inference deployment: managed APIs vs NVIDIA NIM self-hosting vs raw open-source serving — with a parameterized cost calculator.
TL;DR 決策框架
| 月請求量級 | 建議 | 理由 |
|---|---|---|
| < 100 萬 tokens/日 | 託管 API（OpenAI / Anthropic / NIM API） | 工程成本 » 算力成本 |
| 100 萬 – 5,000 萬 tokens/日 | 交叉區：算 TCO（用本 repo 計算器） | GPU 利用率決定勝負 |
| > 5,000 萬 tokens/日 且流量穩定 | NIM 容器自架（雲 GPU 或自有機房） | 固定成本攤薄，且資料不出境 |
但 token 單價只是表層 — 完整分析見 analysis.md。
內容
- analysis.md — 完整分析：三種方案的 TCO 結構、隱藏成本（工程人力、冷啟動、合規）、敏感度分析、決策樹
- cost_calculator.py — 可調參數計算器：輸入日 token 量、GPU 時租、目標利用率，輸出三方案月成本對比
Quick start
python3 cost_calculator.py --daily-tokens 30000000 --gpu-hourly 1.2 --utilization 0.4
為什麼 NIM 是自架方案裡的關鍵變數
自架 LLM 的真實成本大頭不是 GPU，是工程時間：模型量化、TensorRT 編譯、K8s 部署、監控、升級。NIM 把這段打包成標準容器（內含 TensorRT-LLM 最佳化），把自架的工程成本從「養一個 infra 小組」壓到「DevOps 兼職維護」— 這改變了交叉點的位置，讓自架在更小的規模就開始划算。
Stack
Python（純標準庫，無依賴）· 資料來源：公開雲 GPU 定價與各家 API 牌價（2026-07，見 analysis.md 附錄）
Author: Jerome Kuo — AI PM (Gamania/CodeNet), NVIDIA DLI certified (快速開發 LLM 應用程式).