# LLM Self-Host vs API > 用你自己的 GPU 單價與吞吐量，比較自架開源模型和按 token 計費的 API：損益兩平的每日請求數、使用率敏感度、單張 VRAM 放不放得下模型，還有每月費用差額。 - URL: https://bytescope.dev/zh-Hant/llm-pricing/self-host/ - Locale: zh-Hant · Also: [en](https://bytescope.dev/en/llm-pricing/self-host.md) · [ja](https://bytescope.dev/ja/llm-pricing/self-host.md) - Runs: 全部在你的瀏覽器裡算。你填的 GPU 單價和吞吐量不會送到任何地方，也不會呼叫模型的 API。 - Requires: Any modern browser (Chrome, Edge, Firefox, Safari), desktop and mobile. - Updated: 2026-09-08 ## What it does ### 租 GPU，還是按 token 付費 只要 GPU 開著，自架模型不管一天服務十個請求還是一千萬個，月費都一樣。API 帳單則從零開始，每多一個請求就多一點。這頁把你描述的流量，同時算出兩邊的月費，並找出兩條線交叉的每日請求數。 ### 損益兩平點代表什麼 損益兩平點是 API 花費首次不低於你的 GPU 的最小請求數。流量超過你填的張數能負荷時，頁面會自動加卡，自架那條線會往上跳一階，所以中間可能有好幾階。如果 API 一路便宜到每天一億個請求，頁面會直接寫「沒有交點」，不會硬湊一個數字。 ### 使用率為什麼會改變結論 GPU 只有在忙的時候才會跑出標稱的吞吐量，接近滿載時排隊延遲會急遽上升。頁面預設以 70% 作為使用率上限，依這個上限算出要開的 GPU 小時。上限調低，同樣的流量就需要更多小時，損益兩平點會往上移，或維持不動。敏感度表把 20、40、60、80% 各算一次。 ### 模型放不放得進 VRAM VRAM 估算只算模型權重：參數量乘位元數再除以八，外加 20% 的執行期開銷。KV cache 不估算。它會隨 context 長度與同時服務的請求數增加，所以紙上算得下的模型，實際跑起來可能還要更大的卡，或縮短 context。 ### 這頁沒算什麼 結果完全取決於你填的數字。工程師的時間、監控與儲存，除非你填進每月固定開銷，否則不計。延遲、模型品質與資料合規也沒有比較。開源模型跟 API 上的模型不是同一個，只有品質足夠應付你的工作時，比較便宜的帳單才算公平。 ## Limits Does not call a model API, does not read agent logs, and does not apply the batch factor to the scenario totals. Rates are the checked card, not a live fetch. ## FAQ ### 這個計算機知道目前的 GPU 價格嗎？ 不知道，也不去猜。GPU 價格變動很快，能不能拿到貨通常比價格更關鍵，所以價格欄位一開始是空的。請填你實際拿到的報價。API 那一側用的是 LLM 單價頁同一份價目表，並附上查證日期。 ### 吞吐量的數字要從哪裡來？ 從你自己的推論框架來。用你打算用的框架與批次大小跑模型，量出每張 GPU 每秒的輸出 token 數，以及 prefill 每秒的輸入 token 數。網路上公布的數字通常是短 prompt 的最佳情況，直接拿來用，自架會看起來比較划算。 ### 流量很低時，自架的成本為什麼還是固定的？ 因為 GPU 只要開著，每個小時都要付錢。流量低時大部分時間都閒著，所以小流量的工作自架看起來很貴。這頁目前只算 always-on（24 小時開著），scale-to-zero 與冷啟動延遲還沒有納入。 ### 「沒有交點」是什麼意思？ 在你填的假設下，每天到一億個請求為止，API 每個請求數都比你的 GPU 便宜。通常代表 GPU 單價偏高，或這個模型的吞吐量偏低。這不代表自架永遠不划算。 ### 為什麼 GPU 張數有時比我填的多？ 當流量需要的 GPU 小時，超過你填的張數在使用率上限下能提供的量，損益兩平點的計算就會自動加卡。上面的每月費用仍以你填的張數計算，容量提醒則會告訴你還需要幾張。 ### GB 是 10 的 9 次方，還是 2 的 30 次方？ 這頁的 GB 一律指 10⁹ bytes，VRAM 的輸入與權重估算都用這個單位。如果廠商規格寫的是 GiB，請先換算後再填。 ### 70B 模型需要多少 VRAM？ 16 位元的 700 億參數模型，權重約 140 GB；8 位元約 70 GB；4 位元約 35 GB。加上頁面採用的 20% 執行期開銷後，8 位元（約 84 GB）已超過單張 80 GB 的卡，4 位元（約 42 GB）放得下。把參數量填 70、位元數選 16、8 或 4，就能看到估算。 ## Related tools - [LLM Pricing](https://bytescope.dev/zh-Hant/llm-pricing.md) — 各家模型每百萬 token 的價格，附價目表的查證日期。