ByteScope

LLM Self-Host vs API

填入你自己的 GPU 單價與吞吐量,看自架什麼時候比 API 划算,什麼時候怎樣都不划算。

全部在你的瀏覽器裡算。你填的 GPU 單價和吞吐量不會送到任何地方,也不會呼叫模型的 API。

API 單價取自 LLM 單價頁的價目表,查證日期 2026-09-22。

API 那一側

自架那一側

以 always-on(24 小時全開)計算,每張 GPU 每月 730 小時。scale-to-zero 還沒有納入。

填入 GPU 每小時價格才會出結果。這裡不會幫你預設價格,你實際拿到的報價才是誠實的輸入。

關於這個工具

租 GPU,還是按 token 付費

只要 GPU 開著,自架模型不管一天服務十個請求還是一千萬個,月費都一樣。API 帳單則從零開始,每多一個請求就多一點。這頁把你描述的流量,同時算出兩邊的月費,並找出兩條線交叉的每日請求數。

損益兩平點代表什麼

損益兩平點是 API 花費首次不低於你的 GPU 的最小請求數。流量超過你填的張數能負荷時,頁面會自動加卡,自架那條線會往上跳一階,所以中間可能有好幾階。如果 API 一路便宜到每天一億個請求,頁面會直接寫「沒有交點」,不會硬湊一個數字。

使用率為什麼會改變結論

GPU 只有在忙的時候才會跑出標稱的吞吐量,接近滿載時排隊延遲會急遽上升。頁面預設以 70% 作為使用率上限,依這個上限算出要開的 GPU 小時。上限調低,同樣的流量就需要更多小時,損益兩平點會往上移,或維持不動。敏感度表把 20、40、60、80% 各算一次。

模型放不放得進 VRAM

VRAM 估算只算模型權重:參數量乘位元數再除以八,外加 20% 的執行期開銷。KV cache 不估算。它會隨 context 長度與同時服務的請求數增加,所以紙上算得下的模型,實際跑起來可能還要更大的卡,或縮短 context。

這頁沒算什麼

結果完全取決於你填的數字。工程師的時間、監控與儲存,除非你填進每月固定開銷,否則不計。延遲、模型品質與資料合規也沒有比較。開源模型跟 API 上的模型不是同一個,只有品質足夠應付你的工作時,比較便宜的帳單才算公平。

常見問題

這個計算機知道目前的 GPU 價格嗎?

不知道,也不去猜。GPU 價格變動很快,能不能拿到貨通常比價格更關鍵,所以價格欄位一開始是空的。請填你實際拿到的報價。API 那一側用的是 LLM 單價頁同一份價目表,並附上查證日期。

吞吐量的數字要從哪裡來?

從你自己的推論框架來。用你打算用的框架與批次大小跑模型,量出每張 GPU 每秒的輸出 token 數,以及 prefill 每秒的輸入 token 數。網路上公布的數字通常是短 prompt 的最佳情況,直接拿來用,自架會看起來比較划算。

流量很低時,自架的成本為什麼還是固定的?

因為 GPU 只要開著,每個小時都要付錢。流量低時大部分時間都閒著,所以小流量的工作自架看起來很貴。這頁目前只算 always-on(24 小時開著),scale-to-zero 與冷啟動延遲還沒有納入。

「沒有交點」是什麼意思?

在你填的假設下,每天到一億個請求為止,API 每個請求數都比你的 GPU 便宜。通常代表 GPU 單價偏高,或這個模型的吞吐量偏低。這不代表自架永遠不划算。

為什麼 GPU 張數有時比我填的多?

當流量需要的 GPU 小時,超過你填的張數在使用率上限下能提供的量,損益兩平點的計算就會自動加卡。上面的每月費用仍以你填的張數計算,容量提醒則會告訴你還需要幾張。

GB 是 10 的 9 次方,還是 2 的 30 次方?

這頁的 GB 一律指 10⁹ bytes,VRAM 的輸入與權重估算都用這個單位。如果廠商規格寫的是 GiB,請先換算後再填。

70B 模型需要多少 VRAM?

16 位元的 700 億參數模型,權重約 140 GB;8 位元約 70 GB;4 位元約 35 GB。加上頁面採用的 20% 執行期開銷後,8 位元(約 84 GB)已超過單張 80 GB 的卡,4 位元(約 42 GB)放得下。把參數量填 70、位元數選 16、8 或 4,就能看到估算。