1. 為什麼在擴展前要先估算 LLM API 成本
在把 LLM API 接入新功能或產品前先算出預期成本,可以避免隨著使用者成長而讓帳單變得難以承受。對於長提示詞或多輪對話的服務來說,這點更重要 - 單次請求看起來可能很便宜,但當你把它乘上每日或每月流量後,數字會迅速變化。這個計算器同時顯示每次請求成本與每月模擬,方便你在擴展前掌握預算範圍。
計算 GPT、Claude、Gemini 以及其他主要 LLM API 的 token 成本。可直接輸入 token 數,或貼上文字來估算,然後查看預估每月成本。
在把 LLM API 接入新功能或產品前先算出預期成本,可以避免隨著使用者成長而讓帳單變得難以承受。對於長提示詞或多輪對話的服務來說,這點更重要 - 單次請求看起來可能很便宜,但當你把它乘上每日或每月流量後,數字會迅速變化。這個計算器同時顯示每次請求成本與每月模擬,方便你在擴展前掌握預算範圍。
token 是模型處理文字時的最小單位,並不會 1:1 對應字詞或字元。英文常見的粗略估算法是每個 token 約 4 個字元,但這只是近似值 - 實際數量取決於各模型的 tokenizer(例如 BPE 類型)。尤其是中文、日文、韓文等 CJK 語言,通常每個字元會對應更多 token,因為單一字元經常會被切成多個子詞 token - 所以相同的字元數,成本可能會明顯高於等量的英文內容。
多數供應商將輸出(生成)token 的定價設得比輸入(提示)token 高出好幾倍,而這份資料中的每個模型都遵循這種模式。輸入可以一次性處理(編碼),輸出則必須逐個 token 生成(解碼)- 每個 token 所需的運算量與延遲都更高。因此,讓回覆更精簡,是降低成本特別有效的方法。
提示詞快取(context caching)讓供應商可以在伺服器端快取系統提示詞、長上下文或文件,當相同內容在後續請求再次出現時,就以更低費率計費。它在對話型場景中特別划算,因為系統提示詞或聊天歷史會在每一輪重新傳送。若每次請求都送入真正全新的文字,這項機制就不適用,因此此計算器中的「若已快取」數值只是參考情境,並非保證。
(1) 讓提示詞只保留任務真正需要的內容,越精簡越好。 (2) 善用會在多次請求中重複出現的系統提示詞或上下文快取。 (3) 像分類或摘要這類簡單任務,改用較便宜、較小的模型,而不是旗艦模型。 (4) 將多個請求批次處理,以利用批次折扣或吞吐量最佳化。單靠這四個槓桿,就能明顯降低實際營運成本。
這個計算器是依據各供應商公開的牌價 API 費率來估算成本。它不會納入量大折扣、企業合約、預配吞吐量、免費額度、區域價格差異,或因速率限制造成的實際降速。最終實際請款金額可能會依合約條款而不同 - 請把它當成預算規劃的起點,並直接向供應商確認最後數字。