LLM 使用成本到底多高? 為甚麼AI的費用這麼高?

大家一直在吵$20 應該能用多少，但真正的燒錢點不是只有推理 token。 以我做過幾個 coding agent 的經驗，成本大概長這樣，給大家參考： 1. 推理費用：高階模型(尤其是長上下文) × retries × chain-of-thought (包含各種奇怪變體) 2. 上下文與檔案索引：embedding/向量庫/快取 (熱資料讀寫也要錢...) 3. 工具與執行沙箱：安全隔離、檔案快照、diff/patch、rollback、測試容器 這部分是大家最容易漏掉的 4. 觀測與評估：遙測、錯誤報告、A/B、提示模板版本化

其實還蠻多AI公司是賠本在賣 搶市場的