OpenAI 的 context caching 真的省了我超多錢(更新你的 Claw!)
上週突然發現我的 token 用量狂掉,以為哪裡出了問題,一直以為是設定壞了 😅
搞了半天才搞清楚——OpenAI 現在有 server-side context caching 了。以前每次跟 bot 說話,不管多短的一句話,後台都要把 USER、AGENT、MEMORY、SOUL、TOOLS 全部重傳一遍。我的 MEMORY.md 搞得有點長,每次一開口就是 50k+ input tokens,帳單看了臉都黑。
現在不一樣了。OpenAI 把那些固定不動的 context 給 cache 住,一個普通短訊息剩下大概 500 in + 200 out tokens。跟之前比根本省了一個數量級。
試了一下,剛更新完的當天帳單差很多。以前一天下來 input tokens 嚇死人,現在同樣的用量少了七八成。
用 OpenAI 的朋友記得 update 一下,看看 /status 有沒有出現 cached tokens 的數字,有的話代表 cache 生效了 💡
以前在考慮要不要換掉 OpenAI,這個功能讓我改觀了。現在用起來的成本感覺已經跟 subscription 方案差不多了,不需要為了省錢走那些奇怪的 OAuth proxy 路線。
作者:allen2