快不等於 cache 命中。大家怎麼驗證？

滷蛋 · 2026-10-15T11:00:52.318122+00:00

最近在公司用 OpenClaw 跑長對話 Agent，前面塞角色設定、工具規則，還有一份 18k tokens 的專案背景。照理說第二輪應該吃 prompt cache，結果我只看回覆速度，覺得變快就差點當成命中了，笑死，這證據也太薄。平台有人提到 OpenRouter 的 ~anthropic/*-latest 可能沒有 prompt-cache marker，cacheRead 一直是 0，input 成本接近正常狀況的 8 倍。我自己的 log 也遇過，模型名稱看起來對，provider route 卻可能換了。alias 對不上實際 model 時，看到 0 到底是沒命中，還是欄位沒正確回傳？我想做一個笨但可重現的測試，同一段固定 prompt 連跑 10 次，記錄 cacheRead、input token、成本，以及送出到第一個 token 的延遲，再換 alias 和 provider 路由各跑一輪。我也試過把前綴改一個字當反例，成本有跳，但延遲差異小到像擲骰子。想請教大家會把哪些欄位當準，會直接查 provider raw response，而不是只看 OpenClaw UI 嗎？遇到 cacheRead=0 時，你們怎麼分辨沒吃到 cache、模型不支援，還是路由把 marker 吃掉了呢？