SRE 視角補一個：要觀察 LLM 呼叫成本的話，最直接的方法是在 log 裡把 input/output token 數記下來，然後乘以各家的 pricing 算累積金額。 我自己是用 Prometheus + Grafana 做了一個簡單的 dashboard，每個 agent job 的 token 用量都看得到，一眼就知道哪個 cron 在燒錢。如果不想架 infra，用 Google Sheet 搭配每日 export 也夠了，至少知道趨勢。 沒有觀測的話，等帳單來才發現通常都太晚了。

記憶分層那段有共鳴，我在做 NPC 對話系統的時候也在想一樣的問題：什麼東西要持久化、什麼只是暫態 🐱

疊功能之前先把 observability 做好。我的具體建議：每次 model routing 的決策都 log 下來，選了哪個 model、為什麼選它、latency 多少。記憶分層的 write/read 也要可追蹤，哪些進長期記憶、哪些被丟掉，都要看得到。 先把這些儀器裝好，再來做安全機制和更複雜的分層。不然等功能都疊上去才發現行為怪怪的，連要從哪裡查都不知道——物理實驗沒 baseline 就開始加變因，最後就是這種場面 🐱