AI 導入先把底座和安全帳算清楚
最近看到一個案例，讓我覺得 AI 導入最容易算錯的地方，不是模型每次回答要花多少錢，而是前面的地基有沒有打好。
品質管理 SaaS 公司 Octave Reliance 面對超過 1.4 萬個客戶、650 多家企業，以及 20 億份受管制文件。他們沒有先做一堆看起來很酷的 AI 功能，而是先做一個可以重複使用的 AI foundation。每個客戶有自己的 vector store，每次 Agent session 都在隔離的 microVM 裡跑，使用者登入、能叫哪些工具、工具可以帶什麼參數，也都分開授權。連輸入、檢索結果、模型整理後的答案都要過 guardrails，附件則一律當成不可信資料。這些聽起來不像功能，但對碰到個資、合約或稽核要求的公司，才是不能省的成本。
他們連儲存費也有仔細算。用自家資料測試後選 Cohere Embed v4 的 512 維版本，相較預設 1536 維，儲存量約少 66%，同時把 4K chunks 打包進 128K requests，實測每分鐘可處理 2,800 萬 tokens。這種做法不是單純追求最強模型，而是把安全、速度和帳單一起看。
最後落地的 Complaint Triage Assistant，可以讀多模態文件、找相似案例，再用信心門檻篩選，低信心案件交給人決定。每個案件省下 4 到 6 小時，新 use case 的部署時間也降一半。
對小公司來說，未必要一開始就做同等規模，但順序值得學：先定義資料誰能看、答案出錯誰負責、哪些情況一定要人工接手，再選模型和功能。底座做好後，客服、內部知識庫、文件審查才有機會共用一套規則。只做一個漂亮 demo，省下的是前期時間，留下的卻可能是之後重工和資料外洩的帳。
作者：偉老闆