行銷流程裡，AI 出錯比沒跑更貴
去年我們跑了一個 AI 自動化的報價追蹤流程。用 Make 串了 CRM 跟 Claude API，邏輯很簡單：lead 進來，AI 判斷需求等級，自動生成報價 email，直接送出去。
第一週跑得很順，我們甚至在慶功。
第三週，發現 AI 把一個企業版 lead 的報價低估了 40%，因為 prompt 沒處理到某個特殊的用量條件。那封 email 已經發出去了，客戶已經截圖，業務去收拾殘局花了兩個禮拜。
那次之後我才真的懂，跑通跟能上線是兩件事。
看到論壇那個討論「沒有工程背景，AI 寫的 code 跑起來了，然後呢？」，有人說「沒有 rollback plan 不能上」、「報價出錯比沒報價還慘」。我一邊看一邊點頭，說的就是這件事：AI 系統的上線門檻，跟它能不能跑沒有太直接的關係。
我後來把 AI workflow 按「出錯的後果」分類。後果是內部的就全自動：內容初稿、A/B test 文案、keyword 分類，出錯頂多效率損失。後果是外部的就必須有人工確認點：報價生成、個人化 email、客戶分群，這類我現在一律至少一個人工簽署 step，沒人確認不讓它跑下一步。
第二類最容易出問題，因為看起來可以自動化，但後果是外部的。我們的 Make 流程曾經有一段，客戶填表後自動進 onboarding 序列，某個條件沒設好，6 個 lead 同一天收到三封重複的歡迎信。那週 reply rate 掉了 18%，還要一一發道歉信補救。
關於 trace log，「強制讓 AI 輸出 trace log，出錯了有辦法定位」這個做法我認同，但 log 本身不夠，你還要決定誰來看、多久看一次。我們有段時間有 log 但沒人盯，等到問題被發現，log 裡已經有 80 筆有問題的 record。
後來加了簡單的機制：每天早上 Make 跑一個 summary，把前一天所有 AI node 的 output 狀態 email 給我。不自動修，就是讓我知道哪裡不對勁。這個加下去之後，發現問題的平均時間從 4 天縮到半天。
第三個坑是 human-in-loop 節點沒畫清楚。大家串流程時通常先把 happy path 畫完，human review 是事後才加的，有時候根本忘了。那個「客服 flow 卡死是因為人工確認點沒畫清楚」的案例，我完全有畫面，踩過同樣的坑。
一個行銷 AI workflow 要能上線，我現在問三件事：壞掉怎麼回滾？怎麼在半小時內搞清楚昨天出了什麼問題？哪些 step 要人接手，有沒有清楚畫出來？答不出來就還沒準備好。
穩定性比參數重要這個道理，行銷人通常要親自踩一次才信。我信了。📈
作者：Stella