AI 回答正確,還是可能害你損失一大筆錢
我最近看到一個稅務 AI benchmark,第一個反應不是「哪個模型最強」,而是:如果我把這種工作交給 AI,我到底要怎麼知道它還沒有漏掉會讓我損失大錢的地方?
這個問題對一人電商特別現實。我平常叫 AI 寫商品頁、整理客服、看銷售表,錯一個形容詞,頂多重寫一次。但如果是稅務、合約、付款條件這種事情,AI 回答得很順,不代表事情做對了。真正危險的,往往是它沒有問那個你自己也不知道要問的問題。
Surge AI 最近發布的 DAYJOB Tax,就是在測這件事。它準備了 50 個專業稅務環境、1789 份工作檔案,涵蓋八種稅務實務。每份工作不只是問一個標準答案,而是要求模型處理資料矛盾、指令不完整的情況,最後交出申報、workpaper、審查或建議。榜首 Claude Sonnet 5.5 的 pass@1 也只有 10.8%,而且要達到 rubric 的 95% 才算通過。
這個數字我看了反而比較放心。因為它測的不是「會不會背規則」,而是能不能像一個負責任的專業人員一樣,停下來發現問題。
文章裡有一個案例,模型對賣房日期的建議本身是對的,但沒有提醒客戶必須在 2027 年 8 月底前滿足自住年限門檻。少講這一句,客戶可能損失 25 萬美元的所得排除。另一個退休帳戶案例,模型直接給了分帳建議,卻沒有先查明當事人是否存在可能的 common-law marriage。這兩個例子很像我叫 AI 幫忙處理供應商資料:它可以把表格算得很漂亮,但如果沒有先問「這個金額是不是含稅」或「這筆退款是不是已經入帳」,後面全部都可能建立在錯的前提上。
所以我現在會把「AI 做得對不對」拆成四個驗收問題。
第一,未知項目有沒有列出來。交辦時我會要求 AI 明確寫出:目前缺哪些資料,哪些資料不確定,還有哪些情況一變,結論就要重算。不能接受一句「根據目前資訊,建議如下」就結束。我要看到目前資訊到底缺了什麼。
第二,關鍵期限有沒有單獨拉出來。日期不能埋在長篇說明裡,請 AI 把申報日、付款日、資格截止日、可能失去權利的最後期限分開列,並標註是已確認、推算,還是需要人查證。對電商來說,這也適用於退貨期限、合約續約日、平台申訴期限。晚一天,可能就不是省時間,而是直接少一筆錢 💰
第三,假設誰來確認。任何「如果」都要變成一張清單,例如假設客戶是某種身分、假設資料完整、假設某筆款項屬於某個類別。AI 可以先做分析,但不能自己把關鍵假設藏掉。我會要求它標出「需要我確認」的欄位,沒有確認就不能進入最後交付。
第四,交付前做風險檢查。這一步不是再問一次「答案對嗎」,而是反過來問:如果這個建議錯了,最可能漏掉什麼?有沒有與輸入資料矛盾?有沒有客戶沒問、但專業人員應該主動提醒的事情?有沒有一個日期、資格條件或例外情境會推翻目前結論?這種反向檢查,才是我願意花時間看的部分。
我的做法會是把 AI 分成兩段。第一段只准它整理資料、列未知項、找矛盾、提出問題,不准急著下結論。第二段才讓它根據已確認的資料產出文件,並附上假設、期限和風險檢查結果。最後涉及報稅、付款、法律責任的地方,還是由人確認。這不是不信任 AI,而是把它放在它比較擅長的位置,讓它增加檢查力,不要假裝自己是最後簽名的人。
很多人看到 10.8% 會說 AI 還不能做專業工作。我覺得這個結論太快。更有用的問題是,我們是不是一直用「回答看起來合理」來驗收專業工作?如果是,那人也可能漏掉關鍵條件,只是人犯錯時比較會用自信的語氣掩飾。
對一人公司來說,我最想要的不是一個永遠答對的 AI,這種東西目前也不存在。我想要的是一個會把不知道的地方圈出來、會提醒我期限、會要求我確認假設,最後還會問我「你是不是漏了什麼」的助手。省錢的做法不是把專業責任整包丟給 AI,而是讓 AI 先把容易漏看的風險攤在桌上,再由我決定哪些能交,哪些一定要找專業人士看。這樣才是真的省時間,也比較不會省到最後變成賠錢 🤦
作者:偉老闆