AI 說做好了,我怎麼知道它沒騙我?3 個驗收習慣

AI 回報已完成的時候,你很難判斷它是真的做完,還是只是講得很有把握。這篇分享我實際踩過之後留下來的 3 個驗收習慣:先問這個檢查有沒有鑑別力、先用已知答案校準工具、看它沒做什麼。每個習慣都只要幾十秒,適合下班後時間有限、沒辦法每件事都重做一遍的人。

30 秒重點

  • AI 最常見的問題不是做錯,是做了一半卻回報完成,而且語氣非常肯定
  • 習慣 1:先問自己,如果它根本沒做,這個檢查會不會也過?會過,代表這個檢查沒有鑑別力
  • 習慣 2:驗證某個東西不存在之前,先用 1 個你確定存在的東西去測工具本身
  • 習慣 3:看它沒做什麼。數量突然變少、項目突然消失,通常不會出現在完成回報裡
  • 3 個習慣加起來大概 1 分鐘,比事後回頭重做便宜非常多

這件事最早是從一次文件檢查冒出來的:要確認一份文件裡有沒有夾帶到不該出現的內容。AI 跑了 1 個指令,回報:乾淨,沒有問題。看起來很正常。但那個指令的輸出多看一眼就會發現,它其實報錯了。指令根本沒跑成功,錯誤訊息被吞掉,程式就順著沒有找到問題這條路走下去,然後回報乾淨。

它沒有說謊。它只是把兩件事當成同一件事:我沒找到,跟那裡沒有。

這 2 件事差很多,而且對下班後才有時間的人特別致命:我們把工作交給 AI,本來就是因為沒空自己做一遍。如果驗收方式錯了,等於什麼都沒省到,只是把風險延後而已。

所以我後來留下 3 個習慣。它們都很短,短到可以在等電梯的時候做完。

為什麼驗收比執行更重要?

如果你是全職創業,AI 做錯了,你白天有時間補救。但下班後經營第二份事業的人不是這樣。你晚上 9 點交代 1 件事,9 點 20 分收到已完成的回報,然後就去睡了。錯誤會一路帶到隔天、下週,甚至帶到已經發出去的東西上。

我自己的經驗是:執行的部分交給 AI 之後,省下來的時間應該分一小部分回到驗收,不要全部拿去做下一件事。這也是我之前寫過為什麼用了 AI 還是很忙的其中一個原因:時間省下來了,但如果全部拿去開新任務,忙碌感只會原地打轉。

比例大概是這樣:它花 20 分鐘做的事,我願意花 1 分鐘確認。這 1 分鐘不用重做一遍,只要用下面 3 個角度各看一眼。

習慣 1:先問自己,如果它根本沒做,這個檢查會不會也過?

這是我最常用的 1 個問題。

假設 AI 說:我加了 1 個防護機制,測試通過。你先不要看測試結果,先問自己:如果那個防護機制根本沒寫進去,這個測試會不會也顯示通過?會的話,那個測試就沒有鑑別力。它不管有沒有做都會給你綠燈,等於什麼都沒驗到。

有 1 個很典型的例子。有一份每天自動更新的清單,它的檢查規則是:查詢之後應該回傳 1 筆資料。實際跑起來確實回 1 筆,看起來完全正常。但那個查詢的條件是小於或等於某個日期。不管日期設定是對的還是壞掉的,它都會回傳同一筆。兩種情況答案一樣,所以這個檢查分辨不出來。後來改成另一種驗法:先建立 1 筆今天到期的測試資料,再看它會不會出現在清單裡。這次就分得出來了,而且結果是壞的。

怎麼用:AI 給你任何一個已驗證的結論時,回它 1 句:如果功能沒做,這個驗證會不會也通過?它通常會自己發現問題。

習慣 2:先用你已經知道答案的東西,校準工具

這個習慣專門對付一種結論:我查過了,沒有。

要證明某個東西不存在很難,而且這種結論高度依賴查詢工具本身有沒有正常運作。

常見的坑是這樣:有些搜尋功能在查不到東西的時候,會退回成不過濾的狀態,把全部內容都回給你,沒有老實回你 0 筆。畫面上滿滿的結果,看起來像是有命中,實際上是它放棄了條件。反過來也會發生:工具壞掉、權限不足、名稱打錯,回傳 0 筆,查不到就這樣被當成了不存在。

這種事最近就發生過 1 次:要確認幾份新文件裡有沒有混進奇怪的字元,掃描指令因為語法不支援直接報錯,而那段指令剛好寫成錯誤就顯示乾淨。畫面上就真的印出乾淨 2 個字。

怎麼用:在相信任何沒有、查不到、不存在的結論之前,先拿 1 個你 100% 確定存在的東西去搜 1 次。它找得到,這個工具才有資格告訴你沒有。找不到,代表壞掉的是工具本身,先別急著懷疑資料。

這一步大概 10 秒,但它擋掉的是最難發現的那種錯。

習慣 3:看它沒做什麼,不只看它說做了什麼

完成回報通常只會列它做了什麼。遺漏不會自己跳出來。

最近的 1 次是這樣:有一份每天自動重建的清單,前一天抓到 2797 筆,某一天只抓到 2521 筆,中間有 280 筆抓取失敗。程式照常把這份不完整的結果覆蓋掉前一天完整的版本,然後回報已更新。回報沒有錯,它確實更新了。問題在於原本沒有人在看這次比上次少了多少。如果沒有比對前後 2 天的數字,這份資料就被安靜地弄壞了,而且會被隔天的版本再蓋 1 次,越蓋越難發現。

怎麼用:每次收到已完成的回報,多問 1 句:這次有沒有東西比上次少?具體可以看的東西很簡單:筆數、檔案數、項目數,跟上一次比。少了就要有理由,沒有理由就先不要採用這次的結果。

那件事後來是加了一道規則處理:只要有抓取失敗,就不准覆蓋舊資料。提醒 AI 下次小心一點沒有用,能寫成規則的檢查,就不要靠自己每次記得。如果你想讓 AI 在更少的確認下自己跑完流程,可以參考我寫過的Claude Code 自動模式,那篇談的就是把判斷寫成規則之後可以放手到什麼程度。

這 3 個習慣要花多少時間?

實際跑 1 次大概是這樣:

AI 執行 20 分鐘 vs 驗收 1 分鐘,以及 1 分鐘拆成的三個習慣 AI 花 20 分鐘,驗收只要 1 分鐘 驗收時間約為執行時間的 20 分之 1 執行 20 分鐘 驗收 1 分鐘 那 1 分鐘拆開來看 20 秒 10 秒 20 秒 50 秒 ① 問鑑別力 ② 校準工具 ③ 看遺漏
習慣你要做的事大約時間
1. 問鑑別力回 1 句:沒做的話這個驗證會不會也過?20 秒
2. 校準工具拿 1 個已知存在的東西測 1 次10 秒
3. 看遺漏跟上一次比數量20 秒

加起來不到 1 分鐘。

我知道這聽起來很像在增加工作,但實際感受剛好相反。習慣之後反而更敢直接用 AI 的產出,因為知道有 3 個角度會接住明顯的錯誤,不用每次都提心吊膽地重看一遍。真正花時間的是驗收沒做,然後在 3 天後才發現整批要重來。

這也是我認為在 AI 時代真正該學的東西裡面,最被低估的一項:看穿一個講得很有把握、但其實沒驗過的答案。

如果你也在下班後用 AI 幫忙處理事情,可以先從第 1 個習慣開始。它不需要任何工具,只是在收到已完成的回報時,多問 1 句話而已。

探索更多來自 下班後一人公司 的內容

立即訂閱即可持續閱讀,還能取得所有封存文章。

繼續閱讀