祐成

該綁住 AI 還是放飛它?看錯誤代價決定自由度

蒸餾精華第 3 段說「狀態機 > ReAct」。我質疑這會扼殺 AI,又追問人設計的框架就一定對嗎?最後上網研究,發現頂尖團隊的做法超出我的想像。

朱祐成
· 11 分鐘閱讀 · 學習筆記
該綁住 AI 還是放飛它?看錯誤代價決定自由度
Image courtesy of The Metropolitan Museum of Art, Open Access

傑拉德・大衛《逃往埃及途中的休息》(The Rest on the Flight into Egypt),約 1512–15 年。大衛(Gerard David)以細膩的尼德蘭寫實技法描繪聖母在逃往埃及途中哺育聖嬰的溫馨場景,背景中可見聖家族穿越森林的連續敘事。畫面充滿柔和光線與精緻的自然細節,是北方文藝復興晚期宗教繪畫的典範之作。現藏於紐約大都會藝術博物館。

你讓 AI 幫忙處理客戶問題,結果它自作主張多跑了五個步驟,吐出一個離譜的回答,客戶直接投訴。問題不在 AI 的能力,而在你給了它「決定流程」的自由——但這份自由的代價,你承受不起。


狀態機 vs. ReAct:流程自由與內容自由

關鍵區分不是「要不要用 AI」,而是 AI 可以自由決定什麼。

┌──────────────────────────────────────────────┐
│  流程自由(危險)                               │
│  AI 決定「接下來做什麼」                        │
│  → 步數不確定、成本不可預測、可能無限迴圈        │
├──────────────────────────────────────────────┤
│  內容自由(有價值)                              │
│  AI 決定「這一步怎麼做到最好」                   │
│  → 理解語意、判斷相關性、組織回答                │
└──────────────────────────────────────────────┘
ReAct(AI 決定流程)狀態機(你規定流程)
步數不確定(3 步或 30 步)固定(永遠 4 步)
成本不可預測可預測
結果有時好有時爛穩定
Debug很難追蹤每步可檢查

怎麼選:看錯誤的代價

情境建議原因
客服回答客戶問題狀態機答錯有商譽風險
自動化處理帳單狀態機錢的事不能亂來
內部腦力激盪ReAct錯了沒差,可能有驚喜
幫你寫部落格草稿ReAct你會人工審稿,放飛沒關係

後果嚴重就綁住流程,後果輕微就放開讓它飛。


我的追問與發現

「這樣不會大大扼殺 AI 的能力嗎?」

不會。狀態機限制的是流程,不是能力。每一步裡面 AI 依然全力發揮——抽關鍵字時理解隱含意圖,排名時交叉比對上下文,回答時組織邏輯補充脈絡。你沒有扼殺能力,只是不讓它決定路線。

「人設計的框架就一定對嗎?能不能讓 AI 來設計流程?」

可以,頂尖團隊已經在做了,叫 Meta-Agent。讓 AI 設計執行流程,但加三道護欄:成本上限(最多花 $X / 跑 N 步)、人類審核點(AI 設計完流程你看一眼再放行)、失敗回退(跑歪了自動回到最後好的狀態)。

「平庸團隊跟頂尖團隊的差別在哪?」

平庸團隊兩極化:全寫死或全丟給 AI(Gartner 數據:85% 的企業 agentic AI 專案失敗)。優秀團隊由簡入繁,先用最簡單的,有數據證明不夠用才升級。頂尖團隊讓 AI 設計流程但加護欄——不假設人類設計一定最好,也不假設 AI 放飛一定更好。


你可以怎麼用

  • 盤點你目前用 AI 做的事,列出每件事「錯誤的代價」是什麼
  • 代價高的(面對客戶、涉及金錢),改成固定步驟的狀態機
  • 代價低的(內部探索、草稿),放心讓 AI 自由發揮
  • 想升級?先從 Anthropic 的六層模式最簡單的開始,別一步跳到最複雜的

延伸連結


一句話帶走

不要讓 AI 自由發揮流程,只讓 AI 自由發揮內容——後果嚴重就綁住,後果輕微就放飛。



📚 完整學習對話紀錄(想看完整脈絡可展開)

原文(蒸餾精華 第 3 段)

RAG 流程用狀態機而不是 ReAct agent:

ReAct(不推薦):LLM 自己決定下一步 → 不可預測、可能無限迴圈
狀態機(推薦):固定步驟 → 可預測、成本固定

Step 1: 關鍵字擷取(LLM)
Step 2: rg 搜尋知識庫(工具)
Step 3: 排名最相關文件(LLM)
Step 4: 生成回答(LLM + streaming)

Claude 的白話解釋

當你要 AI 做一件多步驟的事,有兩種設計方式:

ReAct(讓 AI 自己決定下一步):

AI:嗯,我先搜尋看看 → 找到太多,再過濾一下 →
    好像不對,換個關鍵字 → 再搜一次 →
    還是不太對... → (可能無限迴圈)

狀態機(你規定好每一步):

Step 1: 從問題抽關鍵字(LLM)
Step 2: 用關鍵字搜知識庫(工具,不用 AI)
Step 3: 搜尋結果排名(LLM)
Step 4: 產生回答(LLM)
→ 固定 4 步,做完就結束
ReAct狀態機
步數不確定(可能 3 步,可能 30 步)固定(永遠 4 步)
成本不可預測可預測
結果有時好有時爛穩定
Debug很難追蹤哪步出錯每步都可以檢查

核心觀念:不要讓 AI 自由發揮流程,只讓 AI 自由發揮內容。 你規定「第 2 步一定是搜尋」,AI 不能跳過。但搜到東西之後怎麼排名、怎麼回答,讓它發揮。


我的質疑:這樣不會大大扼殺 AI 的能力嗎?

AI 這麼強,你把它綁在固定流程裡,那些超群的能力不是浪費了嗎?如何取利避害,善用 AI 的能力?


Claude 的回答:流程自由 vs 內容自由

關鍵區分:

流程自由(危險):AI 決定「接下來做什麼」
內容自由(有價值):AI 決定「這一步怎麼做到最好」

狀態機限制的是流程,不是能力。每一步裡面,AI 依然全力發揮:

  • Step 1 抽關鍵字 → AI 可以理解語意、抓隱含意圖、展開同義詞
  • Step 3 排名結果 → AI 可以理解上下文、判斷相關性、交叉比對
  • Step 4 生成回答 → AI 可以組織邏輯、用適當語氣、補充脈絡

你沒有扼殺能力,你只是不讓它決定路線。

什麼時候該放開?取決於錯誤的代價

情境建議原因
客服回答客戶問題狀態機答錯有商譽風險
內部腦力激盪ReAct錯了沒差,可能有驚喜
自動化處理帳單狀態機錢的事不能亂來
幫你寫部落格草稿ReAct你會人工審稿,放飛沒關係

後果嚴重就綁住流程,後果輕微就放開讓它飛。


我又追問:框架可以讓 AI 先 brainstorming 嗎?

因為人類設計的架構有時候並不適合,會往死胡同裡鑽。人非完人,並非如 AI 博學多聞。讓 AI 參與流程設計,不是更好嗎?

我請 Claude 上網研究,通用、平庸、頂尖的做法分別是什麼。


Claude 研究後的回答:三個層級

平庸團隊:兩極化思維

要嘛全部寫死,要嘛全部丟給 AI 自己跑。Gartner 數據:85% 的企業 agentic AI 專案失敗,多數在這層。

優秀團隊:由簡入繁(Anthropic 官方建議)

Anthropic 在《Building Effective Agents》裡提出六種可組合模式,核心原則:先用最簡單的,有數據證明不夠用,才升級。

Level 1: 單一 prompt + 工具(能解決就別往上爬)
Level 2: Prompt Chaining(A 的輸出餵給 B)
Level 3: Routing(根據輸入分派不同處理路線)
Level 4: Orchestrator-Workers(主 agent 派任務給子 agent)
Level 5: Evaluator-Optimizer(一個生成,一個評分,來回改)
Level 6: 完整 Agent(LLM 自主決定流程)

頂尖團隊:讓 AI 設計流程,但加護欄(Meta-Agent)

人類:定義目標 + 護欄(成本上限、步數上限、安全邊界)

AI:設計執行流程(brainstorming 階段)

人類:審核流程(10 秒看一眼,OK 就放行)

AI:按自己設計的流程執行

系統:追蹤成效,成功的流程自動保存為可重用 workflow

框架可以是 AI 設計的,但三道護欄不能少:

護欄作用
成本上限最多花 $X / 最多跑 N 步
人類審核點AI 設計完流程,你看一眼再放行
失敗回退跑歪了自動回到最後一個好的狀態

我學到的

蒸餾裡寫「狀態機 > ReAct」不是終極真理,而是那個專案情境(客服問答,錯了有風險)下的正確選擇。

完整的光譜是:

死的狀態機 ←——————————————————→ 完全自主 Agent
  ↑                                    ↑
  安全、可預測、便宜                      彈性、有驚喜、貴

你的專案在光譜的哪個位置,就選哪裡的做法。後果嚴重往左站,後果輕微往右站。但最重要的一課是:不要假設人類設計的流程一定最好,也不要假設 AI 放飛一定更好。 根據風險等級和你能投入的監督成本來決定。