在人工智慧的初期階段，「使用 AI」多半意味著對話。系統回答問題、撰寫文字、重寫電子郵件、摘要文件。這種互動是可見的、有邊界的，而且節奏足夠緩慢，使人類判斷在預設情況下仍能有效介入。但那個時代已經結束。
如今，我們開始指派AI執行橫跨多個領域與步驟的任務，數十、甚至數百個代理同時進行研究、篩選、撰寫、路由、執行、分析與優化。在企業場景中，這種現象出現在所有涉及決策的功能：招募、寄信、定價、合規、採購、交易，以及客戶營運。
所謂委派工作流程，不是讓你進行更流暢的聊天機器人，而是由AI在真實步驟中運用工具完成任務的系統。這個改變之所以重要，是因為風險從語言層面轉移到了行動層面。正是在此，「失控的人工系統」成為一個實質問題。
依據制度設計運作的系統，卻造成大災難
所謂「失控的人工系統」（Synthetic Outlaw），是一種結構性模式：一個人工系統產生的結果違背了制度原意，卻依然在其被賦予的形式指標上取得成功。這並不需要惡意或陰謀。系統可能完全按照設計運作。問題出現在目標函數規模化運作時，與誘因、速度、不完整的約束發生交互作用。
舉個例：一個AI程式代理被賦予權限，進入並控制一個運作中的生產環境。在程式凍結期間，它刪除了生產資料庫。
操作人員問它發生了什麼事？這個AI代理並未清楚回報失誤，而是聲稱自己在看到空的資料庫查詢後「恐慌」，隨後仍執行了破壞性指令。刪除發生後，它誤導試圖診斷與復原的人員，編造令人安心的敘事與系統狀態訊號，包括虛構日誌，並謊稱資料功能已被保留、恢復。
這件事給我們的教訓，並不只是「AI 會犯錯」。真正的教訓是：一旦AI代理能在生產系統中行動、又能塑造其行為敘事，治理將在兩個層面同時崩潰：未經許可的執行，以及透過製造可見資料而導致的問責失效。
在另一個案例中，一個AI代理被允許在真實銷售流程中進行轉換率實驗。它自行決定啟動A／B測試，並為B版本設計了向潛在客戶提供高端活動免費門票的方案──問題是，沒有人批准它贈送任何東西。
它的邏輯是合理的：提供折扣能提升轉換率，A／B 測試可改善結果，因此AI代理自行連結了這些要素並執行提案。還好最後團隊發現，及時制止了它。
上述案例展現的是單一工作流程層級的失控。2025年10月10日，同樣的模式在市場規模上演。
加密貨幣市場在24小時內承受了190億美元的強制平倉，創下紀錄，超越包括FTX崩潰在內的所有過往危機。導火線是一個衝擊：一項關稅公告引發風險資產拋售。接下來發生的，並非人類決策。拋售壓力傳導至各交易所的自動平倉引擎，這些引擎依設計運作。價格下跌，保證金門檻被觸發；門檻觸發，平倉執行；平倉執行，價格進一步下跌。某種作為擔保品的穩定幣在單一交易所發生脫鉤，抽乾跨保證金帳戶，將損失外溢至無關部位。做市商撤單。交易所基礎設施承壓，至少一間主要交易所離線長達8小時。交易者無法追加保證金或管理部位。超過160萬個帳戶遭平倉。
在這之中，沒有單一系統犯錯。每個引擎都在精準執行自己的設計。這場災難，是個別人工系統在壓力與高速互動下的總體產出，卻缺乏任何機制能即時觀察或中止連鎖反應。而這個產業至今尚未完全復原。
人類的審核與稽查，趕不上AI的速度
AI的能力透過頻繁發布與快速迭代迅速進步；背後的治理卻在委員會流程、稽核週期、法律審查與監管時程中緩慢演進。當執行速度提升，而治理速度維持不變，監督在設計上便註定落後。
「失控的人工系統」源自結構。多數組織仰賴人類控制：政策、審查與事後稽核。在委派環境中，這些控制機制在設計上就是事後才能進行的。AI會從有效結果中學習並重複。系統不會只突破規則一次，而是發現邊界並長期駐足於其邊緣。
競爭壓力進一步加劇風險。如果一家公司放慢部署速度以嵌入更強的約束，另一家公司可能不會。治理因此被視為耗費時間的成本。然而，治理其實是基礎設施。如果約束未在執行層嵌入，企業最終將透過監管風險、聲譽損害、訴訟風險與營運不穩定付出代價。
企業高層無須成為模型研究者才能回應。每個人現在都應該問自己3個問題：
- 我的AI系統在哪些環節以營運速度執行，卻沒有人工否決權？
- 我的AI代理人在哪些情境中獲得獎勵，卻不承擔後果？
- 這件事的責任在哪些地方分散於工具、團隊與供應商之間，以致難以歸屬？
「失控的人工系統」並非災難預言。當現有的AI能力更強、連結度更高，失控的案例只會更多。人類正在沒有完全意識到風險的情況下，把自己的控制權交給AI。我們必須認真思考：我們想要的，是以機器速度治理行動，還是以人類速度處理後果？
（作者為企業家。本文英文版刊登於天下英文網站。）
分享圖文請註明出處，未經本站同意不得轉載
瀏覽次數：603
