試點成功了。人工智能模型回答員工的問題，縮短處理個案的時間，或為申請作初步評估；團隊向管理層展示的成果，足以支持這筆開支。接着，內部審計、法務部或客戶提出問題：這個答案從哪裏來，數據放在哪裏，誰為此負責。試點回答不了這些問題，於是模型無法投入正式運作，也就是無法成為流程日常工作的一部分。建構的錢已經花了，流程仍然靠人手處理。
為何試點容易，投入流程卻困難
試點只回答一個問題：模型做不做得到。正式運作回答的是另一個問題：模型出錯時，後果由誰承擔。試點期間，模型使用經挑選的數據，在流程以外運行，答案只有幾個知道這是測試的人會看。正式運作時，答案會送到客戶手上、進入記帳，或成為審批申請的依據，後果由公司及其管理層負責。
這個差距的成本可以說得清楚。沒有來源的答案，需要有人以人手核對，公司於是付兩次錢：一次付給模型，一次付給核對。流出公司的數據，會變成律師的提問：流出了甚麼、給了誰、在甚麼時候。無法重現的決定，一旦與客戶發生爭議，就只剩公司與客戶各執一詞。審計師和律師問的，是試點無須具備的東西，項目就在這裏停下來。
模型投入流程前的三項條件
三項條件都必須在建構之前確定。在已完成的系統中，每一項都會成為獨立的項目，有自己的成本和時間表。
答案有來源
模型的每個答案都註明出處：合約編號、條款版本、系統中的記錄。把答案轉交出去的員工看得到來源，可以核實模型有沒有讀對。以一般知識作答、不附來源的模型，適合用來搜集構思。至於答案會對客戶產生影響的流程，只能採用完全根據公司文件庫作答的模型。文件庫存放的是業務部門已批准的內容。條款更改時，需要更新的是文件庫，模型維持不變。
清楚數據在哪裏、誰看得到
向模型供應商（即提供模型的公司）提出三個問題，就能確定這項條件。模型在哪裏運行：在歐盟境內的雲端，還是在公司自己的伺服器上。誰能接觸查詢和答案：公司員工、模型供應商，還是其分判商。供應商記錄甚麼：查詢會否被保存、保存多久、會否用來訓練其模型。這些答案須以書面寫入與供應商的合約。部分數據，例如客戶的個人資料或受保密責任保護的資料，完全不會送進模型，系統會在發出查詢前將其刪除或替換。這項決定要在揀選供應商之前作出，因為它決定了哪些供應商可以考慮。
決定可以撤回，也可以出示
在流程中，模型會作出或建議一些決定，幾個月後客戶、審計師或政府部門可能會追問。每項決定都需要記錄：模型收到甚麼數據、回答了甚麼、由誰在何時批准。投入運作前要完成風險評估：模型答錯會怎樣、會影響誰、會造成多少損失。凡決定對客戶有影響（拒絕申請、收取費用、更改條款），流程中都要保留「人在迴路」，即由員工在模型的答案送達客戶之前加以批准。此外還需要「停用掣」：事先議定流程如何回復到不用模型的模式，以及由誰有權啟動。歐盟《人工智能法案》按系統的風險程度訂立相應責任，而決定記錄、風險評估和人在迴路，正是審計師最先查核的項目。
對承辦商合約和預算的影響
三項條件應作為驗收準則寫入與系統承辦商的合約，並說明每一項如何查核。查核依據包括：附有來源的答案樣本、模型供應商就運行地點和記錄內容發出的書面確認、已記錄決定的樣本，以及停用測試的報告。不願把這些準則寫入合約的承辦商，等於表明自己交付的只是試點。
預算分兩部分，而試點只顯示第一部分。第二部分是上線後的維護。要有人持續抽樣評估模型的答案。條款或法規更改時，文件庫需要更新。供應商推出新版本模型，切換前必須先行測試。決定記錄不斷累積，需要有人檢視。一年的維護費用應與建構費用並列於報價中。缺少這一項，模型在法規第一次更改後仍會按舊版本作答，而且沒有人察覺。
我們團隊的成員曾在受監管的機構中主導人工智能部署。以下清單列出管理層無須閱讀技術文件、在驗收前便可提出的問題。
檢查清單：驗收前的八個問題
- 模型的每個答案是否都註明所依據的文件或系統記錄，員工能否加以核實？
- 模型在哪裏運行，數據存放在哪裏：在歐盟境內的雲端，還是在我們自己的伺服器上？
- 模型供應商會記錄我們查詢中的哪些內容、保存多久，以及會否用來訓練其模型？
- 哪些數據完全不會送進模型，由誰核實過？
- 每項決定是否都有記錄：模型收到甚麼數據、回答了甚麼、由誰在何時批准？
- 投入運作前有沒有完成風險評估，由誰簽署？
- 誰有權停用模型，流程回復人手模式需要多少時間？
- 模型上線後一年的維護費用是多少，由誰負責？
答案取決於模型要進入的流程：流程中作出哪些決定、根據甚麼數據、對客戶有何影響。因此，第一步是在任何人揀選模型之前，先分析這個流程。