上線後的人工智能維護

您的代理或模型上線後由我們維護：以日常樣本檢查答覆質素，控制使用費用，決定日誌隨時可供審計和處理投訴。

與我們討論您的項目查看範圍

範圍

客戶找我們時的情況

代理仍按舊規章回答
法律部修改了規章，代理卻繼續按舊版本回答客戶。更新文件庫不屬任何人的職責，因為承辦商在上線當日已完成項目。直至客戶引用一個公司已無法確認的答覆，錯誤才浮現。
模型賬單增長快過個案數量
模型供應商按每次查詢收費，賬單逐月增加，處理的個案數量卻沒有變。沒有人知道是哪個部門產生費用，也不知道代理是否在查詢一次已足夠的地方向模型查詢了幾次。
員工不再信任答覆
員工發現代理答非所問，或遺漏新產品，於是重新以人手查找。意見反映發到團隊聊天群組，或因無人收集而遺失。系統仍在運作，但使用的人越來越少。

範圍

我們的工作

維護由代理或模型投入日常工作當天開始；建構和上線屬另一服務範圍。我們接手已在運作的系統，不論由我們或其他承辦商建構，並確保它的答覆保持驗收當日的水平。
我們以日常工作中的樣本檢查答覆質素：按議定的周期抽取部分真實查詢，由您的業務部門以簡單評分標準評估答覆。分數比驗收當日下降，表示有些事情改變了：文件、價目表、法規或模型本身。答覆與現實逐漸脫節的現象稱為模型漂移；樣本能讓我們比客戶更早察覺。您購買模型使用權的供應商會推出新版本並停用舊版本；切換前，我們會以同一樣本檢查新版本。
文件庫、模型指示（prompt，即告訴模型應如何回答的文字）和模型版本都有版本編號和生效日期。每項修改經樣本檢查後，由您指定的人員批核，通常是流程負責人。如您的系統受歐盟《人工智能法案》規管，我們會把其要求納入修改的驗收準則。
模型使用費用取決於處理的文字量，以token計算；token即詞語的片段，供應商按此收費。我們設定限額，按部門和查詢類型分攤費用，並每月呈報。當費用增長快過個案數量時，我們會找出原因：查詢過長、重複查詢，或不符用途的使用。
AI決定日誌要做到無需程式員，也能回應客戶投訴和審計師的提問。每個答覆我們都會記錄日期、輸入資料、來源文件、模型和指示的版本，以及批核人。員工的意見反映集中於一處，每項都獲回覆並標示狀態，重複出現的問題會轉為待批核的修改。

範圍

您會得到甚麼

- 維護計劃：質素檢查周期、可能影響答覆的事件清單（新規章、價目表、模型版本），以及雙方就每項事件的負責人。
- 每月報告：樣本結果與驗收當日的比較、按部門劃分的使用費用、已實施及待批核的修改、員工意見反映及其狀態。
- AI決定日誌，附說明如何從中找出某個答覆，以處理投訴或審計。
- 修改紀錄：文件庫、指示和模型的每個版本，附日期、樣本檢查結果及批核人姓名。

範圍

工作如何進行

1. 我們接手系統。檢查代理使用哪些文件、運行哪個模型版本、記錄了甚麼，以及誰負責回覆意見反映。成果：起始狀態說明及缺漏清單。
2. 我們確立質素標準。與您的業務部門選定首個樣本和評分標準，用以判斷模型是否出錯。成果：每次後續檢查的基準水平。
3. 我們進行檢查和修改。按議定周期評估樣本、檢查費用、回覆意見反映，並準備修改供您批核。成果：每月報告和修改紀錄。
4. 我們移交或繼續負責。教導您的團隊自行進行檢查，或按合約繼續提供維護。成果：維護工作由熟悉其歷史的人負責。

範圍

團隊經驗

團隊成員曾在醫療領域參與一個用於體外受精範疇的AI平台。該平台按醫療器械（FDA、CE、MDR）的要求管理，面向歐盟及美國市場。

範圍

管理層應向AI維護承辦商提出的問題

1. 誰評估答覆樣本、多久一次，我們如何得知分數比驗收當日下降？
2. 承辦商如何得知我們的規章或價目表已修改，由誰把修改輸入文件庫？
3. 供應商停用我們正在使用的模型版本時會怎樣，切換前由誰檢查新版本？
4. 我們這邊由誰批核模型指示和文件庫的修改？
5. 我們每月會以甚麼形式看到模型使用費用，超出限額後會怎樣？
6. 如何在決定日誌中找出幾個月前的答覆，日誌保存多久？
7. 員工在哪裏報告錯誤答覆，誰會回覆，我們如何知道有多少項報告正在等候處理？
維護範圍取決於代理的工作內容及其出錯的後果，因此第一步是分析流程，以及上線後記錄了甚麼。