Pilotaż się udał. Model sztucznej inteligencji odpowiada na pytania pracowników, skraca obsługę zgłoszeń albo wstępnie ocenia wnioski, a zespół pokazał zarządowi wynik, który uzasadnia wydatek. Potem przychodzi audyt wewnętrzny, dział prawny albo klient i pyta: skąd ta odpowiedź, gdzie są dane, kto za to odpowiada. Pilotaż nie ma na to odpowiedzi, więc model nie wchodzi do produkcji, czyli do codziennej pracy procesu. Pieniądze na budowę zostały wydane, a proces dalej obsługują ludzie.
Dlaczego pilotaż jest łatwy, a wejście do procesu trudne
Pilotaż odpowiada na jedno pytanie: czy model potrafi. Produkcja odpowiada na inne: kto ponosi skutki, gdy model się pomyli. W pilotażu model pracuje na wybranych danych, obok procesu, a odpowiedzi ogląda kilka osób, które wiedzą, że to próba. W produkcji odpowiedź trafia do klienta, do księgowania albo do decyzji o wniosku, a za jej skutki odpowiada firma i jej zarząd.
Koszt tej różnicy da się nazwać. Odpowiedź bez źródła ktoś musi sprawdzić ręcznie, a wtedy firma płaci dwa razy: za model i za sprawdzanie. Dane, które wyszły poza firmę, wracają jako pytanie prawnika: co wyszło, do kogo i kiedy. Decyzja, której nie da się odtworzyć, jest przy sporze z klientem słowem firmy przeciwko słowu klienta. Audytor i prawnik pytają o rzeczy, których pilotaż nie musiał mieć, i tu projekt się zatrzymuje.
Trzy warunki, zanim model wejdzie do procesu
Wszystkie trzy trzeba ustalić przed budową. W gotowym systemie każdy z nich jest osobnym projektem, z własnym kosztem i terminem.
Odpowiedź ma źródło
Każda odpowiedź modelu wskazuje, skąd pochodzi: numer umowy, wersję regulaminu, wpis w systemie. Pracownik, który tę odpowiedź przekazuje dalej, widzi źródło i może sprawdzić, czy model przeczytał je poprawnie. Model, który odpowiada z ogólnej wiedzy, bez źródła, nadaje się do szukania pomysłów. Do procesu, w którym odpowiedź ma skutek dla klienta, wchodzi model odpowiadający wyłącznie na podstawie bazy dokumentów firmy. W tej bazie leży to, co zatwierdził dział merytoryczny. Gdy zmienia się regulamin, aktualizacji wymaga baza dokumentów. Model zostaje ten sam.
Wiadomo, gdzie są dane i kto je widzi
Trzy pytania do dostawcy modelu, czyli firmy, od której model pochodzi, rozstrzygają ten warunek. Gdzie model pracuje: w chmurze w Unii Europejskiej albo na własnych serwerach firmy. Kto ma dostęp do zapytań i odpowiedzi: pracownicy firmy, dostawca modelu, jego poddostawcy. Co dostawca zapisuje: czy zapytania są przechowywane, jak długo i czy służą do uczenia jego modeli. Odpowiedzi należą do umowy z dostawcą, na piśmie. Część danych, na przykład dane osobowe klientów albo objęte tajemnicą, do modelu nie trafia wcale. System usuwa je albo zastępuje przed wysłaniem zapytania. Ta decyzja zapada przed wyborem dostawcy, bo wyznacza, kto w ogóle wchodzi w grę.
Decyzję da się cofnąć i pokazać
Model w procesie podejmuje albo podpowiada decyzje, o które po miesiącach zapyta klient, audytor albo urząd. Każda potrzebuje zapisu: jakie dane model dostał, co odpowiedział, kto zatwierdził i kiedy. Przed startem powstaje ocena ryzyka: co się stanie, gdy model odpowie źle, kogo to dotknie i ile będzie kosztowało. Tam, gdzie decyzja ma skutki dla klienta (odmowa, naliczenie opłaty, zmiana warunków), w procesie zostaje człowiek w pętli, czyli pracownik, który zatwierdza odpowiedź modelu, zanim trafi ona do klienta. Do tego przycisk wyłączenia: ustalony wcześniej sposób, w jaki proces wraca do trybu bez modelu, i osoba, która ma prawo go użyć. Unijne rozporządzenie o sztucznej inteligencji nakłada obowiązki zależne od ryzyka systemu, a zapis decyzji, ocena ryzyka i człowiek w pętli są tym, co audytor sprawdzi najpierw.
Co to oznacza dla umowy z wykonawcą i dla budżetu
Trzy warunki wchodzą do umowy z wykonawcą systemu jako kryteria odbioru, z opisem, jak każde zostanie sprawdzone. Do sprawdzenia służą: próbka odpowiedzi ze wskazanymi źródłami, pisemne potwierdzenie dostawcy modelu, gdzie pracuje i co zapisuje, próbka zapisanych decyzji i protokół z testu wyłączenia. Wykonawca, który nie chce tych kryteriów zapisać w umowie, deklaruje, że dostarczy pilotaż.
Budżet ma dwie części, a pilotaż pokazuje tylko pierwszą. Druga to utrzymanie po starcie. Ktoś ocenia odpowiedzi modelu na bieżącej próbce. Baza dokumentów wymaga aktualizacji, gdy zmienia się regulamin albo przepis. Dostawca wydaje nowe wersje modelu, które trzeba sprawdzić przed przełączeniem. Zapis decyzji rośnie i ktoś go przegląda. Cena utrzymania na rok powinna stać w ofercie obok ceny budowy. Bez tej pozycji model po pierwszej zmianie przepisów odpowiada według starej wersji i nikt o tym nie wie.
Osoby z zespołu prowadziły wdrożenia AI w organizacjach regulowanych. Lista poniżej zbiera pytania, które zarząd może zadać przed odbiorem bez czytania dokumentacji.
Lista kontrolna: osiem pytań przed odbiorem
- Czy każda odpowiedź modelu wskazuje dokument albo wpis w systemie, z którego pochodzi, i czy pracownik może to sprawdzić?
- Gdzie pracuje model i gdzie leżą dane: w chmurze w Unii Europejskiej czy na naszych serwerach?
- Co dostawca modelu zapisuje z naszych zapytań, jak długo je przechowuje i czy uczy na nich swoje modele?
- Które dane w ogóle nie trafiają do modelu i kto to sprawdził?
- Czy każda decyzja ma zapis: jakie dane model dostał, co odpowiedział, kto zatwierdził i kiedy?
- Czy przed startem powstała ocena ryzyka i kto ją podpisał?
- Kto ma prawo wyłączyć model i ile czasu zajmuje powrót procesu do trybu ręcznego?
- Ile kosztuje utrzymanie modelu przez rok po starcie i kto je prowadzi?
Odpowiedzi zależą od procesu, w który model ma wejść: jakie decyzje w nim zapadają, na jakich danych i z jakim skutkiem dla klienta. Dlatego pierwszym krokiem jest analiza tego procesu, zanim ktokolwiek wybierze model.