Opieka nad AI po starcie

Opieka zaczyna się w dniu, w którym agent albo model wchodzi do codziennej pracy; budowa i uruchomienie to osobny zakres. Przejmujemy rozwiązanie, które już działa, zbudowane przez nas albo innego wykonawcę, i pilnujemy, żeby odpowiadało tak samo dobrze jak w dniu odbioru.

Jakość odpowiedzi sprawdzamy na próbkach z bieżącej pracy: w ustalonym rytmie pobieramy część rzeczywistych zapytań, a Twój dział merytoryczny ocenia odpowiedzi według prostej skali. Spadek wobec poziomu z dnia odbioru to sygnał, że coś się zmieniło: dokumenty, cennik, przepis albo sam model. Takie rozchodzenie się odpowiedzi z rzeczywistością to dryf modelu; próbka pozwala zauważyć je wcześniej niż klient. Dostawca, od którego kupujesz dostęp do modelu, wydaje nowe wersje i wycofuje stare; nową wersję sprawdzamy na tej samej próbce, zanim na nią przełączymy.

Baza dokumentów, instrukcja dla modelu (prompt, czyli tekst, który mówi modelowi, jak ma odpowiadać) i wersja modelu mają numer wersji i datę wprowadzenia. Każdą zmianę zatwierdza wskazana osoba po Twojej stronie, zwykle właściciel procesu, po sprawdzeniu na próbce. Jeśli Twój system podlega unijnemu rozporządzeniu o sztucznej inteligencji (AI Act), jego wymagania wpisujemy do kryteriów odbioru zmian.

Koszt użycia modelu zależy od ilości przetworzonego tekstu, liczonego w tokenach, czyli fragmentach słów, za które dostawca wystawia rachunek. Ustawiamy limity, dzielimy koszt według działów i rodzajów zapytań i pokazujemy go co miesiąc. Gdy rośnie szybciej niż liczba spraw, szukamy przyczyny: zbyt długie zapytania, powtórzenia albo użycie niezgodne z przeznaczeniem.

Dziennik decyzji AI ma odpowiadać na reklamację klienta i pytanie audytora bez programisty. Przy każdej odpowiedzi zapisujemy datę, dane wejściowe, dokumenty źródłowe, wersję modelu i instrukcji oraz osobę, która ją zatwierdziła. Zgłoszenia pracowników trafiają w jedno miejsce, każde dostaje odpowiedź i status, a powtarzające się zamieniamy w zmianę do zatwierdzenia.