Efekty wdrożenia AI: jak je mierzyć i kiedy wyłączyć pilota

Efekty wdrożenia AI mierzy się tak samo jak efekty każdej zmiany w procesie: przed startem ustalasz kilka wskaźników, mierzysz je na obecnym procesie, a potem porównujesz z wynikami pilota. Bez tego punktu odniesienia po trzech miesiącach zostaje wrażenie, że jest szybciej, i nikt nie potrafi powiedzieć, o ile ani za jaką cenę. W tym tekście opisuję, jak wybrać wskaźniki, jak sprawdzać jakość odpowiedzi, jak liczyć czas i koszty oraz kiedy uczciwie zakończyć pilota.

Dlaczego efekty wdrożenia AI trzeba zaplanować przed startem

Bo po starcie każdy ma już swoje zdanie, a dane z okresu przed zmianą są nie do odtworzenia. Firm, które stoją przed tą decyzją, przybywa: według danych Eurostatu o wykorzystaniu AI w przedsiębiorstwach w 2025 r. technologie AI stosowało 19,95% firm w UE zatrudniających co najmniej 10 osób, a w Polsce 8,36%. Coraz mniej chodzi o to, czy spróbować, a coraz bardziej o to, czy próba się opłaciła.

Pokaz modelu językowego na kilku przykładach robi wrażenie, a pilotaż na wybranych sprawach zwykle wypada dobrze, bo ludzie się starają. Prawdziwy obraz daje dopiero porównanie na zwykłej pracy, w zwykłym tempie, z ustalonymi wcześniej kryteriami. Dlatego zanim podpiszesz zamówienie na pilota, zapisz na jednej stronie, co ma się poprawić, o ile i po czym poznasz, że się nie udało.

Punkt odniesienia: zmierz proces, zanim go zmienisz

Punkt odniesienia to kilka liczb opisujących, jak proces działa dziś, zebranych przez co najmniej kilka tygodni zwykłej pracy. Bez niego każda poprawa jest deklaracją, a nie wynikiem.

Weźmy jako przykład dział, który ręcznie wprowadza faktury kosztowe do systemu księgowego. Przed pilotem warto policzyć:

• ile dokumentów wpływa w tygodniu i jak zmienia się to w ciągu miesiąca,
• ile czasu zajmuje obsługa jednego dokumentu, od otwarcia maila do zaksięgowania,
• ile dokumentów wraca do poprawki i z jakiego powodu,
• jak długo dokument czeka w kolejce, zanim ktoś się nim zajmie,
• ile kosztuje godzina pracy osób, które to robią.

Tych danych zwykle nie ma w żadnym systemie. Wystarczy prosty arkusz, do którego zespół przez kilka tygodni dopisuje czas i błędy. To nudna praca, ale bez niej rozmowa o efektach jest rozmową o odczuciach.

Jakie wskaźniki wybrać

Żeby ocenić efekty wdrożenia AI, wybierz dwa do czterech wskaźników, po jednym z obszarów czasu, jakości i kosztu, a jeśli proces dotyczy klientów, dodaj wskaźnik ryzyka. Więcej wskaźników rozmywa decyzję, bo zawsze któryś się poprawi.

Obszar	Przykładowy wskaźnik	Jak mierzyć
Czas	Czas obsługi jednej sprawy, czas do pierwszej odpowiedzi	Znaczniki czasu w systemie zgłoszeń lub arkuszu
Jakość	Odsetek poprawnych wyników w próbce, liczba poprawek ręcznych	Ocena próbki przez eksperta według ustalonych kategorii błędów
Koszt	Pełny koszt obsługi jednej sprawy	Opłaty za model i serwery plus czas ludzi na weryfikację
Zakres	Odsetek spraw zamkniętych bez udziału człowieka	Statusy w systemie, z podziałem na typy spraw
Ryzyko	Reklamacje, eskalacje, incydenty z danymi	Rejestr zgłoszeń i przegląd przypadków

Dla każdego wskaźnika zapisz wartość z punktu odniesienia, wartość docelową i próg, poniżej którego pilot nie ma sensu. Te trzy liczby ustalasz przed startem i nie zmieniasz ich w trakcie tylko dlatego, że wyniki są gorsze, niż się spodziewałeś.

Jak mierzyć jakość odpowiedzi AI

Jakość mierzy się na zestawie testowym prawdziwych spraw z poprawnymi odpowiedziami, ocenianym przez osobę, która zna proces. Zdanie, że odpowiedzi brzmią dobrze, nie jest pomiarem, bo model językowy brzmi dobrze także wtedy, gdy się myli.

W praktyce sprawdza się taki schemat:

1. Zbierz zestaw testowy. Kilkadziesiąt do kilkuset prawdziwych przypadków, w tym trudne i nietypowe, z odpowiedzią, którą uznałby ekspert.
2. Ustal kategorie błędów. Na przykład błąd krytyczny (zła kwota, zła decyzja, wyciek danych), istotny (brak ważnej informacji) i kosmetyczny (styl, forma).
3. Oceniaj bez wiedzy o źródle. Jeśli to możliwe, ekspert ocenia odpowiedzi AI i ludzi pomieszane, nie wiedząc, która jest która.
4. Powtarzaj test po każdej zmianie. Nowa instrukcja dla modelu, nowe dokumenty w bazie wiedzy czy zmiana modelu u dostawcy potrafią poprawić jedno i zepsuć drugie.
5. Sprawdzaj próbkę z produkcji. Co tydzień kilkanaście losowych spraw z prawdziwego ruchu, bo zestaw testowy z czasem przestaje odpowiadać rzeczywistości.

Przy chatbotach dochodzi jeszcze jeden wskaźnik: ile rozmów kończy się przekazaniem do człowieka i czy to przekazanie następuje we właściwym momencie. Pisałem o tym w tekście o tym, kiedy ma sens chatbot w obsłudze klienta.

Czas pracy i koszty: licz całość, nie tylko oszczędność

Oszczędność czasu liczy się po odjęciu czasu na sprawdzanie i poprawianie wyników AI, a koszt obejmuje także nadzór i utrzymanie, a nie tylko opłaty za model. Pominięcie którejś z tych pozycji to najprostszy sposób, żeby pilot wyglądał lepiej, niż jest.

Wróćmy do przykładu z fakturami. Jeśli AI odczytuje dane z dokumentu, a księgowa i tak sprawdza każde pole, oszczędność jest mniejsza, niż wynika z prezentacji. Jeśli sprawdza tylko pola, przy których model sygnalizuje niepewność, oszczędność rośnie, ale trzeba zmierzyć, ile błędów przechodzi niezauważonych. Jak takie procesy budować, opisałem w tekście o tym, jak działa automatyzacja obiegu dokumentów z AI.

Po stronie kosztów licz co najmniej:

• opłaty za model lub serwery, na których działa,
• czas ludzi na weryfikację, poprawki i obsługę wyjątków,
• utrzymanie integracji, bazy wiedzy i instrukcji dla modelu,
• okresowe testy jakości i przeglądy,
• koszt błędów, które przeszły do klienta.

Szczegółowo o składnikach kosztu piszę w tekście o tym, ile wynosi koszt wdrożenia AI w firmie. Jedna uwaga z praktyki: zaoszczędzony czas jest efektem tylko wtedy, gdy ktoś go wykorzysta. Jeśli zespół obsługuje tyle samo spraw co wcześniej, a reszta czasu się rozpływa, oszczędność istnieje tylko w arkuszu.

Kiedy wyłączyć pilota

Pilota wyłączasz, gdy po uzgodnionym czasie nie osiąga progu ustalonego przed startem i nie ma jasnego powodu, by sądzić, że kolejna poprawka to zmieni. Zakończenie pilota z czytelnym wynikiem to też efekt, bo firma wie, czego nie robić, i nie płaci za utrzymanie czegoś, co nie działa.

Sygnały, które traktuję jako powód do zatrzymania lub zmiany kierunku:

• jakość stoi w miejscu mimo kilku rund poprawek instrukcji i danych,
• czas weryfikacji zjada większość zaoszczędzonego czasu,
• zdarzają się błędy krytyczne, których nie da się wychwycić przed klientem,
• zespół omija narzędzie i wraca do starego sposobu pracy,
• koszt rośnie szybciej niż liczba obsłużonych spraw.

Czasem rozwiązaniem nie jest wyłączenie, tylko zawężenie. Model, który słabo radzi sobie ze wszystkimi typami spraw, może dobrze obsługiwać jeden prosty typ. Przy agentach AI, które same wykonują kroki w systemach, dochodzą jeszcze uprawnienia i logi, o czym piszę w tekście o tym, jak wdrażać agentów AI w procesach firmy.

Najczęstsze błędy przy ocenie, jakie są efekty wdrożenia AI

Większość błędów w ocenie pilota bierze się z porównywania rzeczy, których nie da się porównać. Te powtarzają się najczęściej:

• Porównanie z ideałem zamiast z obecnym procesem. Model, który myli się rzadziej niż zmęczony pracownik pod koniec dnia, może być poprawą, choć nie jest bezbłędny.
• Pilot na wybranych sprawach. Gdy do pilota trafiają tylko proste przypadki, wynik nie powie nic o pełnym ruchu.
• Zmiana kryteriów w trakcie. Przesuwanie progów po pierwszych wynikach sprawia, że pilot zawsze się udaje.
• Liczenie tylko opłat za model. Czas ludzi na sprawdzanie wyników jest zwykle większą pozycją niż sam model.
• Brak właściciela wyniku. Jeśli nikt po stronie firmy nie odpowiada za wskaźniki, raport pisze dostawca, a ten ma naturalny interes w dobrym wyniku.

Jak raportować wyniki zarządowi

Raport, który pokazuje efekty wdrożenia AI, powinien zmieścić się na jednej stronie: wartości z punktu odniesienia, wyniki pilota, pełny koszt, zauważone ryzyka i rekomendacja. Zarząd nie potrzebuje opisu technologii, tylko odpowiedzi, czy rozszerzać, poprawiać, czy kończyć.

Po wdrożeniu na pełną skalę pomiar się nie kończy. Wystarczy przegląd raz w miesiącu: te same wskaźniki, ta sama próbka jakości, porównanie z poprzednim okresem. Modele, dane i procesy się zmieniają, więc wynik sprzed pół roku nie gwarantuje dzisiejszego.

Jeśli planujesz pilota, zacznij od jednej kartki: proces, trzy wskaźniki, ich obecne wartości, cel i próg wyjścia. Taka kartka sprawia, że efekty wdrożenia AI da się ocenić liczbami, a nie wrażeniem. Jeśli chcesz ją przejrzeć z kimś z zewnątrz, napisz przez formularz kontaktowy.