Wdrożenie asystenta RAG: dlaczego to nie jest ChatGPT

Wdrożenie asystenta RAG daje organizacji narzędzie, które odpowiada na pytania na podstawie jej własnych dokumentów i pokazuje, skąd wzięło odpowiedź. Nie daje drugiego ChatGPT, który zna cały internet, przeczyta dowolną stronę i wypisze wszystko, o co poprosisz. Ta różnica brzmi oczywiście, a mimo to większość nieporozumień przy takich projektach bierze się właśnie z niej. Poniżej opisuję, co RAG robi dobrze, czego nie obiecywać, jak zapisać zakres i jak mierzyć jakość odpowiedzi.

Piszę z perspektywy wykonawcy. Prowadziłem wdrożenie asystenta na dokumentach dla instytucji z sektora publicznego w Polsce i z tej pracy pochodzi lista spraw, które warto zamknąć przed podpisaniem umowy.

Czym jest RAG i skąd oczekiwanie, że zadziała jak ChatGPT

RAG (retrieval-augmented generation) to połączenie wyszukiwarki z modelem językowym. Gdy użytkownik zadaje pytanie, system najpierw wyszukuje w bazie dokumentów kilka najlepiej pasujących fragmentów, a potem model językowy układa z nich odpowiedź. Model nie czyta całej bazy przy każdym pytaniu. Widzi tylko to, co znalazła wyszukiwarka.

Oczekiwanie „jak ChatGPT” jest zrozumiałe. Interfejs wygląda podobnie: okno czatu, pytanie, płynna odpowiedź po polsku. Użytkownik, który zna publiczne czaty, zakłada, że za oknem stoi to samo. Tymczasem asystent na dokumentach jest celowo ograniczony do źródeł organizacji, bo po to powstał: ma odpowiadać zgodnie z regulaminem, procedurą czy umową, a nie z ogólnej wiedzy modelu.

Czego RAG nie zrobi, nawet przy dobrym wdrożeniu

Są zadania, które wyglądają na proste pytania do czatu, a wychodzą poza to, jak działa wyszukiwanie fragmentów. Warto je nazwać wprost już na etapie oferty:

• Wyczerpująca lista „znajdź wszystkie”. Pytanie o wszystkie umowy z daną klauzulą albo wszystkie pisma w danej sprawie wymaga przejrzenia całej bazy. RAG zwraca kilka najlepszych fragmentów, więc odpowiedź będzie przykładowa, a nie kompletna. Do takich zestawień służy wyszukiwarka z filtrami albo raport z bazy danych.
• Audyt cudzej strony po adresie URL. Asystent zna dokumenty, które do niego wgrano. Nie pobiera i nie ocenia dowolnych stron internetowych, chyba że ktoś zaprojektuje i zamówi taki moduł osobno.
• Porównania jeden do jednego z Copilotem. Narzędzia biurowe z wbudowanym asystentem mają dostęp do poczty, kalendarza i plików użytkownika, a do tego inny cel i inną konfigurację. Zestawianie ich odpowiedzi z asystentem na zamkniętym zbiorze dokumentów niewiele mówi o jakości któregokolwiek z nich.

Do tego dochodzi jakość samych dokumentów. Skany bez warstwy tekstowej, tabele zapisane jako obrazki i kilka wersji tego samego regulaminu bez dat obniżą trafność bardziej niż wybór modelu.

Zakres na piśmie: opis zamówienia a rozszerzenia

Przy wdrożeniu asystenta RAG najlepszym zabezpieczeniem obu stron jest zakres zapisany zdaniami, które da się sprawdzić. Opis zamówienia mówi, jakie źródła trafiają do bazy, kto zadaje pytania, w jakim języku i w jakiej formie asystent odpowiada. Wszystko, co wychodzi poza ten opis, jest rozszerzeniem z własną wyceną i terminem.

Przed startem dobrze sprawdza się prosta tabela w trzech kolumnach:

W zakresie	Rozszerzenie	Poza systemem
Odpowiedzi na pytania z wgranych dokumentów, z podaniem źródła	Nowe typy źródeł, np. strony www albo skrzynka pocztowa	Kompletne zestawienia wszystkich dokumentów danego rodzaju
Aktualizacja bazy po dodaniu lub zmianie dokumentu	Integracja z kolejnym systemem dziedzinowym	Ocena treści spoza bazy wiedzy
Uprawnienia do zbiorów dokumentów	Nowe role i dodatkowe zbiory	Decyzje podejmowane za pracownika

Taka tabela kończy dyskusję „przecież to oczywiste, że asystent to umie” jeszcze przed pierwszą prezentacją. W zamówieniach publicznych ma dodatkowe znaczenie, bo odbiór odbywa się według opisu przedmiotu zamówienia, a nie według wrażenia z demonstracji.

Jak mierzyć jakość odpowiedzi asystenta

Jakość mierzy się zestawem pytań testowych z oczekiwanymi odpowiedziami, przygotowanym razem z osobami, które znają dokumenty. Bez takiego zestawu ocena sprowadza się do tego, czy komuś spodobała się odpowiedź na pytanie zadane na spotkaniu.

1. Zbierz pytania od użytkowników, a nie od zespołu wdrożeniowego. Najlepiej takie, które naprawdę padają w codziennej pracy.
2. Do każdego pytania dopisz źródło: dokument i fragment, z którego powinna wynikać odpowiedź.
3. Dodaj pytania, na które w bazie nie ma odpowiedzi. Dobry asystent powinien wtedy powiedzieć, że nie wie, zamiast zgadywać.
4. Oceniaj osobno wyszukanie i odpowiedź. Jeśli system nie znalazł właściwego fragmentu, poprawia się indeksowanie i podział dokumentów, a nie instrukcję dla modelu.
5. Powtarzaj test po każdej zmianie modelu, dokumentów albo ustawień wyszukiwania.

Drugi warunek to źródła w każdej odpowiedzi. Link do dokumentu i cytowany fragment pozwalają użytkownikowi sprawdzić odpowiedź w kilka sekund i budują zaufanie szybciej niż jakiekolwiek zapewnienia. To też najprostsze wyjaśnienie, czym asystent różni się od publicznego czatu. O tym, gdzie automat sprawdza się w kontakcie z ludźmi, pisałem przy temacie chatbota w obsłudze klienta.

Co ustalić przed wdrożeniem asystenta RAG

Zanim zamówisz asystenta, odpowiedz na kilka pytań. Oszczędzą one rozczarowań po obu stronach:

• Jakie dokumenty wchodzą do bazy i kto odpowiada za ich aktualność?
• Na jakie pytania asystent ma odpowiadać, a z jakimi ma odsyłać do człowieka?
• Kto przygotuje zestaw pytań testowych i kto podpisze odbiór?
• Gdzie mają być przetwarzane dane i czy mogą wyjść poza infrastrukturę organizacji?
• Jak będzie wyglądać utrzymanie po wdrożeniu: dodawanie dokumentów, zgłoszenia, poprawki?

Część z tych odpowiedzi wpływa na budżet. O tym, co składa się na koszt wdrożenia AI w firmie, pisałem osobno, a o zasadach opieki po starcie w tekście o umowie SLA na utrzymanie.

Dobre wdrożenie asystenta RAG zaczyna się od uczciwej listy tego, czego system nie zrobi, i od zestawu pytań testowych, na które obie strony się umówią. Jeśli planujesz taki projekt i chcesz sprawdzić zakres, zanim trafi do umowy, napisz do mnie przez formularz.