Asystent AI w kursie online: feedback do prac kursantów

Asystent AI w kursie online może dawać kursantom szybką informację zwrotną do ćwiczeń, ale tylko wtedy, gdy ma jasno wyznaczoną rolę, limity kosztów i ścieżkę do człowieka. Bez tego zamienia się w drogi czat, który obiecuje ocenę, a daje ogólniki. Poniżej opisuję, jak podejść do takiego asystenta jako do części produktu edukacyjnego: gdzie pomaga, gdzie musi zostać wykładowca, jak liczyć koszt i jak obsługiwać zgłoszenia.

Piszę na przykładzie screenwritingclasses.com, amerykańskiej szkoły scenopisarstwa online, w której pracujemy nad asystentem AI dającym kursantom informację zwrotną do ćwiczeń. Scenariusz to dobry przypadek, bo łączy rzeczy, które da się sprawdzić regułą, jak forma i struktura, z rzeczami, których do reguł sprowadzić się nie da.

Do czego asystent AI w kursie online nadaje się najlepiej

Najlepiej sprawdza się tam, gdzie kursant potrzebuje szybkiej, konkretnej uwagi do swojej pracy, zanim pokaże ją wykładowcy. Przykładowe obszary w kursie pisania:

• Forma i konwencja: czy ćwiczenie trzyma się formatu, czy opis sceny nie zamienia się w prozę, czy dialogi są czytelnie oznaczone.
• Zgodność z poleceniem: czy praca odpowiada na zadanie z lekcji i czy nie pominięto któregoś elementu.
• Pytania naprowadzające: zamiast przepisywać tekst, asystent pyta, czego chce bohater w tej scenie i co mu przeszkadza.
• Dostępność o każdej porze: kursant, który pracuje wieczorem, nie czeka do następnych zajęć na pierwszą reakcję.

Asystent powinien opierać się na materiałach kursu, a nie na ogólnej wiedzy modelu o pisaniu. Wtedy jego uwagi używają tych samych pojęć co lekcje i nie wchodzą z nimi w spór. O granicach asystentów opartych na własnych materiałach pisałem w tekście o tym, czego nie obiecywać przy RAG.

Gdzie musi zostać człowiek

Człowiek zostaje przy ocenie, która ma konsekwencje, i przy wszystkim, co dotyczy głosu autora. Model językowy dobrze wyłapuje niezgodność z regułą, ale słabo ocenia, czy niekonwencjonalny wybór jest błędem, czy świadomą decyzją piszącego.

• Oceny, zaliczenia i certyfikaty.
• Informacja zwrotna do prac końcowych i projektów, które kursant pokaże na zewnątrz.
• Sytuacje, w których kursant nie zgadza się z uwagą asystenta.
• Rozmowy o motywacji, blokadzie twórczej albo zmianie ścieżki nauki.

Dobrą praktyką jest wyraźne oznaczenie w interfejsie, że uwagę napisał asystent, a nie wykładowca, oraz przycisk przekazania pracy człowiekowi. Kursant płaci za szkołę, nie za model, więc musi wiedzieć, z kim rozmawia. Podobną granicę opisywałem przy temacie chatbota w obsłudze klienta: automat ma odciążać ludzi, a nie ich zasłaniać.

Koszt tokenów jako parametr produktu

Każda odpowiedź asystenta kosztuje, a koszt rośnie z długością pracy kursanta i długością odpowiedzi. Dlatego koszt tokenów trzeba projektować tak jak cenę kursu czy liczbę miejsc w grupie, a nie traktować go jak rachunku, który przyjdzie na koniec miesiąca. Token to fragment tekstu, według którego dostawca modelu liczy zużycie.

• Limity na kursanta: liczba informacji zwrotnych na ćwiczenie albo na okres, widoczna dla kursanta w panelu.
• Limit długości przesyłanej pracy i odpowiedzi asystenta.
• Monitorowanie zużycia w podziale na kurs, kursanta i dzień, z alertem, gdy zużycie odbiega od normy.
• Dobór modelu do zadania: sprawdzenie formatu nie wymaga największego modelu.
• Zapis kosztu przy każdej odpowiedzi, żeby dało się policzyć, ile kosztuje obsługa jednego kursanta w danym kursie.

Limit nie musi być karą. Dobrze opisany komunikat, na przykład „limit uwag do tego ćwiczenia się wyczerpał, praca trafia do wykładowcy”, uczy kursanta, żeby poprawił tekst, zanim poprosi o kolejną uwagę. Szerzej o tym, z czego składają się koszty wdrożenia AI w firmie, pisałem osobno.

Typowe zgłoszenia od użytkowników i jak je obsłużyć

Zgłoszenia dotyczące asystenta AI dzielą się zwykle na kilka grup i każda wymaga innej reakcji. Opłaca się mieć je opisane przed startem, a nie dopiero po pierwszej fali wiadomości do supportu.

1. Asystent nie odpowiada. Najpierw logi i limity: często przyczyną jest wyczerpany limit albo zbyt długa praca, a nie awaria. Komunikat w interfejsie powinien mówić to wprost.
2. Uwaga jest błędna. Zapisz pracę, odpowiedź i wersję instrukcji dla modelu, przekaż sprawę wykładowcy, a powtarzające się przypadki dodaj do zestawu testowego.
3. Odpowiedź jest zbyt ogólna. Zwykle znak, że instrukcja dla modelu nie odwołuje się do konkretnej lekcji albo do modelu trafił tylko fragment pracy.
4. Odpowiedź w złym języku albo tonie. Język i ton ustaw w instrukcji na stałe i sprawdzaj je przy każdej zmianie modelu.

Asystent AI w kursie online jest częścią produktu, więc jego zgłoszenia trafiają do tego samego supportu co pytania o płatności czy dostęp do lekcji. Każde zgłoszenie powinno dać się odtworzyć: która praca, jakie polecenie, jaka odpowiedź i kiedy. Bez tego zespół zgaduje, a kursant dostaje odpowiedź „sprawdzimy”.

Jak zacząć, jeśli prowadzisz szkołę online

Zacznij od jednego typu ćwiczenia, a nie od asystenta do całego kursu. Kolejne kroki wyglądają tak:

1. Wybierz ćwiczenie, do którego kursanci najczęściej czekają na uwagi.
2. Spisz kryteria, którymi kieruje się wykładowca, prostymi zdaniami.
3. Ustal limity i miesięczny budżet na tokeny, zanim ktokolwiek z asystenta skorzysta.
4. Sprawdź asystenta na pracach archiwalnych, za zgodą autorów, i porównaj jego uwagi z uwagami wykładowcy.
5. Uruchom go dla jednej grupy i zbieraj zgłoszenia według grup opisanych wyżej.

Dobrze zaprojektowany asystent AI w kursie online skraca kursantom czekanie na pierwszą reakcję, a wykładowcom zostawia to, w czym są najlepsi. Jeśli rozważasz takie narzędzie w swojej szkole, sprawdź, jak wygląda współpraca ze mną.