Skąd wiesz, że AI mówi prawdę Twoim klientom?
Zadaję to pytanie każdej firmie, która ma już chatbota. Prawie nikt nie umie odpowiedzieć.
W większości takich narzędzi widać: 1 240 rozmów, 78% „rozwiązanych", ocenę 4,6. Tyle że „rozwiązana" najczęściej znaczy tylko tyle, że klient nie napisał drugi raz. Nie znaczy, że dostał poprawną odpowiedź.
Klient, który dostał złą informację o dostawie albo gwarancji, zwykle nie klika kciuka w dół. Po prostu znika.
Narzędzia pokazują listę pytań, na które bot nie odpowiedział. Problem zaczyna się później. Ktoś musi tę listę przeczytać, ocenić, napisać poprawkę, wgrać ją i sprawdzić, czy działa. Przy wdrożeniu ktoś jeszcze tam zagląda. Po pół roku często już nikt. A bot dalej udziela tych samych błędnych odpowiedzi.
Druga rzecz: nikt nie mierzy jakości odpowiedzi. Mierzy się liczbę rozmów, procent przekazanych do człowieka, ocenę klienta. To są miary tego, czy bot się odezwał. Nie tego, czy miał rację.
My robimy to inaczej.
Po pierwsze: zanim agent odpowie pierwszemu klientowi, z Twojej dokumentacji, cennika i strony powstaje zestaw pytań kontrolnych z poprawnymi odpowiedziami. Ktoś z Twojej firmy je zatwierdza. Agent zdaje ten egzamin na prawdziwym systemie, a Ty widzisz, które pytania przeszły, które nie i dlaczego.
Po drugie: pod agentem, który rozmawia z klientami, pracuje drugi agent, wytrenowany do jednego zadania. Codziennie czyta wszystkie rozmowy i zamiast listy do przejrzenia zostawia Ci raport: gdzie zabrakło wiedzy, gdzie odpowiedź była niepełna, o co klienci pytali, a czego w bazie nie ma. Do każdego wniosku dokłada gotową poprawkę.
Po trzecie, i tu jest różnica: zanim poprawka trafi do Ciebie, jest już przetestowana na zestawie kontrolnym. Test pokazuje, czy to pytanie dostaje teraz dobrą odpowiedź i czy nic innego się nie zepsuło. Ty widzisz wynik i klikasz „zatwierdź". Baza wiedzy aktualizuje się sama, a następnego dnia to pytanie już nie wraca w raporcie.
Sprawdziłem, jak to wygląda u innych. Listę pytań bez odpowiedzi ma większość. Gotowe poprawki proponują nieliczni, zwykle w najdroższych planach. Testowania poprawki przed wdrożeniem nie znalazłem u nikogo. Nawet najwięksi piszą w dokumentacji, że ich agent propozycji jeszcze nie testuje.
Pięć pytań do każdego dostawcy, także do nas:
- Jak mierzycie, czy odpowiedź była poprawna, a nie tylko czy była?
- Czy zobaczę wynik testu na moich pytaniach przed startem?
- Kto czyta pytania, na które bot nie odpowiedział, i kiedy?
- Co widzę po zmianie w bazie wiedzy: że jest lepiej, czy tylko że jest inaczej?
- Czy poprawka jest testowana, zanim trafi do klientów?
A jeśli usłyszysz „mamy 95% skuteczności", dopytaj, jak to policzono.
Chcesz zobaczyć, jak agent zdaje egzamin na Twojej stronie? Podaj adres strony i e-mail w formularzu demo. Dostaniesz agenta, który zna Twoją stronę, i zadasz mu pytania, które codziennie zadają Twoi klienci.