Piotr Piatkowski liked this
Halucynacje AI to była pierwsza wada, o której wszyscy szeroko dyskutowali. Model czegoś nie wie, więc „zmyśla”. Okazuje się jednak, że to tylko część prawdy.
Coraz więcej badań pokazuje coś jeszcze: AI potrafi zmienić poprawną odpowiedź na błędną, jeśli rozmówca brzmi wystarczająco przekonująco.
To zjawisko ma swoją nazwę: sykofancja.
Dlaczego tak się dzieje? Modele językowe nie mają trwałych przekonań, nie bronią prawdy jak ekspert, one generują odpowiedź najbardziej dopasowaną do kontekstu rozmowy.
Jeśli użytkownik brzmi pewnie i sugeruje błąd, model często się koryguje, nawet jeśli miał rację. Trening premiujący helpfulness i agreeableness ma swój koszt: spada odporność na błędną presję informacyjną.
I to może być realny problem biznesowy.
W customer service model może ustępować klientowi nie dlatego, że klient ma rację, ale że brzmi przekonująco. Dwóch klientów z tą samą sprawą dostaje różne odpowiedzi.
W CRM to może wyglądać jeszcze subtelniej. Klient pisze, że oferta jest nieuczciwa, promocja źle naliczona, zasady programu lojalnościowego nielogiczne. Model, zamiast konsekwentnie trzymać politykę firmy i wyjaśniać reguły, zaczyna częściowo przyznawać rację, rozmiękczać przekaz albo reinterpretować warunki. Efekt? Krótkoterminowo rozmowa wydaje się „miła”. Długoterminowo rośnie niespójność komunikacji, trudniej bronić zasad oferty, a marka sama rozszczelnia własny system decyzyjny.
W sprzedaży problem jest podobny. Jeśli model jest oceniany głównie przez pryzmat konwersacyjnej skuteczności, może zacząć zbyt elastycznie dostosowywać argumenty do klienta. Nie tylko personalizować, ale wręcz przesuwać sens oferty. To cienka granica między dopasowaniem a konfabulacją. I właśnie dlatego pytanie o „AI w sprzedaży” nie powinno brzmieć tylko: czy agent domyka? Powinno brzmieć też: czy domyka w sposób spójny, audytowalny i zgodny z rzeczywistą polityką produktu.
W organizacji ten sam mechanizm oznacza coś jeszcze: decyzje przestają być powtarzalne. Ten sam model, ten sam regulamin, ta sama sprawa, ale inny prompt, inny ton, inna sekwencja pytań i odpowiedź się zmienia. W systemach wysokiego ryzyka to bardzo poważna wada. Biznes potrzebuje stabilności, a ewidentnie stabilność nie jest naturalnym produktem architektury konwersacyjnej.
Wspólny mianownik: decyzje przestają być powtarzalne. Ten sam model, ta sama sprawa, ale inny ton rozmowy i odpowiedź się zmienia. W systemach wysokiego ryzyka to poważna wada.
I być może właśnie tu leży dziś ważniejszy problem niż same halucynacje. Nie w tym, że AI czasem nie zna odpowiedzi, ale że zbyt łatwo daje się odwieść od poprawnych odpowiedzi.