AI nie rozumie slangu pokolenia Alpha
Modele AI rozumieją słowa, ale nie potrafią poprawnie ocenić ryzyka klinicznego w wypowiedziach młodzieży
Coraz więcej nastolatków z pokolenia Alpha szuka wsparcia psychicznego u chatbotów, takich jak ChatGPT czy Claude. Choć sztuczna inteligencja świetnie radzi sobie z definicjami słownikowymi, nowe badania pokazują, że kompletnie gubi się w specyficznym sposobie komunikacji młodych ludzi. Manisha Mehta(opens in a new tab) z Lynbrook High School oraz Virendra Mehtaun z Uniwersytetu w Tryncie przeanalizowali, jak najpopularniejsze modele AI reagują na slang i ironię stosowaną przez młodzież w sytuacjach kryzysowych.
Okazuje się, że istnieje wyraźna przepaść między rozumieniem słów a trafną oceną zagrożenia. Modele AI rozumieją około 80% używanego słownictwa, ale ich skuteczność w rozpoznawaniu ryzyka klinicznego jest o kilkanaście punktów procentowych niższa. Dla porównania, u wykwalifikowanych terapeutów taka różnica praktycznie nie występuje. AI często bagatelizuje sygnały alarmowe, gdy są one ukryte pod warstwą sarkazmu lub specyficznych określeń, takich jak unalive zamiast samobójstwa czy tweaking w kontekście zażywania substancji. W tym ostatnim przypadku algorytmy aż w 94% przypadków wybierały najmniej groźną interpretację, ignorując kontekst sugerujący realne niebezpieczeństwo.
Badacze zidentyfikowali kilka wzorców błędów, które mogą prowadzić do przeoczenia nawet 146 tysięcy kryzysów rocznie. Największym problemem jest akceptowanie minimalizacji, czyli branie dosłownie zapewnień typu to nic takiego, które dla człowieka są jasnym sygnałem obronnym. Metodyka badania była rzetelna i opierała się na porównaniu siedmiu modeli językowych z ocenami ośmiu licencjonowanych terapeutów. Wyniki te współgrają z wcześniejszymi pracami Moore’a czy Chiu, które również wskazywały na trudności AI w rozpoznawaniu myśli samobójczych i tendencję do udzielania szkodliwych porad.
Głównym ryzykiem jest tutaj złudne poczucie bezpieczeństwa. Użytkownik ma wrażenie, że rozmawia z kompetentnym systemem, podczas gdy AI brakuje procedur wnioskowania, które pozwalają odróżnić zwykły żart od wołania o pomoc. Autorzy sugerują, że proste poprawki w instrukcjach dla modeli nie wystarczą. Konieczne jest wprowadzenie stałego nadzoru ludzi oraz systematyczna weryfikacja algorytmów pod kątem dynamicznie zmieniającego się języka młodzieży.