Chatbot AI Reddita „pomaga” w leczeniu bólu. Wśród rekomendacji: heroina

Reddit w pośpiechu wycofuje swojego nowego chatbota AI o nazwie „Answers” z dyskusji na tematy zdrowotne. Powód? Przeczytajcie.

Otóż narzędzie, które w zamyśle twórców miało streszczać stare wątki, zaczęło polecać użytkownikom szukającym porady m.in. twarde narkotyki jako metodę leczenia przewlekłego bólu.

Nowa funkcja „Answers” (na szczęście nie działa po polsku, więc wielu z nas zostało uratowanych od „porad” tej AI) została zaprojektowana, by pomagać użytkownikom poprzez automatyczne podsumowywanie informacji znalezionych w archiwalnych postach na dany temat. Problem w tym, że sztuczna inteligencja wykazała się kompletnym brakiem zrozumienia kontekstu i ironii, traktując każdą znalezioną wypowiedź jako potencjalną, wiarygodną poradę.

Jak donosi serwis 404media, gdy jeden z użytkowników zapytał o sposoby radzenia sobie z przewlekłym bólem, chatbot AI Reddita wskazał na komentarz innego użytkownika, który brzmiał: „Heroina, jak na ironię, uratowała mi w takich przypadkach życie”. W innym przypadku bot zarekomendował substancję ziołową, która w wielu miejscach jest zakazana i powiązana z poważnymi problemami zdrowotnymi.

Sytuacja jest o tyle groźna, że Reddit testował chatbota bezpośrednio w aktywnych rozmowach. Jego niebezpieczne „porady” pojawiały się więc w miejscu, gdzie prawdziwe, często wrażliwe osoby, szukały prawdziwej pomocy. Co gorsza, moderatorzy poszczególnych społeczności (subredditów) zgłaszali, że początkowo nie mieli nawet możliwości wyłączenia tej funkcji.

Incydent ten w jaskrawy sposób obnaża największą słabość obecnej generacji wielu (wszystkich?) modeli AI. Bot nie „rozumie” co czyta. Jest jedynie zaawansowaną maszyną do wyszukiwania i powtarzania fragmentów tekstu napisanego przez ludzi. Nie potrafi odróżnić pomocnej wskazówki od sarkastycznego żartu, anegdoty czy skrajnie niebezpiecznej sugestii, a wszystko to prezentuje tonem obiektywnego faktu.

Po gwałtownej reakcji użytkowników i mediów, Reddit potwierdził, że wycofuje chatbota „Answers” ze wszystkich dyskusji o tematyce zdrowotnej. Przedstawiciele serwisu nie skomentowali jednak szerzej, czy zamierzają wprowadzić jakiekolwiek fundamentalne filtry bezpieczeństwa do samego modelu. Na razie wygląda to więc na załatanie problemu, a nie jego systemowe rozwiązanie.