Pewnie, szczegółowo i... błędnie. Jak weryfikować halucynacje AI.

W 2023 roku dwóch nowojorskich prawników złożyło do sądu pisma procesowe z cytowanymi wyrokami, które nigdy nie istniały. ChatGPT wymyślił je ze szczegółami: numery spraw, nazwiska sędziów, daty, uzasadnienia. Prawnicy zapłacili grzywnę. ChatGPT nie wiedział co zrobił.

Weryfikacja odpowiedzi AI to umiejętność, której szkoła nie uczy, a każdy jej potrzebuje. ChatGPT, Claude, Gemini i podobne narzędzia generują odpowiedzi przez przewidywanie kolejnych słów. Logiczne, spójne, brzmiące jak prawda. Czasem są prawdą. Czasem zupełnie nie. I z identycznym tonem pewności siebie w obu przypadkach.

Poniżej 5 konkretnych metod weryfikacji i lista sygnałów, które mówią, kiedy AI pracuje bez żadnego oparcia w faktach.

Dlaczego AI halucynuje z taką pewnością siebie

ChatGPT odpowiada jak kolega, który spędził rok w Barcelonie 8 lat temu i od tamtej pory jest ekspertem od Hiszpanii. Pewny siebie, konkretny, z nazwami ulic i godzinami otwarcia. Może 60% tych informacji wciąż jest aktualnych. Skąd wiesz które?

Model językowy przewiduje następne słowo na podstawie wzorców. Nie sprawdza, czy to co pisze, jest prawdą. Sprawdza, jak zazwyczaj wyglądają pewne siebie odpowiedzi i na tej podstawie generuje tekst. Pewność siebie nie świadczy o tym, że odpowiedź jest prawdziwa. Świadczy o tym, że tak właśnie brzmią pewne siebie odpowiedzi. Nowsze modele halucynują w sposób trudniejszy do wykrycia: jedna błędna przesłanka, kilka logicznych kroków i na końcu dostajesz starannie uzasadniony nonsens. Im dłuższe rozumowanie, tym bardziej przekonujący błąd.

Kiedy weryfikacja odpowiedzi AI jest konieczna

Nataliya Vaitkevich / Pexels

Nie każda odpowiedź wymaga sprawdzania. Jeśli AI generuje kod do prostej pętli, możesz go uruchomić i zobaczyć wynik. Ale są kategorie, gdzie błąd AI kosztuje czas, pieniądze lub reputację.

Weryfikuj zawsze przy konkretnych liczbach, datach i statystykach. Weryfikuj każdy link i adres URL. AI generuje adresy z właściwą domeną, właściwym tematem i właściwym rozszerzeniem (klikaj je, wszystkie, włącznie z tym, który "na pewno istnieje"). Weryfikuj cytaty z realnych ludzi i informacje prawne, medyczne oraz finansowe. Błąd w tych kategoriach nie jest tylko kłopotliwy.

Prosty test: czy powtórzyłbyś tę informację klientowi na spotkaniu i podpisał się pod nią? Jeśli w głowie pojawia się "chyba tak" albo "no, w zasadzie" — to znaczy "nie". AI nie odróżnia tych stanów. Ty musisz.

5 sposobów na weryfikację odpowiedzi AI

Hartono Creative Studio / Pexels

Nie chodzi o ogólne "bądź sceptyczny", tylko o konkretne ruchy, które możesz zrobić zanim zdecydujesz, czy informacji zaufać.

1. Poproś o źródło i sprawdź je osobiście. Zapytaj: "Podaj mi tytuł, autora i rok tej informacji." Jeśli AI podaje źródło, wpisz tytuł w Google Scholar albo bezpośrednio na stronie wydawcy. Jeśli źródło nie istnieje lub nie zawiera podanej informacji, całą resztę traktuj jako niestabilną.

2. Poproś AI, żeby zaprzeczyło własnej odpowiedzi. Pytanie "Dlaczego ktoś mógłby uważać, że się mylisz?" zmusza model do szukania kontrargumentów. Sam wskaże słabe strony, których bez prośby nigdy by nie ujawnił. To jak zatrudnienie włamywacza do audytu własnego domu: chętnie pokaże wszystkie wejścia, których sam byś nie zauważył.

3. Zadaj to samo pytanie innymi słowami i porównaj odpowiedzi. Fakty prawdziwe AI zazwyczaj odtwarza konsekwentnie. Jeśli dwie wersje pytania dają dwa różne fakty, żadnego nie traktuj jako pewnik.

4. Używaj modelu z dostępem do internetu. Perplexity AI cytuje źródła przy każdej odpowiedzi. ChatGPT z włączonym wyszukiwaniem i Claude z dostępem do internetu pobierają aktualne dane zamiast opierać się tylko na danych treningowych. Nadal mogą się mylić, ale możesz sprawdzić, skąd przyszła informacja.

5. Idź do pierwotnego źródła. Przy decyzjach o dużej stawce nie ma drogi na skróty. Przepis prawny, wynik badania klinicznego, dane z rejestru publicznego. PubMed jest bezpłatny i zawiera ponad 35 milionów rekordów biomedycznych. Jeśli badania tam nie ma, prawdopodobnie nie istnieje.

Czerwone flagi: kiedy AI pracuje bez oparcia w faktach

Są wzorce, które sygnalizują, że AI zmyśla. Naucz się ich i oszczędź sobie czasu na sprawdzanie każdej odpowiedzi z osobna.

Bardzo konkretne liczby. Jeśli AI podaje wynik badania z dokładnością do 0,01%, statystykę z konkretnego roku albo wynik głosowania w konkretnej komisji, ta precyzja jest sygnałem ostrzegawczym. Prawdziwe fakty wymagają źródła. Zmyślone wyglądają identycznie konkretnie.

Linki URL. AI generuje adresy, które mają właściwą domenę, właściwy temat i wyglądają jak prawdziwe strony. Nawet jeśli link prowadzi do "oficjalnej strony rządowej" z domeną zakończoną na .gov.pl.eu.com.official, klikaj każdy.

Cytaty, które brzmią zbyt dobrze. Jeśli cytat z Einsteina, Steve's Jobsa lub Seneki jest idealnie skrojony pod twoją tezę, sprawdź go. AI przypisuje mądre zdania mądrym ludziom. Nieważne czy to zdanie powiedzieli, napisali albo mogliby kiedyś pomyśleć. Wystarczy, że pasuje.

To nie są problemy, które znikną z kolejną wersją modelu. To strukturalne ograniczenia tego, jak modele językowe działają. Piszę o nich regularnie na blogu, bo trafiam na nie z każdym wdrożeniem AI.