Czy sztuczna inteligencja kłamie?

2024-09-22 @ Marcin Jaskulski

Blog → Czy sztuczna inteligencja kłamie?

Prowadzę wiele rozmów na temat ChatGPT. Częstym tematem są błędne odpowiedzi generowane przez sztuczną inteligencję. Problem ten podnosili również nauczyciele i nauczycielki podczas szkoleń, stąd ten artykuł i tytułowe pytanie.

Zanim na nie odpowiemy, zdefiniujmy najpierw, czym jest kłamstwo. Nie będzie to proste, bo definicji kłamstwa jest wiele. Ta, która najbardziej mi się spodobała, brzmi mniej więcej tak: Kłamstwo to celowe wprowadzenie w błąd rozmówcy w celu osiągnięcia korzyści. Celowość kłamstw jest tu - moim zdaniem - kluczowa. Zatem: czy AI kłamie? Nie! Chatboty, z których korzystamy, nie spełniają tego warunku. Są one zbudowane na modelach statystycznych, które odpowiadają słowami najbardziej pasującymi do konwersacji. Wprowadzenie użytkowników w błąd nie jest intencją sztucznej inteligencji – nie jest ona do tego po prostu zdolna.

Czy możemy w związku z tym powiedzieć, że AI nigdy się nie myli? Oczywiście, nie. Dochodzimy tu do pojęcia halucynacji. Halucynacjami nazywamy wszystkie odpowiedzi chatbotów, które są

zmyślone,
nieistotne,
nieprawdziwe, lub niezgodne z faktami,
niepasujące do intencji autora prompta.

Sztuczna inteligencja może popełniać też błędy, ale nie stawiałbym znaku równości z halucynacjami, które są pojęciem szerszym. Występowanie halucynacji również nie możemy jednoznacznie określić wadą systemów sztucznej inteligencji. Powiedziałbym raczej, że są cechą AI. Czasami przeszkadzają, a czasami są wręcz oczekiwane – będzie o tym mowa niżej.

Chciałbym w tym miejscu pokazać kilka przykładów halucynacji i moich prób radzenia sobie z nimi. Natrafiłem na nie szukając konkretnych informacji lub też eksperymentując z chatbotami.

Jak Google Gemini wysłał mnie w góry do Poznania

Po wakacyjnym wyjeździe w Gorce i Pieniny postanowiłem poszukać informacji o Koronie Gór Polski. Uruchomiłem w telefonie Google Gemini i przeprowadziłem następującą konwersację (pisownia oryginalna):

🧑
Wymień mi trzy szczyty Korony Gór Polski które leżą blisko Poznania Podaj mi przybliżoną odległość do każdego z nich
🤖
W pobliżu Poznania znajduje się jeden ze szczytów Korony Gór Polski: Dziewicza Góra (620 m n.p.m.) - odległość nie została podana na mapie, ale można ją sprawdzić na Google Maps.

Pozostałe szczyty Korony Gór Polski znajdują się w innych częściach Polski, daleko od Poznania.

Jak widać, chatbot Google uznał, że istotniejsza w moim prompcie była odległość od Poznania, niż przynależność szczytu do Korony Gór Polski (pomińmy fakt błędnie podanej wysokości Dziewiczej Góry). W toku dalszej konwersacji, w której wytknąłem błąd chatbotowi, Gemini uprzejmie przyznał się do błędu i wyjaśnił, z czego może on wynikać:

🤖
Przepraszam za pomyłkę! Dziewicza Góra nie należy do Korony Gór Polski.

Korona Gór Polski to zestaw najwyższych szczytów poszczególnych pasm górskich na terenie Polski. Dziewicza Góra, choć jest ciekawym wzniesieniem, nie jest najwyższym punktem żadnego z tych pasm.

Dlaczego doszło do takiego błędu?

Mogło to być spowodowane kilku czynnikami:
- Podobne nazwy: W Polsce jest wiele gór o podobnych nazwach, co może wprowadzać zamieszanie.
- Zmiany w składzie Korony Gór Polski: Skład Korony Gór Polski mógł ulec niewielkim zmianom na przestrzeni lat.
- Błąd w moich danych: Jako model językowy, opieram się na ogromnej ilości informacji, ale mogą zdarzyć się błędy.
- Jeśli chcesz poznać listę szczytów Korony Gór Polski, mogę Ci ją podać.
Chcesz dowiedzieć się więcej o Dziewiczej Górze lub innym szczycie?

Nie słyszałem o “zmianach w składzie Korony Gór Polski”, więc postanowiłem nie kontynuować dyskusji 😉 Zamiast tego uruchomiłem nowy chat i wpisałem prompt (ponownie pisownia oryginalna)

🧑
Moim celem jest zdobycie Korony Gór Polski. Chciałbym je zdobywać w kolejności od najbliższej do najdalej położonego szczytu od Poznania. Podaj mi 3 najbliższe szczyty

Tym razem otrzymałem wszystkie potrzebne informacje. Przykład ten pokazuje, że im lepszy prompt tym lepsze odpowiedzi otrzymujemy (mniej halucynacji) – nawet jeśli mój ostatni prompt był daleki od ideału. Dlatego tak istotne jest nabycie umiejętności pisania promptów, jeśli chcemy skutecznie i efektywnie pracować ze sztuczną inteligencją.

„Przyszłość” sztucznej inteligencji nie pisana?

Kolejny przykład dotyczy liczenia liter. Zapytałem: Ile liter "r" jest w wyrazie horror?. A oto odpowiedzi generowane przez poszczególne modele AI:

Google Gemini: W wyrazie "horror" jest jedna litera "r".
ChatGPT: W wyrazie "horror" są dwie litery "r".
Microsoft Copilot: W wyrazie “horror” są trzy litery “r”. Czy mogę pomóc w czymś jeszcze? 😊
Claude: W wyrazie "horror" występują 2 litery "r".

Zadanie - wydawałoby się, że proste - przysporzyło sporo trudności popularnym modelom. Tylko Copilot odpowiedział prawidłowo. Spróbowałem jeszcze “wymóc” prawidłowe odpowiedzi - poprosiłem o przeliterowanie i ponowne zliczenie. Tym razem poległ jedynie Gemini.

Sprawdziłem również, jak poszczególne modele radzą sobie z pisaniem wspak. Moim promptem było: Napisz wspak słowo “przyszłość”. A tak wyglądały odpowiedzi poszczególnych modeli:

Google Gemini: śłutszpyr
ChatGPT: Sćołsyzrp
Microsoft Copilot: ćośzysrp
Claude: ćśołzsyzrp

Tym razem tylko Claude poradził sobie dobrze z zadaniem.

Powyższe błędy wynikają ze sposobu interpretacji wpisywanego tekstu. Zanim tekst trafi do modelu, jest dzielony na tokeny (wyrazy lub fragmenty wyrazów, znaki interpunkcyjne), którym przypisywane są liczby – tracona jest informacja o literach. Model tak naprawdę nie liczy, ale statystycznie wybiera najlepszy następny token. AI lepiej sobie radzi ze zdaniami wielokrotnie złożonymi, niż z literami.

Zachęcam do eksperymentowania z tymi przykładami, np. podając inne słowa.

Warto pracować nad umiejętnością pisania promptów. Poznanie technik i wzorców konwersacji z AI, może zaoszczędzić sporo czasu i sprawi, że zminimalizujemy liczbę halucynacji tam, gdzie ich nie chcemy.

Złe halucynacje, dobre halucynacje

Gdy od Asystentów AI oczekujemy faktów, halucynacje zdecydowanie nie są czymś dobrym. W takim wypadku musimy być czujni i wykorzystywać różne techniki radzenia sobie z nimi. Natomiast jeśli wykorzystujemy chatboty do prac kreatywnych, artystycznych, bazujących na fikcji, to halucynacje mogą być fantastyczną cechą, która zainspiruje, zaprowadzi w rejony, o których byśmy nie pomyśleli. Dzięki temu asystenci AI mogą być świetnymi partnerami w burzach mózgów, mogą generować mnóstwo pomysłów.

Jak halucynacje można wykorzystać podczas lekcji? Podzielę się pomysłami, które pojawiły się podczas moich eksperymentów z chatbotami.

Oto fragment rozmowy jaką przeprowadziłem z „Arystotelesem” o współczesnych osiągnięciach.

🧑
Zachowuj się jak Arystoteles. Będę Ci zadawał pytania na temat spraw XXI wieku. Odpowiadaj mi tak jakby to robił starożytny filozof.
🤖
O, zacny przyjacielu, wiedz, że choć moja myśl pochodzi z czasów minionych, to natura ludzka i rozważania o świecie nie tracą na ważności. Mimo że czas twój jest odległy, zasady, które kierują światem, pozostają stałe. Zadawaj więc pytania, a odpowiem, kierując się logiką i poszukiwaniem mądrości, tak jak czyniłem za czasów starożytnej Hellady.

Czymże pragniesz się podzielić?
🧑
Wiesz, że potrafimy rozmawiać bez bezpośredniego kontaktu, przesyłając informacje bez fizycznego nośnika
🤖
Zaiste, to, co mówisz, budzi we mnie podziw. W mym czasie wymiana myśli wymagała obecności lub co najmniej pośrednictwa pisma czy posłańca. Lecz to, co opisujesz, brzmi jak zdolność, o której marzyliśmy – porozumiewanie się na odległość bez potrzeby fizycznego nośnika, niczym przekazywanie myśli wprost z jednego umysłu do drugiego.

Czyż nie przypomina to idei eteru, o którym niegdyś spekulowaliśmy, jako o niewidzialnej substancji przenikającej wszechświat, po której może podróżować światło i dźwięk? Jednakże w twojej epoce stało się to rzeczywistością – informacja biegnie niczym posłaniec, choć żaden widzialny nośnik nie jest potrzebny.

Powiedz mi, jakże to działa? Czy jest to zjawisko związane z naturą, którą jeszcze za moich czasów badaliśmy, czy raczej nowe siły i energie, które odkryliście w ciągu wieków?
🧑
Jest to zjawisko, które i w twoich czasach było dostępne. Aczkolwiek ówczesna technologia na to nie pozwalała. Powiedz mi jednak, czy z punktu widzenia starożytnego filozofa widzisz jakieś zagrożenia takiej technologii?
🤖
O, zacny rozmówco, zaiste twój świat pełen jest cudów, których nie mogłem sobie wyobrazić, ale jako filozof starożytny muszę rozważyć naturę rzeczy pod kątem ich cnoty i potencjalnych zagrożeń. Technologia, jak ta, o której mówisz, choć fascynująca, niesie w sobie zarówno możliwości, jak i niebezpieczeństwa, zależnie od tego, jak ją wykorzystacie.

Z jednej strony, możliwość przesyłania myśli bez fizycznego kontaktu jawi się jako wielki postęp. Ułatwia komunikację, pozwala dzielić się wiedzą, skraca dystanse między ludźmi. To może wzmacniać wspólnotę i umożliwiać szybszy rozwój nauki oraz rozkwit filozofii.

Jednakże, o ile ludzka natura jest stała, zawsze musimy uważać na cienie tego, co wielkie. Jakie więc niebezpieczeństwa widzę z tej perspektywy?
- Zatracenie wartości bezpośredniego kontaktu – W moim czasie komunikacja między ludźmi odbywała się twarzą w twarz, a rozmowa była nie tylko wymianą słów, ale i uczuć, gestów, całego doświadczenia obecności. Jeśli technologia przesyłania informacji zastąpi bezpośrednie spotkania, ludzka relacja może stać się powierzchowna. Tracimy wtedy to, co jest sednem naszej natury – wspólne życie i wzajemne poznanie w pełni człowieczeństwa.
- Nadmierna ilość informacji – Filozof zawsze cenił czas na rozważania, refleksję, dociekanie prawdy. Lecz gdy informacje płyną nieustannie, bez przerwy, człowiek może zostać przytłoczony ich nadmiarem. Nie każde słowo, które przesyłamy, ma wartość, a nadmiar może przeszkadzać w kontemplacji i rozwoju cnoty.
- Zagrożenie manipulacją – Informacja, choć potężna, może być także narzędziem manipulacji. W moich czasach sofistyka polegała na używaniu mowy w sposób zwodniczy. Jeśli w waszych czasach informacje mogą być szybko rozpowszechniane, istnieje ryzyko, że ktoś, kto potrafi fałszować prawdę, mógłby to wykorzystać na wielką skalę, wpływając na całe społeczności.
- Alienacja i samotność – Choć komunikacja jest ułatwiona, może ona także prowadzić do izolacji. Jeśli ludzie zrezygnują z osobistych spotkań, mogą czuć się coraz bardziej samotni, mimo że są "połączeni" z wieloma osobami. Technologia może oddzielać człowieka od wspólnoty i od samego siebie.
Tak więc, choć dostrzegam wielki potencjał w tej technologii, przypominam ci, przyjacielu, że każda wielka moc musi być używana roztropnie. Bez mądrości i umiarkowania, to, co jest darem, może stać się przekleństwem. Technologia, choć wspaniała, nigdy nie powinna przeważyć nad cnotą i dobrostanem człowieka.

Można też przygotowywać zabawy, które w angażujący sposób będą wyjaśniały pewne zjawiska. Na przykład zabawa „zmyślona” przez ChatGPT, wyjaśniająca działanie prądu elektrycznego.

🧑
Chciałbym wyjaśnić dzieciom sześcioletnim jak działa prąd. Przygotuj mi zabawę, która wyjaśni działanie tego zjawiska
🤖
Oto pomysł na zabawę, która w prosty sposób wyjaśni dzieciom działanie prądu:

Zabawa: "Łańcuch energii" Czas trwania: 20-30 minut Materiały:
- Kolorowe sznurki (symbolizujące przewody)
- Małe karteczki lub kulki papieru (symbolizujące elektrony)
- Duży rysunek baterii (może być narysowany na kartce lub zrobiony z pudełka)
- Zabawka, która będzie symbolem żarówki (np. kula lub latarka)
Cel: Dzieci dowiedzą się, że prąd to ruch elektronów w obwodzie i że energia przemieszcza się od baterii do urządzeń, takich jak żarówki.

Przebieg zabawy:
1. Wprowadzenie:
  - Zacznij od rozmowy z dziećmi. Powiedz im, że prąd jest jak magiczna moc, która sprawia, że świecą lampki, działa telewizor czy ładuje się telefon.
  - Wyjaśnij, że ta moc pochodzi z baterii (lub z gniazdka w ścianie) i przemieszcza się po przewodach do urządzeń, które działają dzięki prądowi.
  - Powiedz im, że za chwilę będą się bawić w prąd i same stworzą taki obwód.
2. Tworzenie obwodu:
  - Podziel dzieci na role: część z nich będzie "elektronami" (mogą trzymać karteczki lub papierowe kulki), jedna osoba będzie baterią, a jedna "żarówką".
  - Ułóż na podłodze sznurek w kształcie zamkniętej pętli (symbolizuje przewody, które tworzą obwód). Bateria będzie na jednym końcu pętli, a żarówka na drugim.
  - Elektrony (dzieci z karteczkami) ustawiają się wzdłuż sznurka.
3. Zabawa: przepływ prądu:
  - Powiedz dzieciom, że prąd zaczyna się w baterii i "płynie" przez przewody, dopóki nie dotrze do żarówki.
  - Osoba będąca baterią daje sygnał, np. klaszcząc, a wtedy elektrony zaczynają przemieszczać się wzdłuż sznurka, przekazując karteczkę (elektron) do kolejnego dziecka, aż dotrze ona do żarówki.
  - Kiedy "elektrony" dotrą do żarówki, dziecko będące żarówką może włączyć latarkę lub podskoczyć i powiedzieć: „Jestem włączona!”
4. Podsumowanie:
  - Wyjaśnij, że tak samo jak w zabawie, prąd w rzeczywistości płynie w przewodach i zasila różne urządzenia.
  - Możesz porównać obwód do ronda na ulicy – prąd cały czas krąży, dopóki obwód jest zamknięty.
Dodatkowe pytania:
- Co by się stało, gdyby jedno z dzieci (elektronów) się zatrzymało? (Prąd by nie popłynął – tak jak prąd nie popłynie, jeśli coś przerwie obwód).
- Co możemy zrobić, żeby żarówka świeciła mocniej? (Więcej elektronów płynących przez obwód – większa moc baterii).
Taka zabawa pozwala dzieciom w zrozumiały i fizyczny sposób doświadczyć, jak działa przepływ prądu, jednocześnie bawiąc się i ucząc.

Dlaczego są to halucynacje? Rozmowa z Arystotelesem jest zmyślona przez ChatGPT – z oczywistych względów nigdzie nie została udokumentowana, chatbot musiał więc ją wymyślić. Podobnie nie znajdziemy nigdzie dokładnie takiej zabawy prezentującej działanie prądu, jaką opisał chatbot. Ona również została zmyślona. Powyższe przykłady fantastycznie pokazują jak sztuczna inteligencja może łączyć różne wątki i tworzyć coś nowego, oryginalnego.

Nie wszystkie pomysły AI będą gotowe do użycia, część zignorujemy, a część będzie wymagała bardziej doprecyzowanych promptów. Inne będzie można wykorzystać dopiero po korekcie, a jeszcze inne sprawią, że wykiełkuje w nas nowa idea. Zawsze możemy też poprosić o jeszcze jeden przykład. Albo o 10 przykładów. Może któryś okaże się tym, którego właśnie szukamy.

Halucynacje można więc wykorzystać do własnych celów, co mam nadzieję udało mi się pokazać. Jeśli wiemy, kiedy stanowią wartość, a kiedy musimy na nie uważać i co zrobić, aby je zminimalizować, praca ze sztuczną inteligencją będzie efektywniejsza.

Skąd się biorą halucynacje?

A teraz sekcja „dla dociekliwych”. Skąd biorą się halucynacje? Powodów jest kilka:

Niekompletne dane treningowe

Dane, na których trenowano modele sztucznej inteligencji nie zawierają całej dostępnej ludziom wiedzy o świecie. Dane te pobierano z otwartych źródeł (takich jak Wikipedia czy prace w domenie publicznej) oraz ze źródeł licencjonowanych. Przy treningu niektórych modeli wykorzystywano wpisy z serwisów społecznościowych. Wszystkie te źródła mogą zawierać dane wybrakowane, błędne, przestarzałe bądź stronnicze. Chociaż firmy odpowiedzialne za powstawanie modeli AI robią wiele, aby wyeliminować problematyczne części, nie są w stanie zrobić tego całkowicie.

Niedoskonałe prompty

Jakość promptów ma duży wpływ na powstawanie halucynacji. Nasza intencja nie zawsze zostanie wyłapana przez sztuczną inteligencję. Brak kontekstu pytania, za mało informacji, za dużo informacji – wszystko to może rzutować na otrzymaną odpowiedź. Warto ćwiczyć konwersacje z AI, by w przyszłości, dzięki zebranemu doświadczeniu, będziemy wiedzieć, kiedy możemy sobie pozwolić na krótsze i luźniejsze prompty, a kiedy będziemy musieli w nie włożyć więcej wysiłku.

Statystyka

Modele sztucznej inteligencji, z którymi promptujemy są modelami statystycznymi. Nie operują pojęciami prawda lub fałsz. Zamiast tego po prostu generują tekst, przewidują, które słowo najlepiej pasuje do poprzednich słów. To może już generować błędy.

Halucynacje są więc niejako wbudowane w chatboty. Wynikają z tego, jak są zbudowane modele AI i w jaki sposób zostały wytrenowane. Niektóre modele mogą sobie z nimi radzić lepiej, inne gorzej. Ale i my nie jesteśmy bezradni - pisząc lepsze prompty minimalizujemy ryzyko wystąpienia halucynacji.

Nie takie halucynacje straszne…

Chatboty są tak projektowane, aby generować tekst, który brzmi naturalnie, który wygląda jakby był napisany przez kogoś, kto jest pewny tego, co przekazuje. To może sugerować, że otrzymana odpowiedź jest prawdziwa. Podczas pracy z AI czujność jest wskazana, ale czy tego samego nie należy powiedzieć o informacjach wyszukiwanych w sieci? Nie demonizowałbym halucynacji AI. Większość problemów wynika z braku umiejętności i doświadczenia w pracy z AI oraz braku weryfikacji tego, co sztuczna inteligencja produkuje.

Na szkoleniu Promptuj jak zawodowiec. ChatGPT w pracy nauczyciela pokazujemy przydatne wzorce, które pomagają redukować halucynacje (Lepszy prompt, Pytania pomocnicze) lub wręcz wykorzystują fakt istnienia halucynacji (Persona).