Śniadanie biznesowe SMARTSIST · Wrocław, 4.11.2026

Dlaczego AI
„kłamie”?

Skąd biorą się zmyślenia i jak z nimi pracować

pytanie do was

Jak opisalibyście kota?

✓trójkątne uszy

✓cztery łapy

✓futro

✓wąsy

✓ogon

Wszystkie spełnione? To kot.

Obrazy. Komputery uczyły się rozpoznawać zdjęcia na długo przed tym, zanim zaczęły pisać teksty. Pierwszy GPT, od którego wziął się ChatGPT, pojawił się dopiero w 2018 roku. Dlatego zaczniemy od obrazów, a konkretnie od kotów.

Pytanie do was: jak opisalibyście kota? Po czym poznajecie, że to kot? Rzucajcie. (zbierz 3–4 odpowiedzi z sali)

Dobrze, zapiszmy to.

▶ KLIK Trójkątne uszy.

▶ KLIK Cztery łapy.

▶ KLIK Futro.

▶ KLIK Wąsy.

▶ KLIK Ogon. Wszystko się zgadza? To kot.

I dokładnie tak w latach dziewięćdziesiątych podchodzili do tego programiści. Komputer nie potrafił jeszcze uczyć się sam, z przykładów, więc wszystko trzeba mu było powiedzieć wprost. Człowiek ręcznie spisywał reguły, a komputer je odhaczał. Tak samo jak przed chwilą wy. Zobaczmy, jak to działa w praktyce.

(Jeśli sala poda inne cechy niż na slajdzie, powiedz: „u nas wyszło podobnie” i klikaj dalej.)

test reguł

Trzy zdjęcia, trzy koty?

Lis5 z 5 reguł

Owczarek5 z 5 reguł

Pluszak5 z 5 reguł

Żaden z nich nie jest kotem.

Zdjęcia: lis, ClaudiaTen, Wikimedia Commons (CC BY-SA 4.0); owczarek i pluszak, Unsplash

a odwrotnie?

A to jest kot

✓trójkątne uszy

✓cztery łapy

✗futro: brak

✗wąsy: szczątkowe

Według naszych reguł nie jest on kotem.

Zdjęcie: Dmitry Makeev, Wikimedia Commons (CC BY-SA 4.0)

Google, 2012

Zamiast opisywać kota, pokazali mu świat

klatek z YouTube, każda z innego filmu

podpisów. Nikt nie mówi, co jest na obrazku

komputerów przez 3 dni

Zadanie: oglądaj i zapisuj obrazki jak najkrócej.

Le, Ng, Dean i in., 2012

po trzech dniach

Co jest w środku sieci?

Jeden z neuronów sieci reaguje na koty, a na resztę obrazków nie.

Tak ten neuron widzi kota

3 na 4

Mniej więcej tak często trafiał.

Często, ale nie zawsze.

Le, Ng, Dean i in., 2012, rycina 6; NPR, 26.06.2012

co z tego wynika

Dwie lekcje z kotów

Wiele zdjęć kotów trafia do maszyny, książka z regułami odłożona

Uczy się z przykładów

Nikt mu nie napisał, jak wygląda kot. Wystarczyło pokazać miliony zdjęć.

Rozmyty wzorzec kota nad zdjęciami: dwa koty trafione, lis pomylony

Zgaduje po podobieństwie

Nie wie, czym jest kot. Wie, co zwykle wygląda jak kot. Dlatego czasem się myli.

A co z tekstem?

haczyk

Zdjęcie to liczby. A słowo?

Obraz to liczby. Każdy piksel ma swoją wartość.

kot / kocur

Inne litery, ten sam zwierzak.

kot / kat

Jedna litera różnicy, zupełnie co innego.

Jak zamienić słowo w liczby, które coś znaczą?

trening

Jak model uczy się z tekstu?

Tekst do nauki: Kot złapał mysz i zaniósł ją pod drzwi.

Każde słowo to osobne zadanie „zgadnij mnie”. Odpowiedź zawsze stoi w tekście.

kot, jego liczby

Suwaki o włos w stronę „mysz”

kot ≈ kocur, kot ≠ kat

mysz0,0008%

stół0,0008%

okno0,0008%

pies0,0008%

rower0,0008%

Przed treningiem: każde słowo ma tę samą szansę, 1 na 128 000.

W tekście stoi „mysz”. Model dał jej za mało, więc błąd.

mysz ✓58%

ptaka14%

piłkę5%

Po bilionach takich zadań

Punkt za zgodność z tekstem. Nie za prawdę.

Llama 3 (Meta, właściciel Facebooka, 2024): słownik ok. 128 000 kawałków słów, trening na ponad 15 bilionach. Procenty po treningu ilustracyjne.

Każde słowo dostaje swój zestaw liczb. Tu widzicie pięć suwaków słowa „kot”. W prawdziwym modelu jedno słowo ma takich suwaków kilka tysięcy. Na początku stoją byle jak. Ustawia je trening. A trening wygląda tak: model dostaje zwykły tekst, jak ten na górze, z zakrytym kolejnym słowem. I ma je zgadnąć.

A ile jest takich słów? Model nie ma słownika z gotowymi słowami. Ma około 128 tysięcy tokenów i każdy z nich ma swój zestaw suwaków. Token to kawałek tekstu, który model traktuje jako jedną całość: krótkie, częste słowo bywa jednym tokenem, a dłuższe składa się z kilku. Z nich złoży każde słowo, nawet takie, którego nigdy nie widział. Dla uproszczenia będę mówił o słowach.

▶ KLIK Przed treningiem model nie wie nic. Po „kot złapał” każde słowo ma u niego taką samą, mikroskopijną szansę: mysz, stół, okno, rower, wszystko po równo.

▶ KLIK Odkrywamy, co stało w tekście: „mysz”. Model dał jej za mało, więc to błąd.

▶ KLIK Więc trzeba go poprawić. Z tego błędu trening wylicza, które suwaki przesunąć i w którą stronę, żeby następnym razem „mysz” dostała trochę więcej. Rusza wszystkie naraz, także te przy słowie „kot”, ale tylko odrobinę. A suwaków jest w całym modelu kilka miliardów.

▶ KLIK I tak z każdym słowem po kolei. „Złapał” to zadanie, „mysz” to zadanie, „i”, „zaniósł”, „ją” tak samo. Nikt nie musi niczego sprawdzać ani podpisywać, jak przy kotach z YouTube'a. Odpowiedź zawsze stoi w samym tekście.

▶ KLIK Model od Mety, tych od Facebooka, przerobił w ten sposób ponad 15 bilionów kawałków tekstu. Po takim treningu „mysz” po „kot złapał” ma już dużą szansę. I przy okazji wychodzi odpowiedź na pytanie z poprzedniego slajdu. „Kot” i „kocur” stoją w podobnych zdaniach, więc ich suwaki ustawiają się podobnie. „Kot” i „kat” już nie. Tak liczby zaczynają coś znaczyć.

▶ KLIK I zwróćcie uwagę, za co model dostaje punkt: za to, że trafił w słowo, które stało w tekście. Nie za to, że powiedział prawdę. Jeśli w tekstach często powtarza się bzdura, model nauczy się bzdury.

gra

Teraz wy jesteście modelem

Dopowiedzcie jedno słowo. Macie 3 sekundy.

01 / 03

Na kanapie mruczy kot.

02 / 03

Po spotkaniu wyślę wam prezentację.

03 / 03

Pierwszą jedynkę po dołączeniu do SMARTSIST
miałem z Kasią.

Dopowiedzieć da się zawsze. Wiedzieć nie zawsze.

Teraz wy jesteście modelem. Dopowiedzcie jedno słowo. Macie trzy sekundy.

▶ KLIK Na kanapie mruczy… (pauza na odpowiedzi, około trzech sekund)

▶ KLIK Kot.

▶ KLIK Po spotkaniu wyślę wam… (pauza na odpowiedzi, około trzech sekund)

▶ KLIK Prezentację. Choć oferta albo wiadomość też by pasowały.

▶ KLIK Pierwszą jedynkę po dołączeniu do SMARTSIST miałem z… (pauza, około trzech sekund)

▶ KLIK Z Kasią. Tu większość z was mogła już tylko zgadywać.

▶ KLIK Co wynika z tej gry? Zrobiliście dokładnie to, co model robi przy każdym słowie. Przy kocie odpowiedź nasuwała się sama. Przy prezentacji pasowało kilka słów. Przy imieniu pasowało każde, a prawdziwe było tylko jedno. Model też dopowiada to, co najlepiej pasuje, i tak samo jak wy czasem trafia, a czasem nie. Dopowiedzieć da się zawsze. Wiedzieć nie zawsze.

po czym poznaje

Jedno słowo, trzy znaczenia

kurs

Kurs euro znowu spadł.

pieniądze

Zapisałem zespół na kurs Excela.

szkolenie

Statek zmienił kurs na Gdańsk.

kierunek

Model wie tyle, ile mu napiszesz.

Skąd model wie, które słowo wybrać? Z reszty tekstu. Weźmy słowo „kurs”.

▶ KLIK Kurs euro znowu spadł. Tu chodzi o pieniądze.

▶ KLIK Zapisałem zespół na kurs Excela. Tu o szkolenie.

▶ KLIK Statek zmienił kurs na Gdańsk. A tu o kierunek. To samo słowo, te same cztery litery.

Model robi dokładnie to, co wy przed chwilą. Słowo „kurs” ma na start swoje liczby, te wytrenowane suwaki. Ale zanim model cokolwiek odpowie, każde słowo zerka na sąsiadów i jego liczby się przesuwają. Obok „euro” ciągną w stronę pieniędzy, obok „Excela” w stronę szkoleń. Tak model poznaje, o czym mówimy. Nie ze słownika, tylko z otoczenia.

▶ KLIK Z tego wynika rzecz bardzo praktyczna: model wie tyle, ile mu napiszecie. A co, jeśli napiszecie mało?

(Jeśli ktoś zapyta: fachowo nazywa się to mechanizmem uwagi, ang. attention. Opisała go praca Google z 2017 roku i od niej wzięło się „T” w GPT, od Transformer. Nie wchodź głębiej.)

krótkie polecenie

Krótkie polecenie, typowa odpowiedź

Napisz krótki tekst „O nas” dla mojej firmy. Biuro rachunkowe, Wrocław.

O nas

Jesteśmy biurem rachunkowym z Wrocławia, które od ponad 15 lat wspiera przedsiębiorców w prowadzeniu księgowości. Zaufało nam już kilkaset firm, od jednoosobowych działalności po spółki. Nasz zespół certyfikowanych księgowych dba o terminowość i bezpieczeństwo Twoich rozliczeń, a ubezpieczenie OC daje Ci pełen spokój.

Czego nie napiszesz, model dopowie. Najbardziej typowo.

Każdy z was ma gdzieś tekst o swojej firmie: na stronie, na LinkedInie, w katalogu wystawców. Poprosiłem AI o taki tekst. Biuro rachunkowe z Wrocławia, nic więcej.

▶ KLIK Dostałem to po pięciu sekundach. Ciepło, konkretnie, profesjonalnie. Można wklejać.

▶ KLIK A teraz zaznaczę to, czego mu nie podałem. Od ponad piętnastu lat na rynku. Zaufało nam kilkaset firm. Zespół certyfikowanych księgowych. Nic z tego nie było w poleceniu. (dopasuj do zrzutu)

Skąd to się wzięło? Z tego samego miejsca co „kot” w grze. Model przeczytał tysiące tekstów „O nas”, a w nich prawie zawsze są lata doświadczenia, liczba klientów i zgrany zespół. Więc dopisał to, co w takim miejscu pojawia się najczęściej.

▶ KLIK Czego nie napiszecie, model dopowie, i to najbardziej typowo. W treści maila to zwykły wypełniacz, poprawicie i tyle. Ale tekst „O nas” idzie na waszą stronę, pod waszą nazwą, i klient czyta go jako fakty. A co, jeśli luka nie dotyczy stylu, tylko faktu, którego model po prostu nie zna?

wracamy do gry

Skąd dziś bierze się „nie wiem”?

Wpisałem w Claude

Dokończ zdanie: Pierwszą jedynkę po dołączeniu do SMARTSIST miałem z…

Claude odpowiada

Nie wiem.

Domyślnie: „nie wiem”

Odruch, który każe odpowiedzieć: nie mam informacji.

„Znam to” go wyłącza

Michael Jordan? Model zna nazwisko i odpowiada: koszykówka.

Fałszywe „znam to”

Nazwa brzmi znajomo, wiedzy brak. Model dopowiada.

To nie przycisk, który sprawdza wiedzę. To odruch.

Anthropic, „Tracing the thoughts of a large language model”, 27.03.2025; badany model: Claude 3.5 Haiku

Wracając do ostatniego zdania z gry: „Pierwszą jedynkę po dołączeniu do SMARTSIST miałem z…”. To samo zdanie dałem do dokończenia Claude'owi. Odpowiedział, że nie wie. Skąd ta różnica? To, co pokazywałem do tej pory, to zasada, od której wszystko się zaczęło. Pierwsze modele po prostu dopowiadały i wstawiłyby tu jakieś imię. Dzisiejsze przeszły jeszcze dodatkowy trening i nauczyły się czasem mówić „nie wiem”. Czyli przycisk „nie wiem” jednak jest? Nie do końca. W marcu 2025 roku Anthropic, firma, która robi Claude'a, zajrzała do środka swojego modelu i sprawdziła, skąd to „nie wiem” się bierze.

▶ KLIK W modelu jest coś w rodzaju odruchu, który domyślnie mówi: „nie mam informacji”. Jest włączony zawsze, przy każdym pytaniu.

▶ KLIK Wyłącza go poczucie „znam to”. Pytacie, jaki sport uprawia Michael Jordan: model rozpoznaje nazwisko, odruch gaśnie i pada odpowiedź: koszykówka. Pytacie o kogoś, kogo model nie zna, odruch zostaje i słyszycie „nie wiem”. Tak było z moim zdaniem o jedynce.

▶ KLIK A teraz najważniejsze. Badacze z Anthropic wymyślili sportowca, którego nie ma, i zapytali swój model: „W jaki sport gra Michael Batkin?” Model odpowiedział, że nie zna nikogo takiego. Wtedy sztucznie włączyli mu w środku „znam to”, zadali to samo pytanie i usłyszeli: „Szachy”. Tak rodzi się zmyślenie: wystarczy, że coś brzmi znajomo. Odruch „nie wiem” się wyłącza, a skoro model nie powie „nie wiem”, mówi to, co brzmi najbardziej prawdopodobnie.

▶ KLIK Więc przycisku, który sprawdza wiedzę, nie ma. Jest odruch. Działa, kiedy pytanie brzmi obco. Zawodzi, kiedy brzmi znajomo.

ton

Prawda i zmyślenie brzmią tak samo

Kiedy Hala Stulecia trafiła na listę UNESCO?

✓

Oczywiście! Hala Stulecia we Wrocławiu została wpisana na listę UNESCO w 2006 roku.

✗

Oczywiście! Hala Stulecia we Wrocławiu została wpisana na listę UNESCO w 2011 roku.

Ten sam ton.

Ton to styl, nie wiedza.

A kiedy model zmyśla, to czy da się to usłyszeć? Sprawdźmy na czymś, co we Wrocławiu brzmi bardzo znajomo. Kiedy Hala Stulecia trafiła na listę UNESCO? Dwie odpowiedzi, ten sam ton, ta sama pewność. Która prawdziwa?

▶ KLIK 2006. Druga jest zmyślona, a brzmi identycznie. Po samym brzmieniu nie zgadniecie.

Dlaczego tak? Bo ton model dobiera dokładnie tak jak słowa. Uczył się z artykułów, instrukcji, regulaminów, wyroków. A tam nikt nie pisze „chyba” ani „nie jestem pewien”.

▶ KLIK Ton to styl, a nie wiedza. Model nauczył się brzmieć jak ekspert, bo eksperci tak piszą.

Sam się na to nabrałem, kiedy przygotowywałem tę prezentację. Pisałem ją z pomocą AI i w jednym ze szkiców model napisał mi, że zna „ponad sto tysięcy słów”. Brzmiało rzeczowo, z konkretną liczbą. Tylko że to nieprawda: model nie ma listy słów, ma tokeny, czyli kawałki słów, i z nich składa każde słowo. Gdybym tego nie sprawdził, powiedziałbym wam to dzisiaj dokładnie tym samym pewnym tonem.

A skoro model brzmi tak pewnie, ktoś go tego nauczył. Kto?

trening

Kto go tego nauczył?

Czyta internet i dopowiada następne słowo.

Uczy się rozmawiać na przykładach.

Ludzie oceniają odpowiedzi.

wyżej: pewna i miłaniżej: „nie wiem”

OpenAI, kwiecień 2025

Aktualizacja ChatGPT wycofana po 4 dniach, bo była „zbyt przymilna”.

OpenAI, „Sycophancy in GPT-4o” i „Expanding on what we missed with sycophancy”, kwiecień–maj 2025

Trening ma trzy etapy.

▶ KLIK Pierwszy znacie: czytanie i dopowiadanie następnego słowa, miliardy razy.

▶ KLIK Drugi: przykładowe rozmowy, żeby model wiedział, że po pytaniu ma przyjść odpowiedź.

▶ KLIK Trzeci: ludzie oceniają jego odpowiedzi, lepsza czy gorsza. Na tym etapie model uczy się też mówić „nie wiem”, tak jak Claude przy zdaniu o jedynce. Ale tu jest też pies pogrzebany. Oceniają ludzie, a ludziom często bardziej podoba się odpowiedź konkretna i pewna niż „nie wiem, sprawdź sam”. Model uczy się więc tego, co się podoba, a nie tego, co jest prawdą.

▶ KLIK Jak daleko to może zajść? W kwietniu 2025 OpenAI wypuściło aktualizację ChatGPT i po czterech dniach ją wycofało. Model chwalił wszystko i każdemu przyznawał rację. Sam szef firmy napisał, że zrobił się zbyt przymilny. To nie był błąd jednego programisty. To efekt uboczny uczenia na tym, co się ludziom podoba. Dlatego jak zapytacie „prawda, że…?”, chętnie wam przytaknie.

OpenAI, wrzesień 2025

Model jak uczeń na teście

trafiony strzał

chybiony strzał

„nie wiem”

Kto zgaduje, wygrywa w rankingu.

Kalai, Nachum, Vempala, Zhang, „Why Language Models Hallucinate”, OpenAI, 5.09.2025, arXiv:2509.04664

głosujemy

Który model wybierzecie?

Model A · często mówi „nie wiem”

22%52% „nie wiem”26% błędów

Model B · prawie zawsze odpowiada

24%75% błędów

Trafienia: A 22%, B 24%. W rankingu wygrywa B.

Ranking liczy tylko trafienia.

OpenAI, wrzesień 2025, test SimpleQA; A = gpt-5-thinking-mini, B = o4-mini

Dwa modele tej samej firmy, ten sam test z krótkich pytań o fakty. Model A często mówi „nie wiem”. Model B prawie zawsze odpowiada. Który bierzecie do firmy? Ręce za A. Za B. (pauza na głosowanie)

▶ KLIK Trafienia: 22 i 24 procent. W rankingu wygrywa B.

▶ KLIK A teraz cała prawda. A myli się w co czwartym pytaniu. B w trzech na cztery. Trzy razy więcej zmyśleń za dwa punkty procentowe w rankingu.

▶ KLIK A ranking liczy tylko trafienia. Model, który uczciwie mówi „nie wiem”, spada w tabeli, choć zmyśla trzy razy rzadziej. Dlatego zmienia się to powoli. Model A jest zresztą nowszy, więc idzie to w dobrą stronę. Ale nawet on myli się w co czwartym pytaniu. Kiedy ktoś będzie wam sprzedawał narzędzie z AI, nie pytajcie tylko, ile trafia. Pytajcie, jak często zmyśla i co robi, kiedy nie wie.

Model nie wie, co jest prawdą.

Wie, co brzmi prawdopodobnie.

To nie kłamstwo, bo kłamstwo wymaga intencji. To halucynacja.

quiz

Które z tych książek istnieją?

Isabel Allende

Tidewater Dreams

autorka „Domu duchów”

Andy Weir

The Last Algorithm

autor „Marsjanina”

Żadna.

Chicago Sun-Times, maj 2025

Letnia lista lektur: 15 książek, 10 nie istnieje.

NPR, 20.05.2025; Axios, 20.05.2025

Zacznijmy od quizu. Spójrzcie na te dwa tytuły. (pauza, niech przeczytają) Autorów możecie kojarzyć: Allende napisała „Dom duchów”, a z „Marsjanina” Weira był film z Mattem Damonem. Tytułów pewnie nie znacie, ja też ich nie znałem. To jak myślicie, która z nich istnieje? (krótka pauza)

▶ KLIK Żadna. Nie znaliśmy ich, bo ich nie ma.

▶ KLIK Wymyśliło je AI. W maju 2025 Chicago Sun-Times, duży amerykański dziennik, wydrukował letnią listę lektur: piętnaście książek, prawdziwi autorzy, przekonujące opisy. Dziesięciu z tych książek nie ma. Autor listy przyznał, że zrobił ją z pomocą AI i jej nie sprawdził. Redakcja też nie. A to jest dokładnie to, co widzieliśmy przy Batkinie: nazwisko autora brzmi znajomo, więc „nie wiem” się nie włącza i model dopisuje tytuł, który pasuje. Do tego przekonujący opis. Gazeta wydrukowała to jako fakt.

sądy

Sąd w Warszawie, sierpień 2026

Skarga kasacyjna do NSA

Pisze ją adwokat albo radca prawny. Powołuje 7 wyroków.

2 nie istnieją. 5 istnieje, ale dotyczy zupełnie innych spraw.

To nie pierwszy raz

NSA, czerwiec 2026: podobna sprawa, pełnomocnik przedsiębiorcy z Łodzi.

Nowy Jork, 2023: prawnik pyta ChatGPT, czy wyroki są prawdziwe. Słyszy, że tak. Kara: 5000 dolarów.

NSA: skarga „w sposób oczywisty została sporządzona z wykorzystaniem narzędzi AI”. Numer wyroku prawdziwy, treść o czymś innym.

Nie sprawdzaj modelu modelem. Sprawdzaj w źródle.

NSA, I OSK 590/26, 31.08.2026 i I FZ 104/26, 23.06.2026 (za bezprawnik.pl, infor.pl); Mata v. Avianca, 1:22-cv-01461 (S.D.N.Y.), 22.06.2023

Sierpień tego roku, Naczelny Sąd Administracyjny w Warszawie. Skargę kasacyjną do NSA może napisać tylko profesjonalny pełnomocnik, adwokat albo radca prawny. W tej skardze powołano siedem wyroków. Sąd je sprawdził. Dwóch sygnatur w ogóle nie ma w rejestrze. Pozostałe istnieją, tylko dotyczą zupełnie innych spraw.

▶ KLIK Sąd napisał wprost, że skarga w sposób oczywisty powstała z pomocą AI. I zwróćcie uwagę na te wyroki, które istnieją: numer prawdziwy, a treść o czymś innym. Ktoś sprawdził, że numer się zgadza, i uznał, że reszta też.

▶ KLIK To nie był pierwszy raz. W czerwcu NSA miał podobną sprawę z pełnomocnikiem przedsiębiorcy z Łodzi. A pierwszy głośny przypadek był w Nowym Jorku w 2023 roku. Tam prawnik nawet próbował to sprawdzić: zapytał ChatGPT, czy te wyroki są prawdziwe. Usłyszał, że tak. Skończyło się grzywną 5000 dolarów.

▶ KLIK Pytać model, czy nie zmyślił, to jak sprawdzać referencje kandydata, pytając jego samego. Referencje sprawdza się u klienta, którego podał. Z modelem tak samo: w źródle.

Australia, 2025

Raport za 440 tysięcy

Deloitte pisze dla ministerstwa raport o systemie kar w zasiłkach. Kontrakt: 440 000 dolarów australijskich.

Naukowiec z Sydney znajduje około 20 błędów: przypisy do nieistniejących publikacji, zmyślony cytat z wyroku.

W poprawionej wersji dopisek, że użyto modelu językowego (Azure OpenAI). Deloitte oddaje ostatnią ratę.

Klient płaci ci za to, że sprawdziłeś.

AP, 7.10.2025; The Register, 6.10.2025

Kanada, 2024

Chatbot, który wymyślił regulamin

Zmarła mi babcia. Czy jest zniżka na lot na pogrzeb?

Kup zwykły bilet, o zwrot różnicy wystąp w ciągu 90 dni.Takiej zasady nie było.

Linia przed trybunałem

Chatbot to „odrębny podmiot”, sam odpowiada za swoje słowa.

Trybunał

Chatbot jest częścią strony firmy. Linia musi oddać różnicę.

Co bot obieca, obiecuje firma.

Moffatt v. Air Canada, 2024 BCCRT 149, 14.02.2024

mapa zadań

Gdzie śmiało, a gdzie ostrożnie

Drogi
błądTani
błąd

Sprawdź przed wysłaniem

Liczby i terminy w ofercie

Streszczenie wklejonej umowy

Tylko ze źródłem albo ekspertem

Podstawa prawna wypowiedzenia

Stawka VAT na usługę

Nowy zapis w umowie z klientem

Śmiało

Pomysły na nazwę usługi

Poprawa maila

Traktuj jak szkic

Podsumowanie trendów w branży

Łatwo sprawdzićTrudno sprawdzić

Pytaj: ile kosztuje błąd i czy go zauważę?

Co z tym wszystkim zrobić? Nie trzeba listy stu zasad. Przy każdym zadaniu wystarczą dwa pytania: ile kosztuje błąd i czy łatwo go zauważę. Pokażę to na kilku zwykłych zadaniach.

▶ KLIK Pomysły na nazwę usługi. Zły pomysł nic nie kosztuje, od razu widać, czy się podoba. Śmiało.

▶ KLIK Poprawa maila. Też śmiało: czytacie przed wysłaniem i od razu widzicie, co się zmieniło.

▶ KLIK Podsumowanie trendów w branży. Błąd tani, ale trudno go zauważyć, bo nie znacie wszystkich źródeł. To szkic, nie raport.

▶ KLIK Liczby i terminy w ofercie. Błąd drogi, ale łatwo go złapać, bo sami je znacie. Sprawdzacie przed wysłaniem.

▶ KLIK Streszczenie umowy, którą sami wkleiliście. Tak samo: dokument macie pod ręką, możecie porównać.

▶ KLIK Podstawa prawna wypowiedzenia albo stawka VAT. Drogi błąd i trudno go zauważyć, bo brzmi tak samo pewnie jak prawda. Pamiętacie NSA? Tu tylko ze źródłem albo z ekspertem.

▶ KLIK Nowy zapis w umowie z klientem. Ta sama ćwiartka. Brzmi profesjonalnie, a skutki wyjdą dopiero przy sporze.

▶ KLIK Ile kosztuje błąd i czy go zauważę? Te dwa pytania załatwiają większość decyzji.

do skopiowania

Pięć zdań, które warto dopisać

1„Odpowiadaj wyłącznie na podstawie tego dokumentu: …”kurs

2„Jeśli czegoś tu nie ma, napisz: nie wiem.”Kasia

3„Przy każdym twierdzeniu przytocz zdanie ze źródła.”NSA

4„Jakie są argumenty za i przeciw?” zamiast „Prawda, że…?”przymilny ChatGPT

5„Zanim zaczniesz, zapytaj mnie o to, czego ci brakuje.”„O nas”

Liczby, daty, nazwiska, paragrafy, linki: zawsze w źródle.

A kiedy już korzystacie, pięć zdań, które możecie dopisać do polecenia. Każde wynika z czegoś, co dziś widzieliście.

▶ KLIK Pierwsze: „Odpowiadaj wyłącznie na podstawie tego dokumentu” i wklejacie umowę, regulamin, cennik. Pamiętacie „kurs”? Model wie tyle, ile mu napiszecie. Dajcie mu materiał, to odpowiedź będzie patrzyła na materiał, a nie na średnią z internetu.

▶ KLIK Drugie: „Jeśli czegoś tu nie ma, napisz: nie wiem”. Przycisku nie ma, ale możecie mu podsunąć te słowa. Kiedy model nie ma z czego odpowiedzieć, jak wy przy imieniu z gry, „nie wiem” ma wtedy szansę wygrać. To nie wyłącznik zmyśleń, tylko wyraźna poprawa szans.

▶ KLIK Trzecie: „Przy każdym twierdzeniu przytocz zdanie ze źródła”. Wtedy sprawdzenie zajmuje sekundę: szukacie tego zdania w dokumencie. Gdyby ktoś tak zrobił w NSA, od razu by wyszło, że wyrok mówi o czymś innym.

▶ KLIK Czwarte: zamiast „prawda, że…?” pytajcie „jakie są argumenty za i przeciw?”. Inaczej przytaknie, bo tego go nauczono.

▶ KLIK Piąte: „Zanim zaczniesz, zapytaj mnie o to, czego ci brakuje”. Wtedy zamiast dopisać do tekstu „O nas” piętnaście lat na rynku, zapyta, od kiedy działacie.

▶ KLIK I jedna rzecz bez wyjątków: liczby, daty, nazwiska, paragrafy i linki sprawdzacie w źródle. Nie w modelu.

dlaczego

Za mało i za dużo: dlaczego to źle

Za mało

Napisz tekst o mojej firmie.

od 15 latsetki klientówcertyfikaty

Luki model wypełnia tym, co najczęstsze.

Za dużo

To jedno zdanie było ważne.

Każde słowo zerka na wszystkie inne. W tłumie ważne zdanie łatwo przeoczyć.

W obu przypadkach odpowiedź brzmi tak samo pewnie.

Zostaje jeszcze jedno: ile materiału dawać modelowi. Widzę to ciągle: jedni piszą jedno zdanie, inni wrzucają całą umowę ze wszystkimi załącznikami, eksport maili z trzech miesięcy albo ciągną jeden czat od miesiąca, bo „on już wszystko wie”.

▶ KLIK Za mało: pamiętacie tekst „O nas”? Każdą lukę model wypełnia tym, co w takim miejscu pojawia się najczęściej. Nie dopytuje, tylko dopowiada.

▶ KLIK Za dużo: pamiętacie „kurs”? Każde słowo zerka na sąsiadów, żeby ustalić, o czym mowa. Kiedy sąsiadów jest kilka, to proste. Kiedy są ich dziesiątki tysięcy, z maili i załączników, jedno zdanie, które naprawdę było ważne, łatwo przeoczyć w tłumie. Do tego cała rozmowa to dla modelu jeden tekst, który czyta od nowa przy każdej odpowiedzi, więc stare tematy mieszają mu się z nowym.

▶ KLIK I w obu przypadkach odpowiedź brzmi tak samo pewnie. Model nie powie „dałeś mi za mało” ani „za dużo, nie ogarniam”.

Stanford, 2023

Ile kontekstu dawać

początekśrodekkoniec

Początek i koniec model widzi dobrze. Środek łatwo mu umyka, zwłaszcza w długim tekście.

Tylko to, czego dotyczy pytanie

Pytanie na końcu

Nowy temat, nowy czat

Tyle, ile trzeba. Nie wszystko, co masz.

Liu i in., „Lost in the Middle: How Language Models Use Long Contexts”, TACL 2024 (arXiv 2307.03172)

zadanie domowe

Sprawdźcie to sami

Zapytaj o swoją firmę, z wyłączonym wyszukiwaniem. Sprawdź, czy powie „nie wiem”.

Poproś o 5 liczb o twoim rynku w Polsce, każdą ze źródłem. Sprawdź źródła.

Wklej długą umowę i zapytaj o zapis ze środka. Porównaj z dokumentem.

Najlepiej z wyłączonym wyszukiwaniem w sieci.

Zadanie domowe, trzy testy na dziesięć minut. Modele idą w dobrą stronę, więc warto zobaczyć, gdzie już sobie radzą, a gdzie jeszcze się potykają.

▶ KLIK Zapytajcie o swoją firmę, z wyłączonym wyszukiwaniem w sieci. Coraz częściej usłyszycie „nie wiem”, jak Claude przy zdaniu o jedynce. To dobry znak. A jeśli model zacznie o was opowiadać, sprawdźcie, ile z tego jest prawdą.

▶ KLIK Poproście o pięć liczb o waszym rynku w Polsce, każdą ze źródłem. Otwórzcie te źródła i sprawdźcie, czy istnieją i czy naprawdę to mówią. Tak wyglądały przypisy w raporcie Deloitte.

▶ KLIK Wklejcie długą umowę i zapytajcie o konkretny zapis ze środka. Porównajcie odpowiedź z dokumentem. Pamiętacie badanie ze Stanfordu: środek długiego tekstu łatwo mu umyka.

na koniec

Traktuj AI
jak stażystę

Szybki, oczytany, pewny siebie. I czasem zmyśla.
Podpisujesz się Ty.
Na pytania chętnie odpowiem przy śniadaniu.