Lustrzana inteligencja: co Twoje pytania do AI mówią o analizie

Czasem myślę, że AI powinno się nazywać lustrzaną inteligencją. W sposobie pracy z nim bardzo dobrze widać, co użytkownik rozumie, o co potrafi zapytać i jakie założenia przemyca do rozmowy. Sam model może być ten sam, a dwie osoby zrobią z nim zupełnie inne rzeczy.

Nie uważam się przy tym za wybitnego. Chodzi mi o praktyczną obserwację: kiedy mam rozpracowany problem, umiem poprowadzić rozmowę dalej. Kiedy mam tylko ogólne życzenie, dużo łatwiej zadowalam się ogólną odpowiedzią. Chcę pokazać, jak wykorzystać tę różnicę podczas analizy danych.

Lustro pokazuje sposób myślenia, ale ma własne zniekształcenia

Moja metafora ma granice. Słaba odpowiedź nie dowodzi, że użytkownik jest mało inteligentny. Mógł zabraknąć kontekstu, materiałów albo doprecyzowania celu. Model też ma swoje ograniczenia. Nie chcę z jakości pojedynczego czatu robić oceny człowieka.

Jest jeszcze przytakiwanie. W badaniu Anthropic z 2023 roku badani asystenci przejawiali skłonność do dopasowywania odpowiedzi do przekonań użytkownika, także kosztem prawdziwości. To wynik dotyczący badanych modeli i zadań, a nie miara każdego dzisiejszego narzędzia.

Dla mnie praktyczna lekcja brzmi: zgodność odpowiedzi z moim przekonaniem nie wystarcza. Jeśli pytam wyłącznie o uzasadnienie pomysłu, mogę przeoczyć pytanie ważniejsze: jakie dane w ogóle pozwoliłyby go ocenić? Właśnie w tym miejscu chcę zatrzymać rozmowę i poprawić własne założenia.

Zacznij od decyzji, którą chcesz podjąć

Weźmy wymyślony przykład. Sklep ma wyższy przychód po uruchomieniu kampanii. Pytanie „dlaczego kampania zadziałała?” zawiera już gotową odpowiedź o przyczynie. Tymczasem sam wzrost przychodu nie rozstrzyga, co go wywołało. Mogły zmienić się ceny, asortyment albo liczba dni objętych porównaniem.

Ja zacząłbym od zapisania decyzji: chcę ocenić, czy mam podstawę do zwiększenia budżetu kampanii. Potem opisałbym dostępne dane i okres. Zaznaczyłbym, czego nie mam, na przykład informacji o marży albo sensownego punktu odniesienia. Dopiero wtedy poprosiłbym o plan analizy.

Różnica jest konkretna. Zamiast zamawiać przekonujące uzasadnienie, daję sobie szansę odkrycia, że na razie nie umiem odpowiedzieć. Taki wynik bywa mało efektowny. Wolę go jednak od prezentacji, która brzmi pewnie, a pomija warunek potrzebny do decyzji.

Wiedza pomaga mi zauważyć brakujące pytanie

Kiedy rozumiem, co oznacza jeden wiersz danych, mogę zapytać, czy porównuję zamówienia, produkty w zamówieniach czy klientów. Kiedy znam definicję przychodu w zadaniu, mogę dopytać o zwroty. Bez tego łatwo przeczytać gotowy raport i uznać, że wygląda profesjonalnie.

Nie muszę znać każdej odpowiedzi przed rozmową z AI. Chcę natomiast umieć wskazać miejsce, którego nie rozumiem. Proszę wtedy o wyjaśnienie na małym przykładzie, a następnie próbuję opowiedzieć je własnymi słowami. Jeśli nadal potrzebuję przekopiować odpowiedź, mam jeszcze kawałek nauki przed sobą.

Wolę też rozdzielać etapy. Najpierw sprawdzam definicje i braki, później sposób analizy, na końcu wnioski. To mój sposób porządkowania pracy, bez obietnicy, że sama kolejność usunie błędy. Szerszy układ dokumentów i zadań opisuję w artykule o kontekście i kompetencjach analityka pracującego z AI.

Poproś o sprawdzenie założenia i sam oceń odpowiedź

W przykładzie ze sklepem zapytałbym: „Które informacje pozwalają opisać zmianę, a których brakuje do oceny jej przyczyny?”. Osobno poprosiłbym o wskazanie założeń i miejsc wymagających sprawdzenia. Dzięki temu mam coś bardziej konkretnego do przeczytania niż ogólną pochwałę pomysłu.

Samo polecenie „bądź krytyczny” też mnie nie zwalnia z pracy. Długa lista zastrzeżeń może być równie mało użyteczna jak długa lista pochwał. Przy każdym istotnym zastrzeżeniu pytam więc, jaki ma związek z decyzją, jak mógłbym je sprawdzić i czy rzeczywiście dotyczy moich danych.

Jeśli model powołuje się na dokument, otwieram dokument i szukam właściwego fragmentu. Jeżeli proponuje dodatkowe dane, sprawdzam, czy mogę je zdobyć. Chcę zakończyć rozmowę z wyraźniejszym rozumieniem problemu. Samo poczucie, że ktoś mądrze ze mną porozmawiał, jest przyjemne, ale do raportu go nie dołączę.

Zrób małe ćwiczenie na własnym pytaniu

Wybierz jedno pytanie, które ostatnio zadałeś AI. Zanim przeczytasz odpowiedź ponownie, zapisz własnymi słowami, jaką decyzję miała wesprzeć. Dopisz dane, z których wolno korzystać, znaczenie najważniejszych pojęć i to, czego obecnie nie wiesz. Użyj materiałów publicznych albo wymyślonego przykładu.

Teraz sformułuj pytanie drugi raz. Poproś o plan, brakujące informacje i warunki, przy których odpowiedź pozostaje niepewna. Porównaj obie rozmowy pod kątem użyteczności: czy lepiej wiesz, co sprawdzić, co odrzucić i jaki wykonać następny krok? Nie zakładaj z góry, że nowa wersja musi wygrać.

Tak rozumiem sens lustrzanej inteligencji. Patrzę również na siebie: czy doprecyzowałem problem, czy zauważyłem sprzeczność, czy umiem uzasadnić wniosek bez pomocy czatu? Jeśli tak, z rozmowy zostaje mi coś więcej niż kolejny wygenerowany plik.