KajoData / Praca i rozwój
Jak sprawdzam analizę AI: od pytania biznesowego do powtarzalnego raportu
Na przykładzie sklepu pokazuję, jak ustalić definicje, wykryć potrojony przychód po połączeniu tabel i zachować sprawdzone obliczenia przy kolejnych raportach.

Masz plik ze sprzedażą, prosisz AI o analizę i dostajesz wykresy, podsumowanie oraz rekomendację zwiększenia budżetu kampanii. Wszystko wygląda jak skończona praca. Na spotkaniu pada jedno pytanie: czy przychód uwzględnia zwroty? Tego akurat nie wiesz. Za to wykres ma bardzo ładny odcień niebieskiego.
Mnie interesuje właśnie moment między otrzymaniem raportu a wykorzystaniem go w decyzji. Sam korzystam z AI przy rozwijaniu KajoData i doceniam, jak szybko pozwala przejść od pomysłu do działającego rozwiązania. Przy analizie chcę jeszcze umieć wyjaśnić, skąd wzięła się liczba i czego z niej wywnioskować nie mogę.
Zaczynam od decyzji i oddzielam trzy pytania
Weźmy wymyślony sklep z materiału. W kwietniu miał 100 tysięcy złotych przychodu, w maju 120 tysięcy. W maju ruszyła nowa kampania. Wzrost o 20% jest zgodny z tymi liczbami. Zdanie, że to kampania spowodowała wzrost, wymaga już dodatkowych podstaw.
Mogły zmienić się ceny, mógł przyjść duży klient albo popyt mógł zależeć od sezonu. Na razie mam możliwe wyjaśnienia. Samo współwystępowanie zdarzeń nie dowodzi przyczyny; tę zasadę przypomina również podręcznik statystyki NIST. Dwa miesięczne wyniki nie pozwalają mi wybrać jednej historii.
Dołóżmy kolejne dane przykładu. W kwietniu po odjęciu kosztu sprzedanych produktów zostawało 30 tysięcy złotych, a w maju 24 tysiące. To nadal przed reklamą i pozostałymi kosztami. Przychód wzrósł, ale ta kwota spadła. Nie znam jeszcze przyczyny ani pełnego wyniku finansowego sklepu.
Rozdzielam więc trzy pytania: co się zmieniło, dlaczego się zmieniło i czy działanie było opłacalne. Każde może wymagać innych danych. Jeśli chcę ocenić zwiększenie budżetu konkretnej kampanii, potrzebuję więcej niż dwóch sum sprzedaży: także informacji o wydatkach, zwrotach, kosztach i zasadach przypisywania zakupu do reklamy.
Brak danych może być uczciwym wynikiem pierwszego etapu. Wolę listę brakujących informacji od stanowczej rekomendacji, która wyprzedza dowody. Szerszą pracę nad pytaniem opisuję w artykule o metodach analizy danych.
Zapisuję kontekst, zanim oddam zadanie narzędziu
Wiedza o firmie jest tu bardzo konkretna. Wiesz, kiedy rozlicza się zwroty i co oznaczają statusy zamówień. Wiesz też, że finanse i marketing mogą rozumieć klienta inaczej. Konto, zakup i opłacony zakup bez zwrotu dają różne zbiory.
Nazwa kolumny nie zawiera wszystkich tych ustaleń. Dlatego zapisałbym definicję miary, okres, używaną datę i uwzględniane statusy. Chcę wiedzieć, czy patrzymy na datę zamówienia, zapłaty czy rozliczenia. Pytam też, jaki stan danych uznajemy za kompletny na potrzeby tego raportu.
Polecenie dla AI sformułowałbym zwyczajnie: chcę ocenić, czy dane dają podstawy do zwiększenia budżetu kampanii. Najpierw opisz dostępne dane i znaczenie wiersza. Wypisz brakujące informacje oraz założenia do potwierdzenia. Pokaż sposób liczenia, a obserwacje oddziel od możliwych wyjaśnień.
Nie potrzebuję do tego kolekcji efektownych tytułów w rodzaju najlepszego analityka świata. Potrzebuję opisu pracy i warunków odbioru. Jeśli w danych brakuje kosztu reklamy, chcę to zobaczyć, zamiast otrzymać domyślną wartość schowaną w obliczeniu.
Taką notatkę mogę poprawiać po rozmowie z odbiorcą. Przy następnym raporcie nie muszę od początku wyjaśniać tych samych zasad. Jednocześnie widzę, gdzie definicja się zmieniła i czy wyniki z dwóch okresów nadal są porównywalne.
W przykładowym sklepie do notatki dopisałbym również, co ma powstać na końcu pierwszego etapu: porównanie miesięcy według uzgodnionej definicji, opis braków i lista hipotez do sprawdzenia. Rekomendację budżetową zostawiłbym na etap, do którego mamy potrzebne dane. Dzięki temu odbiorca wie, dlaczego raport kończy się pytaniem zamiast stanowczego polecenia.
Po połączeniu tabel sprawdzam, czy nadal liczę zamówienia
W przykładzie z filmu jedno zamówienie ma wartość 100 zł. W osobnej tabeli są trzy należące do niego produkty. Po połączeniu według ID zamówienia powstają trzy wiersze, a przy każdym widnieje pełne 100 zł. Ich suma daje 300 zł. Sklep potroił przychód wyłącznie w raporcie.
To zachowanie wynika z dopasowań. Dokumentacja PostgreSQL 18 opisuje, że INNER JOIN tworzy wiersz dla każdej pary spełniającej warunek połączenia. Jeden rekord może więc wystąpić w wyniku obok kilku pasujących rekordów drugiej tabeli. Poprawna składnia nie wykryje błędnej interpretacji kwoty.
Zanim naprawię raport, ustalam jego cel. Jeśli potrzebuję przychodu całych zamówień, chcę liczyć właściwą kwotę raz na zamówienie. Jeśli potrzebuję wyniku według produktów, potrzebuję wartości pozycji albo uzgodnionej reguły podziału. Pełnej wartości koszyka nie mogę bez wyjaśnienia przypisać każdemu produktowi.
Usunięcie powtarzających się kwot też bywa błędną naprawą. Dwa różne zamówienia mogą mieć po 100 zł i oba powinny wejść do sumy. Z kolei trzy pozycje jednego zamówienia mogą być prawdziwymi danymi. Nie chcę ich kasować tylko dlatego, że widzę powtórzony identyfikator.
Potrzebuję więc określić znaczenie wiersza przed połączeniem i po nim. Tę wiedzę wykorzystuję do wyboru sposobu liczenia. Jeśli terminy granularność i kardynalność są nowe, wyjaśniam je razem z innymi pojęciami analitycznymi.

Dobieram kontrole do prawdopodobnego błędu
Nie zakładam, że muszę wykonać całą analizę drugi raz. Wybrałbym sprawdzenia, które mogą ujawnić istotny problem. W sklepie zacząłbym od przychodu i liczby zamówień porównanych z właściwym eksportem źródłowym. Okres i definicje muszą być takie same po obu stronach.
Zgodna suma jest pomocna, ale nie wystarcza do uznania całej analizy za poprawną. Dwa błędy mogą się częściowo znosić, a zgodna kwota niczego jeszcze nie dowodzi o przypisaniu sprzedaży do kampanii. Chcę osobno sprawdzić obliczenie i granicę interpretacji.
Następnie prześledziłbym kilka zamówień dobranych do ryzyka: zwykłe, wieloproduktowe, ze zwrotem i na granicy miesiąca. Przy każdym patrzę, w jakim miejscu weszło do raportu oraz jakie reguły zastosowano. Łatwy przypadek bez zwrotu nie powie mi wiele o obsłudze zwrotów.
Załóżmy dodatkowo, że klient zamówił produkt ostatniego dnia miesiąca, a oddał go w następnym. Najpierw pytam, jaką zasadę przyjęliśmy dla takiej sytuacji. Potem przechodzę za tym jednym zamówieniem przez źródło i raport. Jeśli w zestawieniu miesięcznym wynik wygląda inaczej niż w dziennym, próbuję wyjaśnić różnicę przyjętymi regułami. Brak wyjaśnienia jest dla mnie powodem do dalszego sprawdzenia.
Chcę mieć dostęp do sposobu obliczenia: formuły, zapytania albo tabeli etapów. Dzięki temu mogę porównać konkretny krok z danymi. Samo pytanie „czy na pewno dobrze?” jest słabym punktem odniesienia. NIST w profilu generatywnej AI z 2024 roku opisuje ryzyko pewnie przedstawianych błędnych treści i rozumowania.
Na końcu czytam wnioski zdanie po zdaniu. Wzrost przychodu mogę pokazać. Przyczynę oznaczam jako hipotezę, jeśli jej nie ustaliliśmy. Gdy raport wpływa na decyzję o dużych konsekwencjach, zwiększyłbym zakres sprawdzenia i dołączył drugą osobę. Skróconą perspektywę odbioru wyniku znajdziesz w tekście jak odebrać analizę AI.
Przy powtarzalnym raporcie zachowuję obliczenia i ujawniam braki
Załóżmy, że sklep chce otrzymywać raport co tydzień. Wtedy zależy mi na zachowaniu sprawdzonych definicji, filtrów i sposobu traktowania zwrotów. Jeśli co tydzień zlecam analizę od nowa ogólnym poleceniem, dokładam sobie pytanie, czy zmienił się biznes, czy sposób liczenia.
AI może pomóc przygotować rozwiązanie wykonujące ustalone kroki. Ja chcę odebrać te kroki na kilku okresach i zachować działający sposób obliczenia. Opis zmian może powstawać z pomocą modelu, ale każda ważna liczba w podsumowaniu powinna mieć odniesienie do wyniku procesu.
Osobno ustalam zachowanie przy braku danych. Jeśli nie dotarł plik ze zwrotami, raport nie powinien po cichu sugerować, że zwrotów nie było. Chcę zobaczyć wyraźną informację o niekompletności albo zatrzymanie odpowiedniego obliczenia. Wtedy odbiorca wie, jakiego wyniku jeszcze nie powinien używać.
Rozróżniłbym dwa przypadki: otrzymałem poprawny, pusty plik za dany okres albo nie otrzymałem pliku wcale. W pierwszym mogę mieć informację o braku zdarzeń, w drugim mam brak informacji. To samo zero na wykresie ukryłoby tę różnicę. Ustalenie takiego zachowania jest częścią projektu raportu, zanim ustawię jego regularne wysyłanie.
Zacząłbym od jednego raportu. W przykładowej procedurze zapisałbym źródła, definicje, potrzebne pliki, kontrole i osobę odbierającą wynik. Gdy zmieni się reguła, świadomie ocenię porównywalność okresów. Automatyzacja utrwala również błędy, dlatego chcę wcześniej wiedzieć, co dokładnie będzie powtarzane.
Ćwiczę na danych, które potrafię prześledzić samodzielnie
Przygotuj kilkanaście wymyślonych zamówień. Dodaj zakup z kilkoma produktami, jeden zwrot i zdarzenie na granicy miesiąca. Zapisz znaczenie wiersza oraz definicję sprzedaży. Dzięki małemu zakresowi możesz samodzielnie prześledzić drogę do wyniku bez korzystania z firmowych danych.
Poproś AI o analizę według tych zasad. Potem sprawdź najważniejszą kwotę i wybrane przypadki. Zaznacz zdania podsumowania, których nie da się potwierdzić. Jeśli model przypisał wzrost kampanii, choć nie dostał odpowiednich danych, nazwij brakujące uzasadnienie.
Następnie popraw instrukcję albo obliczenie. Zapisz, czy problem wynikał z brakującego kontekstu, wykonania czy interpretacji. To trzy różne rodzaje poprawki. Prośba o większą ostrożność nie naprawi powielonej kwoty, a poprawny JOIN nie dostarczy danych o przyczynie wzrostu.
Właśnie dlatego nadal uczę podstaw analizy, Excela i SQL-a. Pozwalają mi zauważyć problem i sprawdzić propozycję narzędzia. Na koniec ćwiczenia chcę umieć opowiedzieć jedną rzecz: skąd przyszła liczba, jakie reguły zastosowano i jakiej decyzji sam ten wynik jeszcze nie rozstrzyga.
Najważniejsze w pigułce
Czy wystarczy poprosić AI o ponowne sprawdzenie raportu?
Takie polecenie może pomóc, ale ja potrzebuję również odniesienia do danych źródłowych i sposobu liczenia. Model może ponownie przyjąć to samo błędne założenie.
Dlaczego przychód po połączeniu tabel może wzrosnąć?
Jedno zamówienie może pasować do kilku pozycji. Jeśli przy każdej z nich pojawi się cała kwota zamówienia, jej późniejsze sumowanie powieli przychód. Trzeba ustalić właściwy poziom obliczenia.
Kiedy automatyzowałbym analizę przygotowaną z AI?
Gdy znam definicje i filtry, potrafię odtworzyć wynik oraz sprawdziłem przypadki istotne dla raportu. Zachowałbym obliczenia i sposób sygnalizowania brakujących danych, zanim uruchomię proces regularnie.
Przy pracy nad artykułem użyto w zautomatyzowany sposób sztucznej inteligencji. Jeśli też chcesz tak umieć, sprawdź ten projekt.
