5 błędów statystycznych analityka: sprawdź wniosek przed decyzją

Poprawne zapytanie może prowadzić do błędnego wniosku. Liczby się zgadzają, wykres wygląda dobrze, a mimo to rekomendacja wykracza poza to, co naprawdę wiemy. W analizie łatwo pomylić wzrost liczby zdarzeń ze wzrostem skuteczności, przeciętną wartość z doświadczeniem większości klientów albo zależność z przyczyną. Dlatego oprócz kontroli kodu potrzebuję kontroli rozumowania.

Pokażę pięć takich błędów na przykładach, które można przeliczyć ręcznie. Wszystkie liczby i sytuacje biznesowe są syntetyczne. Nie opisują moich klientów ani wyników prawdziwej kampanii. Chodzi o nawyki sprawdzania: co jest obserwacją, jaki mianownik zastosowano, kogo obejmują dane i jak daleko można z nimi wyjść. Te pytania przydają się niezależnie od używanego narzędzia.

Materiał wideo

Poniżej znajdziesz mój materiał o pięciu błędach statystycznych. W tekście rozwijam przykłady i pokazuję kontrole, które warto wykonać przed przekazaniem rekomendacji.

Błąd pierwszy: zależność uznana za przyczynę

Wyobraź sobie sklep, w którym tygodnie z większym budżetem reklamowym mają również większą sprzedaż. Możliwe, że reklama pomogła. Możliwe też, że firma zwiększała budżet przed świętami, gdy zainteresowanie zakupami i tak rosło. Sam wspólny ruch dwóch liczb nie rozstrzyga, jaki mechanizm zadziałał. Wniosek „budżet powoduje taki wzrost sprzedaży” wymaga mocniejszego uzasadnienia niż zgodny kierunek linii.

Zacząłbym od osi czasu i procesu decyzji. Kiedy ustalono budżet? Czy zespół reagował na wcześniejszy wzrost popytu? Czy równocześnie zmieniły się ceny, dostępność towaru lub sposób liczenia zamówień? To nie są dodatki do analizy po wykonaniu modelu. Bez tych informacji trudno ustalić, co właściwie porównujemy i które wyjaśnienia pozostają możliwe.

NIST opisuje wykres rozrzutu jako narzędzie badania zależności, z wyraźnym zastrzeżeniem dotyczącym przyczynowości. Ja obejrzałbym punkty również po podziale na okresy lub grupy. Jeden nietypowy tydzień może zdominować obraz, a wspólny trend może stworzyć pozornie mocny związek. Sam współczynnik korelacji nie pokazuje kształtu całej relacji ani problemów pomiaru.

Dodanie zmiennych kontrolnych do regresji może pomóc opisać dane, ale nie jest automatycznym certyfikatem przyczyny. Trzeba uzasadnić wybór zmiennych, kolejność zdarzeń i założenia modelu. Można też nie mieć pomiaru ważnego czynnika. Wtedy uczciwym wynikiem jest opis ograniczenia i propozycja lepszego projektu badania, a nie bardziej stanowczy tytuł slajdu.

Jeśli decyzja na to pozwala, rozważyłbym eksperyment z losowym przydziałem oraz ustalonym wcześniej miernikiem. Trzeba nadal pilnować poprawności przydziału, braków i wpływu jednej grupy na drugą. Gdy eksperyment jest niemożliwy, istnieją metody analizy danych obserwacyjnych, lecz każda ma własne warunki. Na etapie prostego raportu wystarczy powiedzieć: obserwujemy zależność i potrzebujemy sprawdzić możliwe wyjaśnienia.

Błąd drugi: jedna średnia opisuje wszystko

Załóżmy, że analizujemy sto zakończonych dostaw. Osiemdziesiąt trwało dokładnie jeden dzień, a dwadzieścia dokładnie siedem dni. Średnia to suma wszystkich czasów podzielona przez liczbę dostaw: osiemdziesiąt razy jeden plus dwadzieścia razy siedem daje 220 dni, a po podzieleniu przez sto otrzymujemy 2,2 dnia. Mediana tego zbioru wynosi jeden dzień.

Żadna dostawa nie trwała dokładnie 2,2 dnia. To nie czyni średniej błędną. Pokazuje natomiast, że nie można opisać nią całego doświadczenia odbiorców. Większość czekała krótko, a istotna grupa znacznie dłużej. Jeśli obietnica wynosi maksymalnie dwa dni według tej samej definicji czasu, dwadzieścia dostaw jej nie spełnia. Sama mediana równa jeden również ukrywa ten problem.

Dobór miary zależy od pytania. Do oszacowania łącznego obciążenia procesem średnia może być użyteczna. Przy opisie typowej obserwacji warto sprawdzić medianę. Do oceny realizacji obietnicy potrzebny jest udział dostaw mieszczących się w terminie oraz informacja o opóźnieniach. NIST omawia różne miary położenia, pokazując, dlaczego rozkład danych wpływa na interpretację typowej wartości.

Przed dopisaniem kolejnego wskaźnika obejrzałbym prosty rozkład. Czy mamy jedną grupę, długi ogon czy dwa różne procesy? Może dostawy lokalne i zagraniczne mają odmienne warunki. Rozbicie powinno wynikać z pytania i dostępnych danych, nie ze znalezienia grupy, która najlepiej wygląda. W poradniku histogramu w SQL pokazuję, jak przygotować taki przegląd liczebności.

Sprawdziłbym również, które zamówienia w ogóle mogły trafić do średniej. Jeżeli uwzględniasz tylko zakończone dostawy, najdłużej czekające otwarte zamówienia nie mają jeszcze pełnego czasu. Ich pominięcie może poprawiać raport, choć sytuacja klientów się pogarsza. Pokaż osobno stan otwartych zamówień i ich dotychczasowy wiek. Nie dopisuj im fikcyjnego końca, ale nie pozwól też zniknąć z obrazu procesu.

Błąd trzeci: liczebność traktowana jak gwarancja

Dziewięć pozytywnych odpowiedzi na dziesięć ankiet daje dziewięćdziesiąt procent. Dziewięćdziesiąt na sto również daje dziewięćdziesiąt procent. To ten sam opisowy udział, lecz inna ilość informacji. Jedna dodatkowa odpowiedź ma znacznie większy wpływ na mały zbiór. Pokazałbym więc licznik i mianownik, zanim odbiorca zacznie porównywać same procenty.

Nie stosowałbym zasady, że poniżej trzydziestu obserwacji nic nie wolno powiedzieć, a po przekroczeniu tej liczby wszystko jest wiarygodne. Liczy się pytanie, zmienność, sposób doboru, niezależność obserwacji i potrzebna precyzja. NIST rozdziela te elementy oceny próby. Mały zbiór może ujawnić konkretny błąd procesu, ale nie musi pozwalać na precyzyjne oszacowanie udziału w całej populacji.

Duży zbiór także może być źle dobrany. Jeśli ankietę widzą tylko osoby, które ukończyły zakup, nie opisuje ona wszystkich odwiedzających, którzy zrezygnowali wcześniej. Jeśli odpowiadają głównie najbardziej zadowoleni albo najbardziej zdenerwowani, liczba odpowiedzi nie usuwa tego mechanizmu. Najpierw ustaliłbym, kogo chcemy opisać, kto mógł odpowiedzieć i kto rzeczywiście znalazł się w danych.

Tysiąc zdarzeń od dziesięciu użytkowników nie jest tym samym co tysiąc niezależnie wybranych użytkowników. Wielokrotne obserwacje tej samej osoby mogą być zależne. To wpływa na wybór metody szacowania niepewności. Samo policzenie wszystkich wierszy jako liczebności próby potrafi stworzyć fałszywe poczucie precyzji. Jednostka losowania i jednostka tabeli nie zawsze są identyczne.

Przy planowaniu badania ustaliłbym najmniejszą różnicę ważną dla decyzji oraz ryzyko, które jesteśmy gotowi zaakceptować. Wytyczne NIST o doborze liczebności wiążą ją między innymi z wymaganą precyzją i zmiennością. Jeśli używasz przedziału ufności, dobierz go do rodzaju danych i założeń. Samo dodanie słowa „ufność” nie naprawia błędnego doboru próby.

Niepewność wyniku ma więcej niż jedno źródło

Przedział ufności opisuje określony rodzaj niepewności przy przyjętej metodzie i jej założeniach. Nie obejmuje automatycznie błędu pomiaru, niewłaściwej definicji klienta ani wszystkich skutków braku odpowiedzi. Wąski przedział wokół źle zdefiniowanej wielkości nadal odpowiada na źle postawione pytanie. Najpierw sprawdziłbym więc, czy interesuje nas średnia, udział, różnica czy prognoza pojedynczej przyszłej obserwacji. To nie są wymienne zadania.

W klasycznej interpretacji poziom dziewięćdziesięciu pięciu procent dotyczy procedury: przy wielokrotnym pobieraniu prób i spełnionych założeniach około tyle wyznaczonych przedziałów obejmowałoby prawdziwą wartość parametru. NIST wyjaśnia tę interpretację na przykładzie średniej. Nie oznacza ona, że dziewięćdziesiąt pięć procent dostaw mieści się w przedziale dla średniego czasu. Do opisu pojedynczych czasów potrzebujesz rozkładu albo innego rodzaju przedziału.

W raporcie biznesowym często wystarczy jasno powiedzieć, że materiał pozwala opisać zaobserwowane przypadki, lecz nie daje jeszcze stabilnego oszacowania dla całego procesu. Możesz wtedy zaproponować zebranie dodatkowych danych, ograniczony test lub decyzję z monitoringiem. Wybór zależy od skutków błędu. Nie dodawałbym formalnego przedziału wyłącznie po to, żeby prosty opis wyglądał bardziej naukowo. Metoda ma odpowiadać na potrzebę, którą umiesz nazwać.

Błąd czwarty: procent bez podstawy porównania

W pierwszym okresie sklep miał dwie sesje zakończone zakupem na sto sesji, a w drugim trzy na trzysta. Każdą sesję liczymy najwyżej raz jako konwertującą, niezależnie od liczby zamówień. Liczba konwertujących sesji wzrosła z dwóch do trzech, czyli o pięćdziesiąt procent. Współczynnik konwersji spadł jednak z dwóch procent do jednego procenta. Oba zdania mogą być jednocześnie prawdziwe.

Spadek z dwóch do jednego procenta to jeden punkt procentowy albo pięćdziesiąt procent wartości początkowej. Te dwa sposoby opisu odpowiadają na inne pytania. W raporcie napisałbym wartości przed zmianą i po niej, różnicę w punktach procentowych oraz liczebności. Sama duża liczba procentowa bez mianownika potrafi zasugerować efekt, którego dane nie pokazują.

Nie liczyłbym względnego wzrostu od podstawy równej zero. Jeśli poprzednio było zero konwersji, a teraz są trzy, podaj zmianę liczby i odpowiednie liczby sesji. Dzielenie przez zero nie staje się poprawne po zastąpieniu komunikatu błędu napisem „100% wzrostu”. Przy bardzo małej podstawie duża zmiana względna również wymaga spokojnego opisu skali, zamiast efektownego nagłówka.

Sprawdź zgodność okresów i definicji. Tydzień nie powinien być porównywany z miesiącem tak, jakby różniła je tylko skuteczność. Sesje muszą być liczone według tej samej reguły, a konwersje przypisane do odpowiedniej grupy. Jeżeli zmieniło się śledzenie zdarzeń, obserwowany skok może dotyczyć pomiaru. Najpierw trzeba uzgodnić dane, a dopiero potem komentować zachowanie odbiorców.

Kiedy wynik całości rośnie mimo spadku w grupach

W kolejnym syntetycznym przykładzie porównujemy dwa okresy i dwa rozłączne segmenty sesji: osoby nowe i powracające, według niezmienionej reguły klasyfikacji. Każdy okres zawiera tysiąc sesji. Poniższa tabela pokazuje sesje z zakupem oraz wszystkie sesje w danym segmencie. Nie jest to test losowy ani pomiar efektu konkretnej zmiany strony.

Wśród powracających współczynnik spada z dwudziestu do osiemnastu procent, a wśród nowych z pięciu do czterech. Łącznie okres A ma 65 konwertujących sesji na tysiąc, czyli 6,5 procent. Okres B ma 110 na tysiąc, czyli jedenaście procent. Wzrost całości wynika w tym układzie z większego udziału segmentu o wyższej konwersji, mimo spadku obu wskaźników segmentowych.

To dobry powód, żeby przed ogłoszeniem poprawy obejrzeć skład zbioru. Nie należy jednak uznać, że sam podział wyjaśnił przyczynę wszystkich zmian. Nadal nie wiemy, dlaczego udział segmentów się zmienił ani dlaczego spadły ich współczynniki. Agregacja odpowiada na pytanie o cały ruch, a segmenty na pytanie o jego części. Oba poziomy są przydatne, jeśli nie zamieniamy jednego w drugi.

Błąd piąty: wybieranie danych pod gotową odpowiedź

Załóżmy, że zespół oczekuje potwierdzenia sukcesu kampanii. Analityk ogląda wiele okresów i segmentów, po czym pokazuje wyłącznie ten z najlepszym wynikiem. Same obliczenia mogą być poprawne. Problem polega na tym, że odbiorca nie wie o pozostałych porównaniach i sposobie wyboru. Obraz pewności jest znacznie mocniejszy niż rzeczywisty materiał dowodowy.

Przed analizą zapisałbym główne pytanie, podstawowy miernik, okres, reguły wyłączeń i sposób zakończenia obserwacji. Nie blokuje to odkrywania nowych zależności. Pomaga natomiast odróżnić wcześniej ustalone sprawdzenie od hipotezy znalezionej po obejrzeniu danych. Jeśli po drodze pojawi się ciekawy segment, można go opisać jako wynik eksploracji i sprawdzić na kolejnych obserwacjach.

Szczególnie ostrożnie traktowałbym wielokrotne testowanie i wybieranie tylko małych wartości p. Stanowisko ASA dotyczące wartości p podkreśla znaczenie pełnego raportowania i kontekstu; sama istotność nie mierzy wielkości ani praktycznej ważności efektu. Wyniku nie należy sprowadzać do odpowiedzi, czy pojedyncza liczba przekroczyła umowną granicę. Nie potrzebujesz testu statystycznego do każdego opisowego zestawienia.

W praktyce zapisałbym także argument przeciw własnej rekomendacji. Co mogłoby pokazać, że interpretacja jest błędna? Może wynik znika po uwzględnieniu zwrotów, dotyczy tylko jednego nietypowego dnia albo zależy od błędu identyfikacji użytkownika. Takie pytania nie oznaczają obowiązku podważania wszystkiego bez końca. Pozwalają sprawdzić najbardziej prawdopodobne alternatywy przed decyzją.

Poprosiłbym drugą osobę o przejście od tabeli do wniosku bez znajomości oczekiwanego rezultatu. W tej kontroli warto wskazać miejsca, w których trzeba dopowiedzieć założenie łączące dane z rekomendacją. Jeżeli dwie osoby rozumieją wskaźnik inaczej, najpierw popraw definicję. Jeśli zgadzają się co do liczb, lecz różnią w wyjaśnieniu, nazwij tę niepewność w rekomendacji.

Co sprawdzić przed wysłaniem raportu

Zacząłbym od jednego zdania opisującego populację, okres i jednostkę obserwacji. Potem sprawdziłbym, czy każda liczba ma definicję, mianownik i regułę braków. Przy czasie dostawy ustalam początek oraz koniec pomiaru. Przy konwersji ustalam, co jest sesją i co oznacza sukces. Bez tego nawet prawidłowy wzór może odpowiadać na inne pytanie niż to, które zadał odbiorca.

Następnie porównałbym wynik zbiorczy z rozkładem i najważniejszymi segmentami. Sprawdziłbym, czy ekstremalne obserwacje albo zmiana składu nie przesuwają obrazu. Brakujące wartości pokaż osobno: nie zastępuj ich zerem bez uzasadnienia. Praktyczny przykład tego rozróżnienia znajdziesz w pierwszym projekcie na własnych danych. Ta kontrola dotyczy także małych tabel, które wydają się zbyt proste, żeby zawierać pułapkę.

Na końcu przeczytałbym same czasowniki we wnioskach. „Wzrosło”, „współwystępuje” i „spowodowało” wymagają innego poziomu dowodów. Rekomendacja może proponować działanie mimo niepewności, ale powinna wskazywać, na czym się opiera oraz co trzeba monitorować. Nie musisz czekać na pełną wiedzę, żeby przygotować użyteczny raport. Musisz natomiast zachować granicę między ustaleniem a przypuszczeniem.

Krótkie ćwiczenie z trzema nagłówkami

Weź trzy zdania: „Dostawy trwają około dwóch dni”, „Konwersja wzrosła o pięćdziesiąt procent” i „Nowa kampania poprawiła sprzedaż”. Do każdego dopisz, co naprawdę wiesz z pokazanych przykładów. W pierwszym uwzględnij średnią 2,2 i grupę czekającą siedem dni. W drugim oddziel liczbę konwertujących sesji od współczynnika. W trzecim usuń twierdzenie przyczynowe, którego nie potwierdza projekt badania.

Potem zapisz jeden brakujący element, który pozwoliłby lepiej odpowiedzieć na pytanie odbiorcy. Może to być liczba sesji, stan otwartych zamówień albo informacja o sposobie przydziału do kampanii. Jeżeli nie potrafisz wskazać takiego elementu, wróć do definicji problemu. Dobra kontrola statystyczna kończy się konkretną poprawką w danych, metodzie lub języku wniosku, a nie samą listą ostrzeżeń.