Wszystkie artykuły

KajoData / Praca i rozwój

10 pojęć analitycznych, które chcę rozumieć przed rozmową o pracę

Łączę granularność, kardynalność, kohorty i pozostałe pojęcia z pytaniami o zwykły raport. Pokazuję, co warto umieć wyjaśnić, zanim zaczniesz pisać zapytanie.

Kajo RudzińskiOpublikowano 7 min czytania

Połączone moduły analityczne tworzą mapę wokół wspólnej platformy danych.

Możesz znać składnię SELECT-a i umieć przygotować tabelę w Excelu, a mimo to zatrzymać się na pytaniu rekrutera. Wystarczy, że usłyszysz „policz churn dla kohort” i nie wiesz, jaką pracę właściwie masz wykonać. Samą komendę łatwiej wtedy znaleźć niż sens zadania.

Dlatego wybrałem dziesięć pojęć, które chcę rozumieć przez ich zastosowanie. Nie traktuję tej listy jako uniwersalnego zestawu pytań rekrutacyjnych. Pokazuję, jak łączyć słownictwo z decyzjami: co liczę, jak łączę dane i dlaczego wynik może być mylący. Dla każdego terminu warto umieć podać przykład oraz jedno ograniczenie.

Granularność i kardynalność: najpierw rozumiem wiersz i dopasowanie

Granularność mówi mi, co reprezentuje pojedynczy rekord. Jedno zamówienie i jedna pozycja zamówienia to różne poziomy szczegółowości. Kimball Group podkreśla, że określenie znaczenia wiersza powinno poprzedzać wybór miar i wymiarów tabeli faktów.

W przykładowych danych mogę mieć zamówienie z trzema produktami. Jeśli każdy produkt ma osobny wiersz, liczba wierszy nie jest liczbą zamówień. Zanim coś zsumuję, chcę wiedzieć również, czy kwota dotyczy pozycji, czy całego koszyka. To pytanie potrafi zaoszczędzić bardzo efektownego błędu.

Podobnie z czasem. Tydzień może przekraczać granicę miesiąca. Jeśli dostaję tygodniowy wynik i mam przygotować miesięczny raport, pytam o regułę przypisania. Z samej sumy tygodniowej nie odtworzę sprzedaży każdego dnia. Muszę otrzymać szczegółowe dane albo uzgodnić uproszczenie i je ujawnić.

Kardynalność wymaga dopowiedzenia kontekstu. Dla kolumny można mówić o liczbie różnych wartości. Przy relacji interesuje mnie, ile rekordów odpowiada rekordom po drugiej stronie. Microsoft opisuje kardynalność relacji między innymi jako jeden do wielu oraz wiele do wielu. Strona „jeden” wymaga unikalnych wartości.

Nie sprowadzałbym więc terminu do samej unikalności. Przed połączeniem pytam: czy klient ma wiele zamówień i czy tabela klientów rzeczywiście zawiera jeden rekord na klienta? Dalej rozwijam ten problem w artykule o rodzajach JOIN w SQL.

Rekurencja i funkcje okna odpowiadają na różne pytania

Zapytanie rekurencyjne przydaje się do przechodzenia po hierarchii, na przykład od pracownika do kolejnych przełożonych. W PostgreSQL 18 rekurencyjne CTE ma część początkową i część korzystającą z wcześniej uzyskanych wyników. Trzeba zadbać o zakończenie, także gdy w danych występuje cykl.

Na rozmowie chciałbym umieć opowiedzieć tę drogę zwykłym językiem. Wybieram punkt startowy, znajduję bezpośrednie powiązanie i przechodzę dalej. Pytam też, czy struktura rzeczywiście jest drzewem. Sam fakt, że w tabeli są dwie kolumny z identyfikatorami pracowników, tego nie gwarantuje.

Funkcja okna pozwala wykonać obliczenie na powiązanych wierszach, zachowując ich osobną tożsamość. Tak tłumaczy ją dokumentacja PostgreSQL. Mogę na przykład porównać kwotę pojedynczego zamówienia z wynikiem jego klienta, nadal pokazując osobne zamówienia.

Przy takim zadaniu pytam o podział na grupy, kolejność i zakres obliczenia. Ranking i suma narastająca wymagają innych ustaleń. Samo rozpoznanie słowa „okno” jest początkiem; chcę jeszcze wyjaśnić, dlaczego potrzebuję szczegółowych wierszy zamiast jednego podsumowania grupy.

Normalizacja i denormalizacja dotyczą układu danych

Normalizacja w kontekście relacyjnej bazy oznacza organizację tabel i zależności ograniczającą nadmiarowe zapisy oraz problemy aktualizacji. Microsoft wyjaśnia to na przykładzie adresu klienta: łatwiej utrzymać spójność, gdy właściwa informacja nie jest bez potrzeby powielona w wielu miejscach.

Nie mylę tego ze skalowaniem wartości liczbowych ani pytaniem, czy dane wyglądają normalnie. W rozmowie o modelu bazy chcę wiedzieć, gdzie jest właściwe miejsce zapisu konkretnej cechy i od którego klucza ta cecha zależy.

Razem z normalizacją omawiam denormalizację, czyli celowe wprowadzenie części powtórzeń. Przykładem może być dołączenie opisów produktu do przygotowanej tabeli analitycznej. Dokumentacja modelowania Power BI pokazuje takie rozróżnienie i kompromisy przy łączeniu tabel wymiaru.

Nie wybrałbym zwycięzcy na podstawie samej liczby tabel. Pytam, jak rozwiązanie będzie aktualizowane, jak korzystają z niego odbiorcy i jaki problem ma rozwiązać. Więcej połączeń nie dowodzi lepszego projektu. Jedna szeroka tabela również nie zwalnia mnie z kontroli spójności.

Duży kafel, trzy mniejsze klocki i rozgałęziony przepływ pod lupą kontrolną.

Miary addytywne i nieaddytywne: nie każdą liczbę sumuję

Szóste pojęcie to addytywność miar. W prostym przykładzie sprzedaż 200 zł i 100 zł daje razem 300 zł, jeśli kwoty dotyczą rozłącznych transakcji i wspólnej definicji. Przy procentach muszę najpierw sprawdzić licznik i mianownik.

Weźmy dodatkowy, wymyślony przykład. W pierwszej grupie mam jeden zakup na dziesięć wizyt, czyli 10%. W drugiej dziewięć zakupów na trzydzieści wizyt, czyli 30%. Łącznie to dziesięć zakupów na czterdzieści wizyt, czyli 25%. Suma procentów dałaby 40%, a ich zwykła średnia 20%. Żadna z tych dwóch operacji nie daje wspólnej konwersji.

Kimball Group wyróżnia miary addytywne, póładdytywne i nieaddytywne. Dla ilorazów zaleca, tam gdzie to możliwe, zachowanie składników i obliczenie wskaźnika po ich agregacji. Stan magazynu jest z kolei przykładem, przy którym trzeba uważać na wymiar czasu.

W praktyce pytam więc, po czym wolno sumować konkretną miarę. Sama obecność liczby w kolumnie nie daje odpowiedzi. Jeśli ktoś prosi o łączną konwersję, chciałbym otrzymać także składniki, z których ją wyliczono.

Analiza kohortowa wymaga wspólnego punktu odniesienia

Analiza kohortowa należy do moich ulubionych tematów; zajmowałem się nią zawodowo. Grupuję ludzi według określonej wspólnej cechy i obserwuję ich zachowanie w czasie. Często punktem startowym jest miesiąc rejestracji lub pierwszego zakupu. Google Analytics opisuje kohorty przez kryterium wejścia i późniejsze kryterium powrotu.

Wyobraźmy sobie fikcyjną usługę subskrypcyjną. Chcę porównać osoby, które dołączyły w styczniu i lutym. Najpierw ustalam, co znaczy dołączenie: konto, płatność czy rozpoczęcie dostępu. Potem wybieram zachowanie, które mnie interesuje, na przykład dalszy aktywny dostęp.

Porównywałbym grupy po takim samym czasie od startu. Styczniowa kohorta miała wcześniej szansę dotrzeć do trzeciego miesiąca niż lutowa. Puste pole dla młodszej grupy może oznaczać brak zakończonej obserwacji. Nie interpretowałbym go automatycznie jako odejścia wszystkich klientów.

Przy pytaniu o churn chcę ponadto uzgodnić zdarzenie odejścia i zbiór, względem którego liczę odsetek. Czy interesuje nas rezygnacja, koniec opłaconego dostępu czy brak aktywności? Odpowiedź wpływa na analizę, zanim w ogóle wybiorę narzędzie.

Lineage, incremental load i SCD pokazują drogę oraz zmiany danych

Data lineage, czyli pochodzenie i droga danych, pomaga mi przejść od metryki do źródła przez kolejne przekształcenia. Microsoft opisuje lineage również jako wsparcie w szukaniu przyczyny błędu i ocenie skutków zmiany. W małym projekcie zacząłbym od rozrysowania tej drogi.

Jeśli raport pokazuje zaskakującą sprzedaż, chcę wiedzieć, z jakiego widoku pochodzi, skąd widok bierze statusy i gdzie zastosowano filtr. Nazwa źródłowego systemu jest przydatna, ale nie wyjaśnia jeszcze całego obliczenia.

Ładowanie przyrostowe, czyli incremental load, ogranicza kolejne pobranie do odpowiednio wykrytych nowych lub zmienionych danych. Azure Data Factory opisuje między innymi znacznik ostatniej aktualizacji oraz mechanizmy śledzenia zmian.

Nie zakładałbym, że wystarczy pobierać wyższe ID zamówień. Stare zamówienie może zmienić status. Muszę ustalić, jak wykryję taką zmianę i jak poprawię wynik docelowy. Samo dołożenie statusu do klucza nie rozwiązuje każdej sytuacji.

SCD, slowly changing dimensions, jest dziesiątym pojęciem. Dotyczy obsługi zmian atrybutów wymiaru. Microsoft rozróżnia między innymi typ 1, nadpisujący wartość, i typ 2, zachowujący wersje. Pytam więc, czy raport ma pokazywać obecną cechę klienta, czy cechę obowiązującą przy dawnej transakcji. Sama częstotliwość zmian tego nie rozstrzyga.

Przykładowy wymiar klientów zawiera ich opisy, których używam do grupowania sprzedaży. Jeśli klient zmieni przypisany region, trzeba ustalić oczekiwanie odbiorcy: czy zeszłoroczny raport ma zachować wcześniejszy podział? To pytanie pomaga zrozumieć sens historii atrybutów. Nie wystarczy powiedzieć, że adres lub region zmienia się rzadko.

Przed rozmową łączę pojęcia w jedno ćwiczenie

Zamiast uczyć się dziesięciu zdań na pamięć, przygotowałbym mały, wymyślony model usługi: klienci, zamówienia i pozycje. Obok zapisałbym znaczenie każdego wiersza oraz klucze łączenia. Następnie opowiedziałbym, jak powstanie miesięczny wynik sprzedaży i jak uniknę powielenia kwot.

Do tego dodałbym pytanie o klientów z jednego miesiąca pozyskania. Jak długo ich obserwuję? Jak rozpoznaję odejście? Co zrobię, jeśli po tygodniu zmieni się status starego zamówienia? Jedno niewielkie zadanie pozwala zobaczyć zależności między kilkoma terminami.

Przećwiczyłbym również odpowiedź na niejednoznaczne polecenie. „Porównaj klientów ze stycznia i lutego” może oznaczać miesiąc dołączenia albo miesiąc aktywności. W pierwszej wersji interesują mnie kohorty; w drugiej mogę oglądać te same osoby w kolejnych okresach. Zanim przygotuję tabelę, powiem, które znaczenie przyjmuję i dlaczego potrzebuję potwierdzenia.

Osobno wróciłbym do terminu, który brzmi najbardziej obco. Narysowałbym trzy poziomy hierarchii albo drogę jednej metryki od pliku do raportu. Jeśli potrafię wyjaśnić rysunek bez używania samej nazwy pojęcia, mam lepszą podstawę do dalszego ćwiczenia technicznego.

Nie musisz od razu budować całej hurtowni. Chcę, żebyś potrafił nazwać brakującą informację i wyjaśnić, dlaczego jest potrzebna. Kiedy utkniesz, wróć do jednego pojęcia i jego małego przykładu. Szerszy plan podstaw znajdziesz w tekście o tym, co musi umieć analityk danych.

Na rozmowie taka praktyka pomaga mi zadawać pytania doprecyzowujące bez udawania, że już wszystko wiem. Jeśli rozumiem zadanie, mogę dobrać składnię. Jeśli znam tylko składnię, nadal muszę ustalić, co właściwie mam policzyć.

Najważniejsze w pigułce

Czy znajomość definicji wystarczy na rozmowie technicznej?

Ja ćwiczyłbym również przykład, ryzyko i pytanie doprecyzowujące dla każdego pojęcia. Dzięki temu potrafię przełożyć usłyszany termin na decyzję o danych lub obliczeniu.

Czy kardynalność oznacza to samo co unikalność?

Kontekst ma znaczenie. Przy kolumnie można mówić o liczbie różnych wartości, a przy relacji o dopasowaniach typu jeden do wielu. Unikalny klucz pomaga ustalić stronę jeden, ale nie wyczerpuje całego pojęcia.

Co odróżnia ładowanie przyrostowe od SCD?

Ładowanie przyrostowe dotyczy pobierania nowych lub zmienionych danych. SCD określa sposób obsługi zmian atrybutów wymiaru, na przykład nadpisanie wartości albo zachowanie kolejnych wersji.

Przy pracy nad artykułem użyto w zautomatyzowany sposób sztucznej inteligencji. Jeśli też chcesz tak umieć, sprawdź ten projekt.

Kajo Rudziński

Newsletter KajoData

Zostańmy w kontakcie.

Piszę o analizie danych, uczeniu się i zmianie pracy. Dzielę się tym, co pomaga mi ogarniać technologię i zawodowe decyzje. Jeśli lubisz ten sposób myślenia, zapraszam do mojego newslettera.