Jak zacząć analizować własne dane: pierwszy mały projekt

Pierwszy projekt analityczny może dotyczyć czegoś, co dobrze znasz: czasu czytania, przejazdów do pracy, domowej biblioteki albo wydatków na konkretną kategorię zakupów. Dzięki temu łatwiej zauważyć, kiedy liczba nie pasuje do rzeczywistości. Nie musisz od razu budować rozbudowanego dashboardu. Wystarczy pytanie, mała tabela i uczciwie opisana odpowiedź, którą umiesz sprawdzić.

Ja proponuję zacząć od własnych obserwacji, bo dają naturalny powód do zadawania pytań. To jedna z dróg nauki, a nie jedyny sposób utrzymania motywacji. Jeśli nie chcesz analizować prywatnych informacji, równie dobrze wybierz dane publiczne albo syntetyczne. W tym poradniku użyję całkowicie wymyślonego dziennika czytania. Przejdziemy od definicji pomiaru do decyzji o następnym kroku.

Materiał wideo

Poniżej znajdziesz mój materiał o rozpoczynaniu analizy własnych danych. Do pracy z tekstem wystarczy kartka, kalkulator lub prosty arkusz.

Wybierz pytanie, na które da się odpowiedzieć

„Chcę lepiej organizować czas” to dobry powód rozpoczęcia projektu, ale zbyt szerokie pytanie do jednej tabeli. Zawęziłbym je: ile czasu poświęcam na czytanie książek i jak regularnie udaje mi się przeczytać przez co najmniej dwadzieścia minut dziennie? Mamy teraz mierzoną czynność, jednostkę i zakres. Wiadomo też, jakiej informacji brakuje do odpowiedzi.

Próg dwudziestu minut jest tu arbitralnym celem ćwiczenia, a nie normą dobrego czytelnika. Możesz wybrać inny próg albo w ogóle go nie stosować. Zanim zbierzesz dane, zapisz, do czego wykorzystasz wynik. W naszym przykładzie chodzi o sprawdzenie, czy plan na czytanie jest wykonywany, oraz o wybór jednego elementu organizacji do dalszej obserwacji.

Nie próbowałbym przy okazji oceniać inteligencji, jakości nauki ani rozumienia książek. Minuty nie mierzą tych rzeczy. Osoba może długo siedzieć nad tekstem i niewiele zapamiętać, a krótka sesja może być bardzo wartościowa. Wskaźnik odpowiada na określone pytanie. Im wyraźniej nazwiesz jego granicę na początku, tym mniej pokus, żeby później opowiedzieć zbyt dużą historię.

Ustal, co oznacza jeden wiersz

W tym ćwiczeniu jeden wiersz oznacza jeden dzień kalendarzowy. Jeśli czytasz rano i wieczorem, dodajesz czas obu sesji do tej samej daty. Nie tworzysz osobnego wiersza, a potem nie nazywasz liczby sesji liczbą dni. Taka decyzja o jednostce obserwacji porządkuje późniejsze liczenie. W pracy analitycznej wraca przy zamówieniach, klientach, zdarzeniach i pomiarach urządzeń.

Zapisuję datę, liczbę minut oraz status pomiaru. Dodatkowa krótka notatka może wyjaśnić nietypową sytuację, ale nie jest obowiązkowa. Nie łączyłbym daty, czasu i komentarza w jednej komórce. Każda kolumna powinna mieć jedno znaczenie. Takie uporządkowanie odpowiada zasadzie opisanej przez Hadleya Wickhama w Tidy Data: obserwacje zajmują wiersze, a zmienne kolumny.

Definicję czytania ustaliłbym przed pierwszym zapisem. Na potrzeby przykładu liczymy aktywne czytanie książki, bez przerw i bez przewijania mediów społecznościowych. Nie włączamy audiobooków. To wybór zakresu, a nie ocena wartości różnych form kontaktu z książką. Jeśli chcesz uwzględniać słuchanie, zapisz to od początku lub dodaj osobną kategorię, którą można później porównać.

Zaplanuj rejestr, który da się utrzymać

Przygotowałbym z góry wszystkie daty z dwóch tygodni. Dzięki temu dzień bez wpisu pozostaje widoczny. Jeżeli dopisujesz tylko dni, w których pamiętasz o pomiarze, tabela ukrywa część braków. Umów się ze sobą na prosty moment zapisu, na przykład wieczorne sprawdzenie dziennika. Nie potrzeba aplikacji z rozbudowanym systemem punktów, żeby wykonać pierwszy eksperyment organizacyjny.

Zero oznacza: wiem, że tego dnia nie czytałem. Brak oznacza: nie mam wiarygodnego pomiaru. Jeśli zapomniałeś uruchomić licznik albo nie pamiętasz czasu, nie wpisuj zera tylko dlatego, że komórka wygląda na pustą. Możesz zanotować szacunek, ale oznacz go oddzielnie i ustal, czy wchodzi do podsumowania. W naszym przykładzie używam wyłącznie wartości znanych.

Na tym etapie nie rozbudowywałbym tabeli o kilkanaście pól. Gatunek, miejsce, nastrój, pora, urządzenie i liczba stron mogą być interesujące, lecz każde pole zwiększa koszt prowadzenia rejestru. Zacznij od tego, co potrzebne do pytania. Jeżeli po pierwszym przeglądzie zauważysz konkretną potrzebę, dodasz kolumnę w następnym okresie wraz z datą zmiany definicji.

Miara, cel i decyzja to trzy osobne elementy

Liczba minut jest miarą. Próg dwudziestu minut jest przyjętym celem. Decyzją może być zmiana pory rezerwowanej na czytanie lub uproszczenie sposobu zapisu. Nie każda liczba w osobistym projekcie musi od razu dostać nazwę KPI. Jeśli używasz tego określenia, wyjaśnij, jaki ważny cel reprezentuje wskaźnik i kto podejmuje na jego podstawie decyzję. Sama obecność liczby na górze raportu nie nadaje jej znaczenia.

Uważaj też na zmianę jednostki między zebraniem danych a oceną celu. Dwie sesje po dziesięć i piętnaście minut tego samego dnia dają dwadzieścia pięć minut dziennie. Dzień spełnia nasz próg, choć żadna pojedyncza sesja go nie osiąga. Gdybyś najpierw odfiltrował krótkie sesje, straciłbyś całą obserwację. Najpierw trzeba uzgodnić poziom podsumowania, a dopiero potem zastosować warunek. To dobry mały przykład błędu, który w dużej bazie łatwo przeoczyć.

Gdy zaczynasz od eksportu z aplikacji

Zachowałbym oryginalny eksport i pracował na kopii. Sprawdziłbym, czy czas jest podany w minutach, sekundach czy jako godzina zegarowa. Osobno ustaliłbym, do którego dnia przypisuje się sesję przechodzącą przez północ. Przy własnym prostym dzienniku można przyjąć jedną regułę i ją opisać; przy eksporcie trzeba najpierw zrozumieć regułę aplikacji. Różnica stref czasowych może przesunąć zdarzenie między datami.

Po imporcie porównaj kilka rekordów z widokiem źródłowym oraz policz wszystkie wiersze. Nie poprawiaj wyłącznie tych, które wyglądają źle na wykresie. Zapisz krótką listę wykonanych zmian, na przykład przeliczenie sekund na minuty lub połączenie sesji w dni. Jeżeli importujesz kolejną partię, sprawdź nakładające się daty, żeby nie doliczyć ponownie wcześniejszego okresu. Przy tej skali wystarczy prosta kontrola, którą potrafisz później powtórzyć.

Przykład: dwa tygodnie danych syntetycznych

Poniższe wartości są wymyślone do nauki. Oba tygodnie obejmują siedem kolejnych dni, od poniedziałku do niedzieli. Puste pole minut przy statusie „brak” jest zamierzone. Pozostałe pola liczbowe, w tym zera, są obserwacjami. W arkuszu przechowuj minuty jako liczby, bez dopisywania słowa „min” do każdej komórki.

Sprawdź tabelę przed liczeniem

Najpierw policzyłbym daty i sprawdził ich unikalność. Mamy czternaście wierszy, trzynaście pomiarów i jeden brak. Zakres dat nie zawiera przerw, ponieważ brakująca wartość ma własny wiersz. Następnie porównałbym statusy z minutami. Status pomiaru z pustą wartością albo status braku z liczbą wymaga wyjaśnienia, zanim trafi do wykresu.

Minuty nie mogą być ujemne. Bardzo duża wartość również wymaga kontroli: mogła powstać przez wpisanie sekund, pozostawienie uruchomionego licznika albo zwykłą literówkę. Nie usuwałbym jej automatycznie tylko dlatego, że odstaje. Sprawdziłbym źródło i zapisał powód ewentualnej korekty. Warto zachować kopię pierwotnego rejestru, żeby później odtworzyć przebieg zmiany.

Duplikat daty może oznaczać ponowne wklejenie wiersza albo dwie prawdziwe sesje. W naszej tabeli dziennej obie sytuacje trzeba rozstrzygnąć inaczej: przypadkową kopię usunąć, a sesje świadomie zsumować. Sam przycisk usuwania duplikatów nie zna intencji autora. Więcej o podobnych decyzjach piszę w poradniku czyszczenia danych.

Policz kilka miar i nazwij ich mianowniki

W pierwszym tygodniu zapisane minuty sumują się do 130, w drugim do 180. Łącznie mamy 310 minut z trzynastu znanych dni. To suma zaobserwowanego czasu, a nie pełna znana suma czternastu dni. Brakujący czwartek mógł zawierać czytanie. Dlatego obok wyniku zawsze pokazałbym pokrycie pomiarem: trzynaście z czternastu dni.

Średnia pierwszego tygodnia wynosi 130 podzielone przez 6, czyli około 21,67 minuty na dzień z pomiarem. W drugim jest to 180 podzielone przez 7, około 25,71. Średnia całego zbioru wynosi 310 podzielone przez 13, około 23,85. Nie obliczamy jej jako zwykłej średniej dwóch średnich tygodniowych, bo ich liczby obserwacji są różne.

W Excelu funkcja AVERAGE pomija puste komórki w zakresie, ale uwzględnia zera. To odpowiada średniej znanych pomiarów, jeśli tabela jest poprawnie przygotowana. Nadal musisz nazwać wynik i pokazać liczbę obserwacji. Funkcja nie rozstrzygnie, czy pusta komórka oznacza brak, pominięty dzień czy błąd w imporcie danych.

Można również policzyć dni z dodatnim czasem: pięć w pierwszym tygodniu i sześć w drugim. Łącznie jedenaście dni ze znanym czytaniem, dwa ze znanym zerem i jeden niewiadomy. Taki opis jest uczciwszy niż ogłoszenie, że czytałeś dokładnie jedenaście z czternastu dni. Dnia bez pomiaru nie wolno przypisać do żadnej z dwóch znanych kategorii. Oznaczenie braku powinno więc pozostać widoczne zarówno w rejestrze, jak i w gotowym podsumowaniu.

Sprawdź cel bez ukrywania braków

Próg co najmniej dwudziestu minut osiągnięto w czterech z sześciu zmierzonych dni pierwszego tygodnia oraz sześciu z siedmiu w drugim. Wartość dokładnie dwadzieścia spełnia warunek. Piętnaście go nie spełnia, choć oznacza rzeczywiste czytanie. Rozróżnienie „czytałem” i „osiągnąłem próg” jest potrzebne, bo te dwa wskaźniki odpowiadają na różne pytania.

W całym okresie mamy dziesięć potwierdzonych dni spełnienia celu, trzy potwierdzone dni poniżej celu i jeden brak. Jeśli pokazujesz udział, napisz, czy mianownikiem jest trzynaście pomiarów, czy czternaście planowanych dni. W drugim wariancie dziesięć potwierdzonych sukcesów nie oznacza czterech potwierdzonych porażek. Jeden dzień pozostaje nierozstrzygnięty. Ja pokazałbym najpierw te trzy liczby zamiast samego procentu.

Nie zmieniałbym progu po obejrzeniu wyników tylko po to, żeby wyglądały korzystniej. Możesz zmienić cel na kolejny okres, jeśli obecny jest źle dobrany. Zapisz jednak datę oraz powód. Przy porównaniu zachowaj wspólną definicję albo wyraźnie zaznacz, że analizujesz dwa różne cele. Ta zasada przydaje się również przy firmowych KPI.

Wykres powinien zachować kalendarz

Do pokazania dni wybrałbym prosty wykres kolumnowy albo punkty w kolejności dat. Oś czasu powinna obejmować cały zakres, również brakujący czwartek. Przy zerze wiadomo, że wartość leży na poziomie zera; przy braku trzeba pokazać brak pomiaru. Opis osi powinien mówić o minutach czytania, a tytuł wskazywać syntetyczny charakter danych i okres.

Jeśli użyjesz linii, nie łącz jej przez nieznany pomiar tak, jakbyś znał przebieg. Wytyczne ONS dotyczące wykresów liniowych zalecają przerwę tam, gdzie brakuje regularnej obserwacji. Nie dodawałbym efektów trójwymiarowych, podwójnej osi ani dekoracji, które utrudniają porównanie. Ilustracje w tym artykule są metaforą procesu; dane liczbowe znajdują się w tabeli.

Oddziel obserwację od wyjaśnienia

Możemy powiedzieć, że zapisany czas w drugim tygodniu był większy. Nie znamy jednak pełnej sumy pierwszego tygodnia, więc różnicy pięćdziesięciu minut nie traktowałbym jako dokładnej zmiany całego czasu czytania. Różnica średnich dotyczy dni z pomiarem. Jeśli zapominasz wpisu częściej w bardzo zajęte dni, braki mogą wpływać na obraz regularności w określony sposób.

Nie wiemy też, dlaczego wartości się różnią. Być może zmienił się plan dnia, książka, liczba obowiązków albo sam sposób pomiaru. Dwa tygodnie obserwacji jednej osoby nie dowodzą, że konkretna metoda organizacji powoduje większą regularność. Możesz zapisać hipotezę i zaplanować dalszy pomiar, ale nie dopisuj przyczyny do samego wykresu. Związek w czasie daje pytanie do sprawdzenia.

Przykładowy wniosek napisałbym tak: „W trzynastu zmierzonych dniach zanotowano 310 minut. Dziesięć dni spełniło przyjęty próg. Jeden brak ogranicza porównanie tygodni. W następnym okresie sprawdzę wygodniejszy sposób zapisu”. To odpowiedź z zakresem i dalszym krokiem. Nie potrzebuje deklaracji, że projekt zmienił życie albo odkrył uniwersalny przepis na naukę.

Wybierz następne działanie i narzędzie

Pierwszą poprawką może być lepsze zbieranie danych, nie bardziej zaawansowana analiza. Jeżeli trudno pamiętać o zapisie, uprość rejestr. Jeśli definicja jest niejasna, doprecyzuj ją przed kolejnym tygodniem. Jeśli pytanie wymaga pory dnia, dodaj ją od ustalonej daty. Zmieniałbym jeden istotny element naraz, żeby zachować czytelność procesu, bez udawania formalnego eksperymentu przyczynowego.

Arkusz wystarczy do tak małego zbioru. SQL przyda się, gdy dane będą w tabelach wymagających łączenia i powtarzalnych zestawień. Python może pomóc przy wielu plikach albo automatyzacji kontroli. Wybór wynika z zadania i umiejętności, które chcesz ćwiczyć. Podstawy Pythona dla początkujących pokazują, jak przejść do małej analizy bez przeskakiwania podstaw języka.

Nie musisz publikować własnego dziennika, żeby pokazać projekt. Przygotuj syntetyczny odpowiednik oraz opis definicji i kontroli. Prawdziwe eksporty z banku, aplikacji zdrowotnej lub lokalizacji mogą zawierać znacznie więcej informacji, niż potrzebujesz. Przed użyciem zewnętrznego narzędzia sprawdź zakres pliku. Do nauki często wystarczy kilka wybranych pól bez identyfikatorów i prywatnych notatek.

Ćwiczenie na zakończenie projektu

Spróbuj odtworzyć podsumowanie tabeli ręcznie, a potem w wybranym narzędziu. Następnie zmień brakujący pomiar na zero i zapisz, które wyniki się zmieniły. Suma nadal wynosi 310, ale liczba pomiarów rośnie do czternastu, a średnia spada do około 22,14. To pokazuje, dlaczego identyczna suma nie gwarantuje identycznego znaczenia danych. Po ćwiczeniu przywróć pierwotny brak.

Drugi wariant polega na usunięciu wszystkich pomiarów przy zachowaniu dat. Wynik powinien jasno mówić, że nie masz obserwacji; nie raportuj średniej równej zero. Na koniec poproś kogoś o przeczytanie samego wniosku i wskazanie jego ograniczenia. Jeśli potrafi odróżnić ustalenie od przypuszczenia, projekt komunikuje coś więcej niż umiejętność narysowania wykresu. Właśnie taki mały, zamknięty proces warto ukończyć jako pierwszy.