W premierowym wywiadzie #NaCudzychBłędach rozmawiamy z Janiną Bąk o jej ulubionym temacie, czyli… statystyce! Dowiecie się m.in. kto „psuje” statystykę i jak to robi, czego psychofanką jest Janina oraz na co zwrócić uwagę przy tworzeniu badań ankietowych.

 
SŁUCHAJ

więcej podcastów
otwórz w Google Podcast
 

OGLĄDAJ

więcej filmów

 

CZYTAJ

Rozmowa z Janiną Bąk, psychofanką badań ankietowych

Jarosław Łojewski: Cześć, moi gościem jest Janina Bąk.

Janina Bąk: Cześć.

Opisujesz siebie jako demona prezentacji, komendanta komedii na blogu Janinadaily.com, fankę biznesu, wirtuoza dobrej matematycznej zabawy. Jesteś też siostrą przełożoną profilu „Statystyczne świry” na Facebooku.

Tak.

Która z tych twarzy jest dla Ciebie najbliższa?

Najbliższa chyba, rozumiana jako najważniejsza, to wszystko, co związane ze statystykami. Na przykład grupa „Statystyczne świry” jest dość nowa. Mamy tam grupę osób, które jarają liczby i statystyki. Jesteśmy trochę jak Ojciec Mateusz, że śledzimy złe statystyki, nagłówki, które być może coś przekłamują. To mnie bardzo cieszy. Ja generalnie bardzo cenię sobie tę część działalności w internecie, gdzie mogę właśnie uczyć ludzi, jak nie dać się oszukać liczbom.

Super. To pociągniemy ten temat. Wymyśliłem taki temat: „Jak się nie dać statystyce, czyli jakie błędy popełniamy, wierząc w liczby i wykresy”.

Ok.

Czy statystyka jest niebezpieczna??!?

Na jakie niebezpieczeństwa nas naraża statystyka?

Dobra, ja muszę zacząć od czegoś innego. Bo… I will get where, ale generalnie, jak mówię ludziom, że zajmuję się statystyką, to absolutnie wszyscy zadają mi to samo pytanie: „Czy słyszałam taki super śmieszny cytat, że istnieją 3 rodzaje kłamstw na tym świecie: kłamstwa cholerne, kłamstwa i statystyki”. I to nie jest prawda. Ja zawsze ludziom też odpowiadam, że to nie jest prawda, że statystyka kłamie, ale ludzie kłamią na temat statystyk. Miejmy to w głowie, że wszystko, o czym będziemy dzisiaj rozmawiać, nie wynika z niedoskonałości statystyki. Oczywiście tak, mamy pewne problemy, z którymi się zmagamy, ale głównie dlatego, że ludzie ją wykorzystują i manipulują nią jak chcą, żeby przekazać to, co chcą przekazać.

Czyli tak naprawdę nie naraża nas sama statystyka, tylko sposób jej stosowania.

Tak, dokładnie.

To trochę tak jak z młotkiem albo nożem.

O, ładne. Tak, tak. Problem jest też taki, że czasami jest to nieświadome, bo nie mamy dobrej edukacji statystycznej w szkołach, a czasami jest to celowe i wtedy jest to po prostu manipulacja.

Ok, a powiedz mi, jakie błędy popełniamy najczęściej przy interpretacji danych statystycznych?

Wiesz co, mamy taki problem, że… gdy wyciągamy jakieś wnioski, jesteśmy podatni na bardzo wiele błędów wnioskowania. I na przykład u mnie się sprawdziło, że jeżeli ja zjadłam wafelka, wyszłam z domu i potrącił mnie samochód, to znaczy, że wafelki powodują wypadki.

Cukier szkodzi.

Tak. To jest przykład, który wydaje się taki śmieszny, ale tak naprawdę robimy to cały czas. Jeśli na przykład przeczytasz w internecie, że dziecko było chore, ale dostało syrop z cytryny i paprotki i jest zdrowe, a więc syrop działa – to jest dokładnie ten sam błąd wnioskowania. Po pierwsze niesłusznie generalizujemy to, co się nam przytrafia, niewielkiej grupie osób się przytrafia na jakieś większe teorie i wnioski. Po drugie, nad każdą liczbą, którą widzimy czy w mediach, czy w jakiś raportach branżowych, musimy się zastanowić, po pierwsze jak przeprowadzono to badanie, na kim je przeprowadzono, na jak wielu osobach je przeprowadzono. To nie jest tak, że grupa, z reguły amerykańskich naukowców…

Albo studentów.

Tak, przeprowadziła na amerykańskich studentach jakieś badanie i możemy te wnioski, ot tak, przenieść na nasz rynek. I to dotyczy absolutnie każdej branży – i marketingowej, i zawodowej, badań dotyczących zdrowia i cokolwiek innego. Dane potrzebują kontekstu. Jeśli czytamy jakieś badanie i zanim się podjaramy, że totalnie się u mnie sprawdziło, to musi być prawda. Ostatnio było takie badanie, było powtarzane absolutnie we wszystkich mediach i nagłówek brzmiał: „Kilka kawałków szynki powoduje raka”. Ja nalegam na to, żeby za każdym razem, kiedy znajdujemy takie nagłówki, sięgać do oryginalnych artykułów. I tam było napisane, że gdybyśmy codzienne jedli, nie pamiętam ile, ale jakieś ogromne ilości, 5 kg, ale wymyślam, nie pamiętam tej liczby, ale codziennie jedli znacząco więcej wysoko przetworzonej szynki, to mamy jakieś tam nieznacznie większe prawdopodobieństwo na raka jelita.

Ale to jest zupełnie inna informacja niż to, że kilka kawałków szynki Cię zabije. A jak taki nagłówek się pojawi, to on już będzie we wszystkich mediach. My, jako użytkownicy internetu, będziemy go powielać. Część osób przeczyta tylko artykuł na Gazeta.pl, część osób przeczyta tylko nagłówek, ale absolutnie wszyscy będą o tym dyskutować. Nie róbmy tego. Sprawdzajmy to u źródła.

Statystyczne fuckupy

Ok, a powiedz mi, jakie największe fuckupy związane ze statystyką ostatnio się pojawiły?

Od zawsze, mówię to z całą świadomością, od zawsze największe manipulacje i fuckupy statystyczne zdarzają się w polityce. Powtarzam od zawsze, ja w chwili obecnej piętnuję takie rzeczy. Ostatnio to zrobiła Kancelaria Premiera – zmanipulowała wykres przychodów nauczycieli, wcześniej to było Ministerstwo Zdrowia. Pojawiają się zarzuty, że jestem polityczna. Nie. Wszystkie partie polityczne to robią. Niestety nie ma takiej partii politycznej, która jest do tego wolna. Tam to przoduje, taka manipulacja wykresami, na przykład najprostsza rzecz -zacznij oś Y wykresu słupkowego nie od 0, ale od wyższej liczby. I te proporcje między słupkami pięknie poszybują w górę. Ta różnica, która być może nie jest tak duża w danych, nagle będzie się wydawała spektakularna.

My mamy na to nazwę, to się nazywa live factor i to jest wzór, który pozwala nam policzyć na ile to, co przedstawia nam wykres, proporcje na wykresie, odzwierciedlają to, co naprawdę jest w danych. Na przykład w tym ostatnim wykresie Kancelarii Premiera o zarobkach nauczyciela ten live factor wynosił ponad 350%. To nikt mi nie wmówi, że to był przypadek. Ale zawsze znajdzie się ktoś, kto będzie mówił, że to można sobie doczytać, można sobie posprawdzać. Nie. Wykresy są po to, że jak widzimy wykres, to mamy ułamek sekundy, żeby zrozumieć jakiś ogólny trend, który się dzieje w liczbach. Naszym zadaniem, jako twórcy wykresu, jest przedstawienie ich w taki sposób, żeby wszyscy od razu wiedzieli o co chodzi.

Trochę tak jak z tymi nagłówkami. Pokazujemy jakiś wycinek, może ten komentarz jest gdzieś dalej, ale tak naprawdę z naszego lenistwa wynika to, że nie wnikamy w to, co jest dalej. I pytanie czyja wina jest związana z interpretacją tego – tych, co publikują czy tych, co nie dociekają co jest dalej za tymi wykresami czy nagłówkami?

Po obu stronach, ja bym sobie życzyła, żeby każdy zawsze patrzył na oryginalne artykuły, ale niestety, jeśli mamy jakieś badanie naukowe i one znajduje się w takiej prasie popularnej, nie wiem jak to nazwać, ale takiej co nie zajmuje się tematyką naukową, tam jest bardzo dużo takich błędów. Po pierwsze tam są błędy wnioskowania, wyciągają wnioski na podstawie badań, z których nie do końca można wyciągnąć. A po drugie wynika to z takiego podrasowania, żeby było bardziej medialne. Jak napiszesz „Musisz jeść 50 kg szynki dziennie, żeby dostać raka”, to sobie pomyślisz „Kto zje tyle szynki?”. A jak napiszesz, że kilka kawałków szynki powoduje raka, to widzisz, że przecież wczoraj tą kanapkę zjadłeś i dzisiaj musisz jechać na SOR.

Przykro mi, ale winię trochę za to dziennikarzy czy ich przełożonych, nie wiem, kto o tym decyduje, że lubią te statystyki podrasować, żeby brzmiały bardziej spektakularnie i żeby nas straszyły. I chyba to jest najbardziej przykre, że straszymy ludzi statystykami, a one najczęściej dotyczą bardzo ważnych rzeczy na przykład zdrowia czy ekonomii, więc to powinny być rzetelne informacje.

To, co opowiadasz to też łączy się trochę z tym, co robimy w ramach fundacji, bo kiedy mówimy, że trzeba analizować błędy, które się wydarzyły, przyczyny niepowodzeń, to też mówimy o tym, że trzeba opierać to na danych. Wobec tego, co mówisz, to też nie chodzi tylko o to, żeby te dane zbierać i oglądać, ale też w sposób racjonalny je interpretować.

To właściwie działa na wszystkich poziomach, bo można źle zbierać dane. Bardzo dużo osób… Maj to jest mój najgorszy miesiąc, wiesz dlaczego? Bo wszyscy robią ankiety magisterskie i licencjackie. I one w większości, nie wiem czy w większości, nie liczyłam tego, ale one bardzo często są tak źle zrobione. To nie jest tylko błąd studentów, bo jak widzę jakieś marketingowe ankiety, jakiekolwiek ankiety, to bardzo często są źle skonstruowane i te dane, które zbieramy, są po prostu złe. Albo zbieramy je na złej próbie badawczej, więc nie możemy ekstrapolować wniosków.

Z jednej strony możemy źle zbierać dane, z drugiej strony możemy się opierać na danych, które dostaliśmy od kogoś, które bardzo często są słabej jakości. Deloitte miał taki raport, bodajże w 2010 roku, o tym, na ile dane o nas w internecie w jakichś tam portalach zewnętrznych są zgodne z rzeczywistością. I można się było zdziwić. Płeć chyba 98% zgodności, więc całkiem nieźle, ale jeśli chodzi o takie zmienne jak liczba dzieci, to 22% zgodności. A to są zmienne demograficzne, psychograficzne, które bardzo często wykorzystujemy w różnych działaniach. I oczywiście możemy źle analizować i nawet źle wyciągnąć wnioski. W tym łańcuchu na każdym etapie można popełnić błąd, a jeśli wszystko zrobimy dobrze, ale na jednym z tych etapów coś poszło nie tak, to niestety też mamy problem.

Czy warto robić ankiety?

Ja dosyć regularnie współpracuję z takimi początkującymi start-up’ami, które jakoś tam zaczynają pracę nad produktem albo są w jakimś stadium pracy nad produktem, to jedną z rzeczy, które im zawsze doradzam, to idźcie na rynek, idźcie do swoich klientów i popytajcie ich, jak Ci klienci reagują na to, co im oferujecie. I pierwsza rzecz, która jest w 99% przypadków, to robią ankietę.

Tak, na Facebooku.

Na Facebooku, gdziekolwiek. Ja mówię nie róbcie ankiety, tylko idźcie porozmawiać. Pytanie, kiedy Twoim zdaniem warto zrobić ankietę i czy masz jakąś taką ogólną wskazówkę jak ją przygotować, żeby faktycznie miała sens?

Na pewnym etapie będzie warto ankietę zrobić. Tutaj są dwie szkoły w zależności od tego, co chcemy osiągnąć. Rzeczywiście czasami idziemy najpierw porozmawiać, robimy takie badania jakościowe po to, żeby zebrać trochę informacji, żeby móc konstruować lepsze pytania ankietowe. Czasami na odwrót, najpierw robimy ankietę i prosimy niektórych o kontakt po to, żeby zrobić z nimi jakiś wywiad pogłębiony. Niemniej najczęstszym błędem, który ja widzę we wszelkich kwestionariuszach, które mają pokazać potencjał rynku czy stworzyć jakiś profil klientów to to, że ludzie nie rozumieją koncepcji próby badawczej.

To nie jest tak, że wrzucisz ankietę na Fejsa, ktokolwiek Ci odpowie i spoko. Ja to bardzo często widzę we wszelkich grupach biznesowych, gdzie ktoś zakłada biznes dla 30letnich kobiet, czy moglibyście mi powiedzieć, jaką kolorystykę produktów byście woleli. Tam nie ma Twojej grupy docelowej, czasami jest, chyba, że jest to grupa dla 30letnich kobiet.

Ale na Facebooku Twoi znajomi nie są grupą docelową. Twoja mama nie jest grupą docelową, to nie jest tak, że możesz zadać te pytania każdemu. Masz zadać pytania osobom, które są istotne dla Ciebie z punktu widzenia biznesu.

A jeśli chodzi o ankietę, to też nie jest tak, ja jestem psychofanką badań ankietowych. Poważnie, jestem psychofanką.

Dobrze, zaraz do tego nawiążę.

Dlatego tak się jaram, że o to spytałeś. Ludziom się wydaje, że to jest super proste stworzyć ankietę. Bierzesz kartkę, ileś tam pytań, idziesz. Nie, jest mnóstwo błędów, na które musimy zwracać uwagę. Czasem odpowiedzi są niewyczerpujące, czyli na przykład zapominamy o jakiejś opcji odpowiedzi i ktoś nie może zaznaczyć właściwej odpowiedzi. Mamy błędy koniunkcji, kiedy pytamy o dwie rzeczy w jednym pytaniu. Mamy pytania, które są po prostu zbyt długie albo za bardzo nadwyrężają pamięć. Ktoś pyta: „W przeciągu ostatniego roku, ile razy przechodziłeś przez przejście dla pieszych?”. No powodzenia.

Próbuję sobie przypomnieć i nie mogę.

I teraz licz, nie? Czasem zdarza mi się konsultować ankiety czy kwestionariusze ankiety z różnymi właśnie start-up’ami czy biznesami. Uwielbiam to robić, bo to jest właśnie taki proces detektywistyczny, nie? Ja wskazuję, gdzie mogą być błędy, ale tak naprawdę osoba, która tworzy ankietę wie, o co jej chodziło, zna swoją grupę docelową. Musimy dodać definicję czy nie, czy na pewno wyczerpaliśmy wszelkie opcje odpowiedzi.

Główna wskazówka –stworzenie dobrego kwestionariusza ankiety zajmuje dużo czasu. I testujmy go zanim pójdziemy w świat. Na początku możemy testować na znajomych. Dobrze by było, żeby byli to znajomi zbliżeni profilem do naszej grupy docelowej. Na przykład, jeśli to jest technologia IT, to żeby oni też siedzieli w IT i nie trzeba by było im tłumaczyć co to jest USB. Testujmy, sprawdzajmy czy ludzie rozumieją nasze pytania, zmieniajmy te pytania, a później idziemy w świat.

To teraz będę Cię wkręcał, uważaj.

Dobra.

Przed tą rozmową rozmawialiśmy o projektach, które robimy w ramach fundacji „Dobra Porażka”. Jeden z projektów, który jest w tej chwili na takim etapie rozruchowym, jest trend związany z badaniem podejścia do porażek w Polsce.

No i pięknie. Kto je robi? Masz moją uwagę.

Robimy to w ramach fundacji własnymi siłami. Jest gotowa ankieta, wysłaliśmy w tej chwili do paru osób do przetestowania, jak to w ogóle wygląda. Czy pomożesz nam przy tym?

Tak.

Super.

Nie, ja uwielbiam takie rzeczy robić, poważnie. Jak najbardziej, zachęcam wszystkich, nawet jeśli nie korzystają z usług profesjonalistów w tworzeniu ankiety, to żeby rzeczywiście się nad nią pochylić albo testować. Nawet taka najmniejsza rzecz, zróbcie burzę mózgów w firmie i się wspólnie pozastanawiajcie nad tym co jest ok, a co nie. Chyba bardzo często przy tworzeniu ankiet dotyka nas taka „klątwa wiedzy”. Wydaje nam się, że wszyscy nasi odbiorcy wiedzą to, co my. I na przykład nie tłumaczymy niektórych sformułowań albo pytanie jest zbyt ogólne, albo pytanie jest w sumie niejasne i nie wiadomo o co pytamy. Testujmy.

Super. Trzymam Cię za słowo.

Tak, oczywiście.

Na koniec myślę, że można to podsumować w ten sposób, że statystyka jest ok.

Jak najbardziej.

Pokazuje dane, a to, co zrobimy z nimi, czy to będzie zrobione lepiej czy gorzej, to zależy od nas. Zachęcamy słuchaczy do tego, żeby widząc jakieś informacje ilościowe, jakościowe, jednak zbadali źródło i przekonali się, że te 5 plasterków szynki to nie jest jednak 5 kg szynki.

Tak i podkreślmy, że obejrzenie 2 filmów na YouTube’ie to nie jest źródło.

Super. Dziękuję bardzo.

Dziękuję.

 

Rozmowę zrealizowano w trakcie konferencji infoShare 2019