Drżące słupki

Poprzedni numer Polityki (11/2011) zawiera bardzo dobry i bardzo potrzebny artykuł Michała Jasieńskiego Co widać ze słupka? na temat sondaży oraz tego, w jaki sposób ich wyniki powinny być komunikowane i interpretowane. Publikacja artykułu zbiegła się w czasie (mniej więcej) z publikacją raportu Ocena metodologii i rezultatów badań poprzedzających pierwszą i drugą turę wyborów prezydenckich w 2010 roku przygotowanym przez zespół pod kierunkiem prof. Henryka Domańskiego na zamówienie OFBOR. Raport jest dostępny na stronach OFBOR tu.

Główne przesłanie tekstu Michała Jasieńskiego można by zamknąć w sformułowaniu: „pamiętaj o błędzie”. Mowa tu o błędzie losowym, którym obarczone są wyniki każdego sondażu, do którego respondenci dobierani są w sposób losowy, w tym sondaży preferencji politycznych. O tym, kto powinien pamiętać o błędzie za moment.

Z kolei dla OFBOR głównym pretekstem do zamówienia raportu była

(…) wyjątkowo intensywna krytyka  jakości sondaży prowadzonych przed wyborami prezydenckimi, które odbyły się 21 czerwca i 5 lipca 2010. (…) Kontrowersje wzbudziła trafność prognoz wyborczych formułowanych na podstawie tych badań – w stosunku do faktycznego wyniku – i rozbieżności między poszczególnymi firmami.

Zanim odniosę się do kilku konkretnych wątków z artykułu i raportu krótkie przypomnienie co to jest błąd losowy i skąd się bierze.

Wyniki każdego sondażu obarczone są błędem związanym z losowym doborem osób do badania. Wynik każdej partii, lub kandydata, w takim sondażu nie jest pewny, tak jak pewne jest to, że na szczyt Empire State Building wiedzie 1860 stopni. Wręcz przeciwnie, wynik ten jest tak samo niepewny jak to, że rzucając rzetelną monetą 1000 razy wyrzucimy dokładnie 500 razy orła i 500 reszkę. Za każdym razem, gdybyśmy powtórzyli eksperyment 1000-ca rzutów wynik może być trochę inny. Raz 495:505, innym razem 513:487 itd. Jeżeli otrzymamy jednak np. 211 orłów i 789 reszek to zdrowy rozsądek sugeruje nam wątpić w rzetelność monety: taka dysproporcja orłów i reszek jest mało prawdopodobna przy założeniu, że pojedynczy rzut monetą z równym prawdopodobieństwem daje orła co reszkę.

Z wynikami partii w sondażach jest podobnie. Pokazać to można za pomocą następującego eksperymentu myślowego (gwoli ścisłości, myśl będzie wspomagana przez komputer). Wyobraźmy sobie, że mamy cztery partie A, B, C i D cieszą się następującym poparciem wśród Polaków: A=31%, B=27%, C=16% i D=7.5%. Niestety nie są to wielkości publicznie znane więc stacja TV zleca agencji badawczej przeprowadzenie sondażu aby je poznać. Agencja badawcza losuje 1000 osób i wszystkim zadaje pytanie „na którą z tych czterech partii zagłosowałaby Pan(i), gdyby wybory odbyły się dzisiaj?”. Informacje spływają od ankieterów i agencja dostarcza stacji TV wynik. Głosowanie na partię A deklaruje 28.9% ankietowanych, na partię B 29.1%, C 15.3%, a na partię D 7.4%. Pozostałe odpowiedzi to 19.3%. Na ile taki wynik jest (nie)prawdopodobny?

Poniższy filmik ilustruje potencjalne zróżnicowanie wyników sondaży zakładające, że prawdziwe poparcie dla partii rozkłada się A=31%, B=27%, C=16% i D=7.5%. Każda klatka w tym filmiku to wyniki jednego z 500 symulowanych sondaży. Drżące słupki po prawej to poparcie poszczególnych partii. Poziome kreski wokół każdego słupka pokazują minimalny i maksymalny wynik danej partii. Dwa wykresy po lewej stronie porównują wyniki dwóch partii A i B. Górny pokazuje wielkość różnicy w poparciu A – B (oś pozioma): jeżeli dodatnia, to więcej respondentów deklarowało poparcie dla A. Wysokość słupków (oś pionowa) pokazuje na ile prawdopodobne jest wylosowanie sondażu z daną wielkością różnicy poparcia A-B. Przykładowo wysokość słupka nad 4 to liczba sondaży, w których parta A miała przewagę 4 punktów procentowych nad partią B. Drżący poziomy słupek poniżej (wykres w prawym dolnym rogu) pokazuje różnicę A-B w danym sondażu (klatce filmu).

Obserwacje

  1. Znaczący rozrzut wyników poszczególnych partii (patrz lewy wykres, końcowe klatki filmu).
  2. Porównując poparcie dla partii A i B całkiem prawdopodobne jest, że wg sondażu różnica będzie pomiędzy 2 a 6 punktów procentowych, mimo że rzeczywista różnica to 4 punkty na korzyść A.
  3. Jest możliwe, choć mało prawdopodobne, że sondaż pokaże, sprzecznie z rzeczywistością,  że to partia B ma przewagę nad A. Wg eksperymentu 3 sondaże na 100 pokażą przewagę B nad A.

Co z tego wynika:

  1. Interpretując wyniki sondaży wyborczych należy domagac sie informacji o wielkosci proby i rozmiarze bledu
  2. Przewaznie nie warto ekscytowac sie roznicami 1-2 punktu procentowego. nie mowiac o mniejszych,
  3. Informacja o bledzie powinna być pokazywana wraz ze słupkami. Na przykład za pomocą poziomych linii tak, jak na lewym wykresie w filmiku.

Wątki poboczne:

  1. Eksperyment zakładał, że wszystkie 1000 osób zrekrutowanych do badania chętnie i szczerze deklaruje swoje poglądy. Rzeczywistość jest daleka od tego ideału tak pod względem chęci badanych do brania udziału w sondażach, jak również i szczerości przy udzielaniu odpowiedzi.
  2. Szczególnie problem związany z odmowami wzięcia udziału w badaniu (jak również i innymi powodami nierealizowania badania) ma istotny wpływ na precyzję wyników. Osoby, które odmówiły udziału, bądź których nie przebadano z innych przyczyn, przeważnie mają trochę inne poglądy od tych, które przebadano. Trywialny przykład tego zjawiska to trudność w zastaniu w domu osób, które pracują. Z kolei poglądy polityczne inaczej rozkładają się wśród osób pracujących niż, dajmy na to, wśród emerytów. Jeżeli nie kontrolujemy tego typu efektów, to o precyzyjnych wynikach  sondaży możemy zapomnieć.
  3. Jako że wyniki sondaży obarczone są dodatkowym błędem systematycznym (opisanym powyżej) należy jeszcze bardziej chłodno podchodzić wobec prezentowanych wyników. Tym bardziej, że rozmiar tego błędu jest bardzo trudno oszacować, a poziom realizacji badań sondażowych w Polsce nieprzerwanie spada.
  4. Wątek związany z poziomem realizacji badań nie pojawił się w artykule w Polityce, co jest zrozumiałe ze względu na jego raczej ogólny charakter. Dziwi mnie jednak, że wątek ten nie został dokładnie zbadany w raporcie OFBOR. Być może to właśnie ukryte błędy systematyczne był powodem tak dużych rozbieżności pomiędzy poszczególnymi sondażami przed ostatnimi wyborami prezydenckimi.

Kto powinien pamiętać o błędzie? Omawiana tu sprawa dotyczy trzech typów aktorów społecznych połączonych swoistym łańcuchem pokarmowym: (1) firm badawczych przeprowadzających sondaże, (2) mediów, które te sondaże zamawiają i ich wyniki komunikują społeczeństwu, wreszcie (3) społeczeństwu, które wyniki sondaży prezentowane w mediach przyswaja, interpretuje oraz, w jakiejś za pewne niewielkiej części, na podstawie sondaży podejmuje decyzje wyborcze. Pamiętać o błędzie powinny wszystkie trzy grupy

  1. Firmy badawcze, bo wielkość błędu to najważniejszy wskaźnik jakości wytwarzanego przez nich produktu (sondaży).
  2. Media, bo wielkość błędu to najważniejszy wskaźnik jakości kupowanego przez nich produktu. Elementarna ekonomia uczy nas, że jakość dostarczanego produktu będzie spadać, jeżeli klient tej jakości nie będzie się domagać.
  3. Publiczność, czyli my wszyscy. Po pierwsze, nie dajmy się zwodzić małymi różnicami w wynikach sondażowych poszczególnych partii. Po drugie, wymagajmy od mediów aby zamawiały sondaże wyższej jakości i rzetelnie informowały o ich dokładności. Po trzecie, bierzmy udział w badaniach wyborczych i udzielajmy prawdziwych odpowiedzi, to jest w naszym własnym interesie.

Ciekawe pytanie, które się nasuwa, to kto w tym „łańcuchu pokarmowym” dysponuje największą władzą? Ale to już może temat na inny post…

Opublikowano ogólne | Otagowano , , , | 1 komentarz

7th UK Social Networks Conference

W dniach 7-9 lipca odbędzie się w Londynie na University of Greenwich 7ma konferencja UK Social Networks. Jest to zdecydowanie najciekawsza z konferencji dotyczących analizy sieci społecznych w Europie (może poza konferencjami Sunbelt, które jednak w Europie są tylko raz na trzy lata). W tym roku głównymi mówcami będą: Katherine Faust (University of California – Irvine), David Knoke (University of Minnesota) oraz Mario Diani (University of Pompeu Fabra – Barcelona).
Propozycje wystąpień można zgłaszać do 30 kwietnia.

Opublikowano konferencje | Skomentuj

Sunbelt XXXI

W ramach spóźnionego powitania (jako nowy autor na sna.pl) postanowiłem napisać krótką, i też spóźnioną, notkę na temat konferencji Sunbelt, na której byłem w połowie lutego br. Była to trzydziesta pierwsza edycja corocznego największego zjazdu badaczy sieci społecznych na świecie. Tym razem spotkanie odbyło się w St Pete Beach na Florydzie.

Zanim ruszyła główna część konferencji przez półtora dnia odbywały się różnego rodzaju warsztaty (patrz program warsztatów). Większość z nich poświęcona była różnym metodom i narzędziom do analizy sieci społecznych min.: AutoMap i ORA do relacyjnej analizy tekstu, Pajek, UCINET, czy Visone. Przede wszystkim jednak odbyło się kilka warsztatów związanych z R. Jako że już od ponad 10 lat jestem fanatycznym użytkownikiem tego oprogramowania temat jest mi bardzo bliski. Obok regularnych już kursów z Exponential Random Graph Models (patrz ‚statnet‚), czy SIENA (od niedawna rozwijana jako rozszerzenie R: ‚RSiena’) odbył się również mój warsztat pt. „Introduction to Social Network Analysis with R”. Warsztat był przeznaczony dla osób, które nie mają, lub mają niewielkie, doświadczenie w pracy z R. Sporym pozytywnym zaskoczeniem była dla mnie całkiem wysoka frekwencja: łącznie pojawiło się ponad 30 osób, co sprawiło, iż był to jeden z najliczniejszych warsztatów na Sunbelt. Przez pierwsze trzy godziny zapoznawaliśmy się z R jako takim: Od interfejsu, podstawowych typów obiektów i operacji, poprzez wbudowane funkcje do wizualizacji danych, sposób budowania bardziej złożonych wykresów, kończąc na statystyce opisowej i regresji liniowej. Druga trzy-godzinna część warsztatu poświęcona była podstawom analizy sieci społecznych przy użyciu pakietu igraph. Omawiane tematy dotyczyły tworzenia obiektów z danymi sieciowymi, dodawania i manipulowania informacji o węzłach i relacjach, generowania wizualizacji. Skończyliśmy na przeglądzie podstawowych metod SNA i jak ich używać w R. Warsztat zaliczam do bardzo udanych, mam nadzieję, że uczestnicy również. Planuję go powtarzać na kolejnych edycjach konferencji Sunbelt.

Pozostałe dni miały już bardziej konferencyjny charakter. Dwudziestominutowe wystąpienia pogrupowane były w sesje tematyczne, które odbywały się w sześciu salach równolegle. Tematyka była jak zwykle bardzo bogata. Większość czasu spędziłem na sesjach związanych z  dynamiką sieci społecznych i metodami jej analizy, szczególnie w dużych sieciach (tzn. liczba węzłów liczona w milionach). Ciekawe wystąpienia były też na sesjach poświęconych sieciom współpracy akademickiej, a jest to temat, którym planuję się bardziej aktywnie zająć w niedalekiej przyszłości.

Obok regularnych sesji odbył też keynote address, tym razem przez Cathleen Carley, która opowiadała o swoim kompleksowym podejściu meta-sieciowym (ludzie-wiedza-zadania) do analizy zachowań ludzkich i jego aplikacjach w badaniach wewnątrz-organizacyjnych jak również w analizach siatek terrorystycznych.

Dla mnie osobiście dużo bardziej ciekawy był jednak wykład Arnout van de Rijt‚a, który został tegorocznym laureatem nagrody im. Lintona C. Freemana. Arnouta, pracującego obecnie w State University of New York, miałem okazję poznać w Utrechcie podczas moich studiów doktoranckich. Można powiedzieć, że jesteśmy wychowankami tej samej grupy badawczej w ICS. Większość wątków poruszonych w wystąpieniu dotyczyła znanych już argumentów i teorii, stąd tytuł wystąpienia Classic Theories, New Derivations. Arnout opowiadał głównie o badaniach, które stanowią część jego doktoratu. Między innymi o dynamice sieci społecznej gdy wszyscy uczestniczący w niej aktorzy starają się wypełniać luki strukturalne jak również o dynamice i stabilności sieci w teorii balansu społecznego. Polecam lekturę obu tekstów z dwóch powodów. Po pierwsze, temat i wyniki są bardzo ciekawe. Po drugie, takie podejście do analizy socjologicznej (którego z resztą sam jestem praktykiem) zyskuje na popularności: modele matematyczne, bliskie związki z teorią decyzji i teorią gier, metody statystyczne, duże zbiory danych. Postaram się zamieszczać na sna.pl więcej próbek tego typu analiz, tak swoich jak i cudzych.

Dokładne daty następnych spotkań Sunbelt nie są jeszcze ustalone. Następny najpewniej odbędzie się w San Diego (USA). Równolegle ma się też odbyć edycja azjatycka (chyba w Szanghaju lub Singapurze). Następny Sunbelt w Europie odbędzie się najprawdopodobniej w Hamburgu. To chyba najmniej słoneczna lokalizacja z dotychczasowych.

Opublikowano analizy sieciowe, konferencje | Otagowano , , | 1 komentarz

Workshop on Information and Decision in Social Networks

W dniach 31 maja – 1 czerwca 2011 odbędzie się Interdisciplinary Workshop on Information and Decision in Social Networks. Warsztat będzie miał miejsce w Media Lab w kampusie MIT w Cambridge. Abstrakty wystąpień mogą być składane do 11 marca.

Głównym celem warsztatu jest przedstawienie i integrowanie perspektyw badawczych różnych dyscyplin naukowych w wyjaśnianiu przepływów informacji i podejmowania decyzji w dużych sieciach społecznych. Warsztat jest organizowanych przez  Laboratory for Information and Decision Systems.

Opublikowano konferencje | 1 komentarz

NetSci 2011 w Budapeszcie

W dniach 6-10 czerwca odbędzie się w Budapeszcie NetSci 2011 – The International School and Conference on Network Science. Pierwsze dwa dni poświęcone są na wykłady i warsztaty, reszta ma już typowo konferencyjny charakter. Abstrakty można składać do 6 marca.

NetSci to jedne z ciekawszych interdyscyplinarnych konferencji związanych z zastosowaniami analiz sieciowych. Przyjeżdżają na nią zarówno osoby analizujące dane, jak również specjaliści od modelowania czy wizualizacji. Również przekrój dyscyplin jest bardzo szeroki – od biologów, przez informatyków aż po przedstawicieli nauk społecznych.

W tym roku konferencji towarzyszyć będzie kilka dodatkowych sympozjów:

Więcej informacji można znaleźć na stronie konferencji.

Opublikowano konferencje | Otagowano , , | 2 komentarzy