Najczęściej zadawane pytania

Co to jest sondaż?

Badania sondażowe, szczególnie te dotyczące polityki, cieszą się szerokim zainteresowaniem, ale budzą też wiele emocji, wynikających często z braku wystarczającej informacji na ich temat.

Na tej stronie umieszczono odpowiedzi na najczęściej powtarzające się pytania dotyczące sondaży politycznych (podstrony po lewej). Mamy nadzieję, że zgromadzony tu materiał pozwoli Państwu poszerzyć wiedzę na temat tego typu badań.

Jeśli macie Państwo inne pytania na temat sondaży, prosimy kierować je na adres sondaz@millwardbrown.com

Czym powinien charakteryzować się profesjonalny sondaż?

Cechy, jakimi powinien charakteryzować się sondaż, aby można było go uznać za profesjonalne badanie społeczne

  • Obiektywny – zwykle losowy – dobór respondenta, niezależny od woli i preferencji poszczególnych osób uczestniczących w badaniu (zarówno badaczy, ankieterów jak i respondentów)
  • Zebranie w badaniu szczegółowych informacji o respondencie (dane metryczkowe), które pozwalają zakwalifikować go do badanej populacji oraz do konkretnej podgrupy w ramach tej populacji
  • Reprezentatywność próby rozumiana jako zachowanie proporcji populacyjnych
  • Zadawanie niesugerujących pytań w formie zrozumiałej dla respondentów
  • Dołożenie starań, aby ograniczyć poziom odmów i nieuczestniczenia w badaniu z różnych innych przyczyn

Co to znaczy, że próba w sondażu jest reprezentatywna?

Aby wylosować reprezentatywną próbę należy dokładnie opisać badaną populację, poprzez podanie jej cech i zasięgu terytorialnego. W sondażach poparcia politycznego odnosimy się do osób pełnoletnich zamieszkujących terytorium kraju, posiadających czynne prawo wyborcze. (Taka definicja populacji badanej świadomie pomija osoby pozostające poza granicami kraju, posiadające obywatelstwo polskie, a co za tym idzie uprawnione do głosowania; obiektywne dotarcie takich osób jest w praktyce niemożliwe).

Istnieją dwie podstawowe metody doboru próby: losowy i kwotowy.

W przypadku doboru losowego znane są z góry (i zwykle równe) prawdopodobieństwa wejścia do próby poszczególnych członków populacji badanej. Losowania dokonuje się z aktualnych i jak najpełniejszych spisów (tzw. operatów losowania próby), umożliwiających dotarcie do poszczególnych osób, przykładowo rejestru PESEL, czy spisu gospodarstw domowych (w badaniach bezpośrednich), spisu numerów telefonów (CATI) lub adresów e-mail. Wylosowane kontakty do respondentów pozwalają zaproponować im udział w badaniu.

Kwotowy dobór próby polega na wyliczeniu proporcji próby (zwykle zgodnych z proporcjami populacji badanej), z uwzględnieniem zarówno rozkładu terytorialnego (województwo i wielkość miejscowości), jak i proporcji cech demograficznych (płci i wieku). Uwzględniane są przy tym wielowymiarowe krzyżówki tych cech. W ramach każdej z tych wyznaczonych warstw ankieterzy dobierają określone liczby respondentów – często dla zwiększenia rozproszenia próby uwzględniając adresy startowe, od których rozpoczynają poszukiwania respondentów (w badaniach realizowanych w terenie). Reprezentatywność w takim przypadku polega na odzwierciedleniu proporcji populacyjnych w próbie, nie zaś na losowości doboru.

W praktyce badawczej często dokonuje się warstwowego doboru próby losowej – co oznacza zdefiniowanie proporcji populacji jak w próbie kwotowej i wylosowanie respondentów w ramach poszczególnych warstw.

W naszym sondażu politycznym - realizowanym techniką CATI - stosujemy warstwowanie uwzględniające województwa i wielkość miejscowości. W ramach tak wyznaczonych warstw losujemy numery telefonów odpowiadające poszczególnym respondentom. Jest to wiec warstwowa próba losowa.

Na czym polega ważenie sondażu

W każdym badaniu reprezentatywnym, szczególnie zasadzającym się na losowym doborze respondenta, dochodzi do skrzywienia proporcji poszczególnych cech w próbie w odniesieniu do populacji badanej. Dzieje się tak zarówno z powodu niemożności przewidzenia płci i wieku respondenta odbierającego telefon komórkowy, jak i tego dobranego spośród członków gospodarstwa domowego w przypadku kontaktu poprzez telefon stacjonarny. Również prozaiczna konieczność zaokrąglenia do pełnych jednostek liczby wywiadów w poszczególnych warstwach oraz pewne - niewielkie - odchyłki w liczebności zrealizowanych wywiadów w poszczególnych warstwach są powodem konieczności ważenia badania. Wskutek wszystkich tych powodów osoby o pewnych cechach będą nieznacznie nadreprezentowane w próbie zrealizowanej, inne zaś będą w niej niedoreprezentowane w stosunku do rozkładu populacyjnego. W takiej sytuacji dopisywane są do poszczególnych wywiadów wagi (mnożniki), dzięki którym analiza statystyczna uwzględnia prawidłowe proporcje próby.

Jeśli przykładowo uzyskaliśmy w badaniu odpowiedzi od 100 osób z wykształceniem zawodowym, a powinniśmy mieć takich osób w próbie 110, wyniki powinny zostać zważone – każdy respondent z wykształceniem zawodowym otrzyma wagę (mnożnik) 1,1.

Taka obróbka danych - uwzględniająca wzajemne kombinacje kryteriów demograficznych i rozkład terytorialny - nazywana jest ważeniem poststratyfikacyjnym i jest standardową procedurą w przetwarzaniu danych w badaniach sondażowych. Dzięki temu można mówić o wysokiej reprezentatywności badania.

Czy wielkość próby ma wpływ na dokładność badania sondażowego?

Podstawową cechą badań sondażowych jest użycie próby reprezentatywnej. Tylko wtedy wyniki badania można uogólnić na całą populację. Jak błędne jest przekonanie, że wielka liczba respondentów może zastąpić prawidłowy dobór próby ilustruje przykład z wyborów prezydenckich w Stanach Zjednoczonych w roku 1936.

Czasopismo Literary Digest wysłało do mieszkańców wszystkich stanów 10 mln. kart pocztowych z pytaniem, na kogo zamierzają głosować w zbliżających się wyborach. Na podstawie zebranych 2,3 mln. odpowiedzi gazeta przewidziała zwycięstwo Alfreda Landona nad Franklinem Roosveltem stosunkiem głosów 57% - 43%. Redakcja gazety wysłała zaproszenie do badania do wybranych tylko grup społecznych (bogatszych) i nie zebrała od respondentów żadnych informacji, które pozwoliłyby ocenić reprezentatywność próby i dokonać ewentualnego ważenia post-stratyfikacyjnego. W tym samym czasie młody socjolog George Gallup zrealizował pomiar na znacznie mniejszej, ale dobranej w pełni reprezentatywnie próbie N=50 000 osób (proszę zwrócić uwagę, że znacznie większej niż stosowane obecnie!), w którym wskazał Roosvelta, jako zwycięzcę. Wybory zakończyły się wynikiem 60% Roosvelt do 37% Landon. Czasopismo Literary Digest wkrótce potem zostało zamknięte.

Inna sprawa to fakt, czy liczebność próby losowej ma wpływ na dokładność wnioskowania. Zależność taka istnieje i ma charakter odwrotności pierwiastka kwadratowego z liczebności próby, co oznacza, że dysponując 4 razy większą próbą możemy się spodziewać tylko dwukrotnie dokładniejszych wyników. Wieloletnie doświadczenie badawcze skutkuje dobieraniem próby o liczebności 1000 respondentów, dla której maksymalny błąd pomiaru frakcji wynosi ok. 3%. Powiększanie tej próby ma ekonomiczne uzasadnienie w przypadku planowania analiz na różnych wydzielonych podpróbach (przykładowo kobiety i mężczyźni); zbadanie bowiem próby o liczebności 2000 wywiadów zmniejszy błąd pomiaru do poziomu nieco ponad 2%.

Jakie znaczenie dla wyniku badania ma sformułowanie pytania w sondażu?

Pytanie badawcze ma podobnie jak i próba w sondażu kluczowe znaczenie dla jego wyniku. Należy się starać maksymalnie upodobnić sytuację wyboru opcji politycznej do rzeczywistych wyborów, które maja nastąpić. Zwykle w tym przypadku korzysta się z tzw. pytań zamkniętych, t.j. takich w których jest zaproponowana lista możliwych odpowiedzi. Jednakże w badaniach z udziałem ankietera (w odróżnieniu do ankiet samowypełnialnych) pytanie takie jest zwykle zadawane bez wspomagania, co oznacza, że lista kandydatów nie jest odczytywana, a oczekuje się odpowiedzi spontanicznej. Dopiero w przypadku kłopotów z wyborem stosowane jest odczytanie listy kandydatów (stanowiących podpowiedź dla respondenta). Zawsze należy jednak uszanować głos respondenta oddany na kogoś innego (spoza listy) – tak samo jak w rzeczywistych wyborach zdarza się, ze respondent dopisuje do karty głosowania taka czy inną osobę, oddając głos nieważny, ale sygnalizując swoją niezgodę na proponowana listę. Błędne byłoby stosowanie list ograniczonych, niedopuszczanie głosów nieważnych.

Warto też zwrócić uwagę, ze kandydaci (czy opcje) muszą być prezentowani w sposób obiektywny i niesugerujący. Opis „kandydat 1 – znany wszystkim i powszechnie lubiany celebryta, kandydat 2 – bliżej nieznany lokalny działacz społeczny” jest oczywistym sprzeniewierzeniem się zasadzie niezadawania sugerujących pytań. Ważne jest przy tym dobre szkolenie ankieterów, by w trakcie wywiadu trzymali się ściśle procedury wywiadu i swoim działaniem (intonacją, mimowolną sugestią, poradą i wyjaśnieniem) nie wpływali na decyzje respondenta.

W sondażach, w których respondent sam wypełnia ankietę (np. exit poll), należy tak ją ustrukturyzować, by maksymalnie odzwierciedlała proces głosowania, w którym przed chwilą uczestniczył respondent. Dlatego w wyborach do sejmu należy zachować kolejność komitetów wyborczych a w ich ramach kolejność pozycji na liście.

Wszelkiego rodzaju odstępstwa od obiektywizmu zadawania pytań skutkują wpływaniem na odpowiedzi respondentów.

Jakie jest kryterium doboru badanych partii? Czy pomijanie pewnych partii a dodawanie innych nie jest elementem manipulacji w badaniu?

Przede wszystkim warto zwrócić uwagę na fakt, że badanie dotyczy poparcia dla partii politycznych w ogóle a nie tylko tych, których komitety wyborcze zostały zarejestrowane przez Państwową Komisję Wyborczą. Dlaczego tak jest? Można tu wymienić dwa podstawowe powody:

  • rejestracja komitetów wyborczych następuje na 50 dni przed terminem wyborów; jeśliby czekać na ten moment – to niemożliwe by było prowadzenie badań przed tym terminem; dodatkowo – potencjalnie – ta lista może się jeszcze zmienić w kolejnych dniach, wskutek rozważenia protestów poszczególnych komitetów wyborczych
  • fakt zarejestrowania czy odmowy rejestracji może nie być znany respondentowi (wyborcy w określonym okręgu wyborczym) w momencie badania i może on chcieć spontanicznie (bez czytania przez ankietera listy partii) poprzeć partię na którą nie można głosować w rzeczywistych wyborach; analogiczne sytuacje mają miejsce, gdy wyborca świadomie (lub nie) dopisuje na karcie głosowania swego kandydata – oddając tym samym głos nieważny

W badaniu lista partii jest odczytywana jedynie w sytuacji, gdy respondent nie potrafi sobie przypomnieć, na kogo chciałby głosować. Zwykle jednak odpowiedź jest spontaniczna, co oznacza, że im szersza lista możliwości, tym łatwiej jest ankieterowi zanotować odpowiedź respondenta.

W wyborach parlamentarnych 2011 od momentu zatwierdzenia list wyborczych przez PKW i rozpatrzenia protestów złożonych przez komitety wyborcze lista partii w badaniu uległa redukcji do zatwierdzonych przez PKW list:

  1. Komitet Wyborczy Prawo i Sprawiedliwość
  2. Komitet Wyborczy Polska Jest Najważniejsza
  3. Komitet Wyborczy Sojusz Lewicy Demokratycznej
  4. Komitet Wyborczy Ruch Palikota   
  5. Komitet Wyborczy Polskie Stronnictwo Ludowe 
  6. Komitet Wyborczy Polska Partia Pracy - Sierpień 80 Komitet
  7. Komitet Wyborczy Platforma Obywatelska RP 
  8. Komitet Wyborczy Nasz Dom Polska-Samoobrona Andrzeja Leppera 
  9. Komitet Wyborczy Nowa Prawica - Janusza Korwin-Mikke 
  10. Komitet Wyborczy Prawica - Marka Jurka
  11. Komitet Wyborczy Wyborców Mniejszość Niemiecka

(kolejność podana odpowiada rozlosowanym przez PKW numerom list wyborczych)

Na poziomie prezentacji wyników (aby przekaz był prostszy i jasny) stosujemy zaś nazewnictwo zwyczajowe:

  1. Prawo i Sprawiedliwość
  2. Polska Jest Najważniejsza
  3. Sojusz Lewicy Demokratycznej
  4. Ruch Palikota
  5. Polskie Stronnictwo Ludowe
  6. Polska Partia Pracy - Sierpień 80
  7. Platforma Obywatelska RP
  8. Samoobrona Andrzeja Leppera
  9. Kongres Nowej Prawicy
  10. Prawica Rzeczypospolitej

W naszych rankingach nie prezentujemy wyników dla Mniejszości Niemieckiej która startuje w 1 okręgu wyborczym (opolskie) i którą obowiązują rygory ordynacji wyborczej jak dla mniejszości narodowych – w praktyce uzyskuje zawsze 1 lub 2 mandaty poselskie.

Spontaniczne odpowiedzi respondentów na inne partie zapisywane są jako „inne”.

W badaniach poprzedzających rejestrację list pojawiały się nazwy innych partii, ze względu na ich aktywność oraz historyczne znaczenie w poprzednich wyborach. Do takich należały przykładowo: LPR, Zieloni, Partia Kobiet…

Warto podkreślić, że wątpliwości, czy wprowadzić daną partię na listę badanych, czy ją pominąć dotyczą wyłącznie partii o marginalnym poparciu zdiagnozowanym w poprzednich badaniach, wahającym się w okolicach 1%. Jeśli więc taka partia jest ma obecnie zarejestrowane listy wyborcze nie we wszystkich okręgach wyborczych – to faktyczne wyniki w wyborach mogą być niższe – ale różnica będzie stanowiła ułamek procenta – będzie mniejsza niż dokładność pomiarowa.

W jaki sposób można ocenić, co myślą miliony ludzi, pytając w badaniu tylko 1000 osób?

W taki sam sposób, w jaki każda gospodyni domowa może ocenić smak ugotowanej zupy, nie spożywając jej całego garnka. Tajemnica tkwi w tym, aby przed degustacją dobrze wymieszać zupę tak, by do łyżeczki, którą gospodyni próbuje trafiły wszystkie składniki zupy wraz z przyprawami.

Badania sondażowe oparte są na takiej samej zasadzie – zbadanie reprezentatywnej próby dostarcza informacji o wszystkich warstwach całej populacji w opowiadających populacji proporcjach.

Badania realizowane na próbach niedobieranych w sposób reprezentatywny dają mylny obraz badanej populacji, opisując co najwyżej jakiś jej fragment – podobnie jak niezamieszana zupa może miejscami być przesolona, a w innym miejscu zupełnie pozbawiona smaku.

Kluczową kwestią jest zatem dobre wymieszanie zupy (tutaj: właściwy dobór respondentów), a nie degustacja dużej ilości (tutaj: wylosowanie bardzo dużej próby)

Jakie jest ryzyko popełnienia błędu statystycznego w sondażu realizowanym na próbie 1000 osób, a jakie na większej próbie?

Błąd statystyczny wynika z przebadania próby, a nie całej populacji i zależy od liczebności wylosowanej próby, a nie liczebności badanej populacji (pod warunkiem, że populacja jest wielokrotnie większa niż badana próba).

Teoria statystyki pozwala oszacować wielkość błędu, gdy badanie opiera się na losowej próbie. Jeśli w badanej populacji dokładnie 50% osób popiera jakiś pogląd, to w wylosowanej 1000-osobowej próbie wcale nie uzyskamy dokładnie takiego wyniku. Jeśli jednak wylosujemy wiele takich prób z tej samej populacji badanej, to średnio w 19 na 20 przypadków wyznaczone poparcie będzie się wahało pomiędzy 47% i 53% (błąd wyniesie ok. 3%). Jednakże w jednej spośród 20 wylosowanych prób uzyskamy wynik mniejszy niż 47%, bądź większy niż 53%, a więc błąd przekroczy 3 punkty procentowe. Jeśli więc w wyniku badania próby oszacujemy frakcję zwolenników na 50%, to możemy mieć 95% przekonanie, że prawdziwa frakcja zwolenników w populacji mieści się w przedziale 47 - 53% (a więc błąd pomiaru wyniesie 3%). Ten poziom 95% nazywamy poziomem ufności – oznacza on, że dopuszczamy margines 5% prawdopodobieństwa, że prawdziwa wartość jest mniejsza niż 47%, bądź większa niż 53%.

Teoria statystyki pozwala oszacować błędy dla innych frakcji – przy czym błąd ten jest maksymalny dla 50% i maleje dla innych poziomów poparcia. Można więc powiedzieć, że dla próby 1000 osobowej maksymalny błąd oszacowania frakcji wyniesie 3% (dla frakcji 50%). Jednocześnie wiadomo, że poziom błędu skaluje się tak jak odwrotność pierwiastka kwadratowego z liczebności próby, a więc maksymalny błąd pomiaru frakcji (dla 50%) wyniesie około 2% dla próby o liczebności 2000.

Warto podkreślić, że powyższe rozważania odnoszą się wyłącznie do losowych prób i nie uwzględniają niedoskonałości realizacyjnych badania, będących źródłem błędów systematycznych, a więc nielosowych. Główne źródła takich błędów to:

- nieodpowiedni operat losowania próby, niezapewniający pokrycia całej populacji,

- nieproporcjonalnie zrealizowana próba i brak ważenia post-stratyfikacyjnego,

- wysoki odsetek odmów i/lub wywiadów niezrealizowanych z innych przyczyn z pierwotnie wylosowanymi respondentami.

Skoro pojawiają się także błędy nielosowe to czy oznacza to, że prawdziwy całkowity margines błędu w badaniach jest znacznie większy?

Może być większy, ale niekoniecznie. Jeśli próba sondażowa jest wylosowana z uwzględnieniem prawidłowego warstwowania z operatu o dużej aktualności i w dużym stopniu pokrywającego badana populację, a scenariusz sondażu jest przyjazny dla respondenta i nie nadużywa jego zaufania i cierpliwości, to daje się ograniczyć błędy o charakterze nielosowym. Jeśli jednak zastosowano operat o niskim stopniu pokrycia populacji, to spora jej cześć nie zostanie objęta badaniem i może to mieć wpływ na uzyskanie całkowicie błędnych wyników. Równie destrukcyjne dla wyników może być nieprawidłowe powarstwowanie próby, wskutek którego w badaniu zostaną nieproporcjonalnie dobrani respondenci o poszczególnych poglądach. Może mieć to miejsce np. w sytuacji nierównomiernego terytorialnego rozproszenia próby, gdy poglądy respondentów są skorelowane z ich miejscem zamieszkania (klasyczne przypisanie poglądów do poszczególnych zaborów). Konstrukcja uciążliwego, długotrwałego kwestionariusza badania może mieć wpływ na rezygnację z uczestnictwa w badaniu szeregu osób mniej zainteresowanych. Powszechne identyfikowanie firmy badawczej z określonymi poglądami (mniejsza o to czy słuszne czy niesłuszne), może odstraszać ich przeciwników od badania lub wręcz być przyczyną bojkotu. Każdorazowo będzie miało to wpływ na wyniki badania, trudny często do oszacowania i niezwiązany z liczebnością próby. Dlatego profesjonalne firmy czynią wiele wysiłków, by takich sytuacji unikać.

Zatem, aby oszacować całkowitą wielkość błędu w badaniu, należy wziąć pod uwagę zarówno błąd statystyczny (losowy), jak i błąd systematyczny (nielosowy).

Czy to oznacza, że tak naprawdę wynikom sondaży nie można ufać?

Badania sondażowe nie są idealnym, ale są najlepszym znanym sposobem pomiaru opinii danej populacji.

Wyniki sondaży mogą być porównywane z rzeczywistymi rezultatami wyborów, przy czym należy brać pod uwagę odstęp czasowy pomiędzy zrealizowaniem sondażu, a dniem głosowania. Mogą bowiem w tym okresie nastąpić wydarzenia mające istotny wpływ na zmianę preferencji wyborczych elektoratu.

Dobrze zaprojektowane badania są zazwyczaj realizowane z dokładnością do 3%, nawet jeśli czasem zdarza się, że wynik pomiaru wypadnie poza margines błędu. Sondaże w większości przypadków stanowią dobre źródło wiedzy na temat poglądów społeczeństwa, nawet jeśli margines błędu jest większy. Jeśli bowiem opinie dzielą się w proporcji 70/30 to nawet margines błędu wynoszący 10% nie może zmienić faktu, że jeden pogląd cieszy się dużo większym poparciem niż inny.

Warto też pamiętać, że w przypadku badania zrealizowanego tuż przed wyborami (na próbie N=1000) przewaga jednego kandydata nad drugim o mniej niż 5 punktów procentowych w praktyce nie pozwala wskazać pewnego zwycięzcy - zwłaszcza, że jak wspomniano wyżej preferencje badanych mogą się zmieniać do ostatnich chwil przed głosowaniem.

Czy powoływanie się na błąd i poziom ufności nie jest po prostu próbą ukrycia nieudolności firmy badawczej?

W badaniach opinii zwykle nie docieramy do wszystkich przedstawicieli badanej populacji a więc wnioski oparte na badaniu próby generalizujemy na całą populację, korzystając z praw statystyki. Przeprowadzenie badania całej populacji jest długotrwałe i kosztowne i przy dużej zmienności przedmiotu badania mogłoby się okazać, że poszczególni respondenci odpowiadają w zupełnie innych warunkach. Dlatego badanie opinii opiera się zwykle na próbie badawczej. Oczywiście sposób jej doboru ma wpływ na jej reprezentatywność a wiec może być przyczyną generowania dodatkowych błędów – wynikających nie tylko z rozproszenia samego rozkładu badawczego, ale i z dokładności narzędzia pomiarowego. Jeśli więc w dwóch badaniach opartych na próbach o tej samej liczebności różne instytuty badawcze raportują różne błędy przy tych samych poziomach poparcia – to nie należy krytykować instytutu podającego większy błąd a raczej docenić rzetelność w próbie jego oszacowania.

Czy, gdy mierzę blat biurka, to też występuje błąd pomiaru? Przecież otrzymuję jedną wartość.

Każdy pomiar jest obarczony pewnym błędem – nawet dotyczący podstawowych wielkości fizycznych takich, jak długość, czas, czy masa. Zwykle wykonujemy jednak tylko jeden pomiar danego obiektu i przyjmujemy ten wynik za absolutnie pewny (dlatego tylko jedna wartość pomiaru). Jeśli jednak do zmierzenia blatu biurka użyjemy kilku różnych miarek, to otrzymamy różne wyniki. Pomiar starym, rozciągniętym „centymetrem krawieckim” da wynik zaniżony, bo każda jednostka na miarce jest nieco wydłużona. Pomiar, wykonany w środku blatu (długość mierzona zapewne po skosie), będzie zawyżony w porównaniu do prawidłowego pomiaru wzdłuż krawędzi blatu biurka. Różne pomiary tego samego obiektu mogą więc dać różne wyniki, a zatem mamy do czynienia z rozkładem wartości, a nie jedną liczbą. Jeśli błędy pomiarowe są przypadkowe – to taki rozkład będzie miał kształt krzywej dzwonowej. Najlepiej podać wtedy jako wynik pomiaru średnią wartość z rozkładu, a dla oceny jakości pomiaru podać miarę rozproszenia rozkładu.

Ponieważ jednak wykonujemy tylko pewną określoną liczbę pomiarów – to wcale nie jest pewne, czy kolejny pomiar nie dałby wyniku odbiegającego od poprzednich. Prawa statystyki pozwalają jednak określić pewien zakres, w ramach którego z dużym prawdopodobieństwem zmieści się prawdziwa wartość pomiaru. Ten zakres jest określony błędem pomiaru, który ma sens tylko wtedy, gdy określimy jakie dopuszczamy prawdopodobieństwo popełnienia większego błędu – czyli że prawdziwa wartość leży poza przedziałem wyznaczonym przez średnią minus błąd i średnią plus błąd. Zwykle zadowalamy się myślą, że prawdopodobieństwo to wyniesie mniej niż 5%.

Czy wielokrotny pomiar jednego blatu biurka rzeczywiście oddaje sytuację badania opinii?

Badając opinię mamy do czynienia z jednokrotnym pomiarem wielu obiektów a mierząc blat tego samego biurka mamy do czynienia z wielokrotnym pomiarem tego samego obiektu. Sytuacja nie jest więc taka sama i zwykle przy pomiarze fizycznym mamy zaufanie zarówno do narzędzia pomiarowego jak i metody pomiaru i nie powtarzamy tego pomiaru.

Inna sprawa, że gdy chcemy ocenić jakość jakiegoś produktu przemysłowego, to pomiar powtarzamy, ale na wielu obiektach. Przykładowo czas świecenia żarówki określamy świecąc wiele żarówek tak długo, aż ulegną przepaleniu. Średni czas, po którym zgasły żarówki podamy jako wynik naszego pomiaru, uzupełniając o błąd wynikający z rozkładu czasów przepalenia żarówek. Zauważmy, że z samej natury takiego pomiaru nie jesteśmy w stanie go wielokrotnie powtórzyć (tak, jak nie ma sensu zadawanie tego samego pytania w badaniu temu samemu respondentowi wielokrotnie) ani też nie przepalimy wszystkich wyprodukowanych żarówek – by mieć pewność, co do wyników naszego badania, bowiem w takich warunkach produkcja nie miałaby sensu. Użyjemy raczej w badaniu odpowiednio dobraną próbę. Niestety nie pozwoli ona na uzyskanie pewności, co do czasu świecenia wszystkich wyprodukowanych żarówek, jednak możemy określić przedział w jakim się mieści z dużym prawdopodobieństwem czas świecenia każdej żarówki. Jeśli więc szukać analogii pomiędzy badaniami społecznymi a pomiarami fizycznymi – to raczej należy się odnieść do pomiarów związanych z kontrolą jakości – badania rozkładów mierzonych parametrów.

Dlaczego wyniki badań tuż przed wyborami są bliższe faktycznym rezultatom wyborów, a te odleglejsze w czasie nawet znacznie odbiegają od nich?

Obiegowa opinia sugeruje, że jest to związane z tym, że firmy badawcze mogą sobie pozwolić na mniej dokładne badania (by nie powiedzieć o manipulowaniu wynikami), gdy do wyborów jeszcze daleko i nie ma żadnej konfrontacji wyników badań i rzeczywistości, a gdy wybory się zbliżają, firmy przestają manipulować, by nie tracić twarzy. Taka interpretacja miałaby sens tylko wtedy, gdyby poparcie poszczególnych partii przez elektorat było stałe, a wyniki badań stanowiły prognozy wyborcze.

W rzeczywistości obserwujemy jednak zmiany poparcia (pewne trendy czasowe) poszczególnych partii i wynik ze stycznia może odbiegać zdecydowanie od wyniku z września – przy czym faktyczny wynik wyborów październikowych nie jest przecież znany w trakcie żadnego z tych pomiarów, a więc instytut badawczy tak na prawdę nie wie do czego dostosowywać wyniki. Co więcej pomiary wykonane tą samą metodologią przez tę samą firmę badawczą są w stanie odwzorować chwilowe wahnięcia poparcia, będące efektem konkretnych wydarzeń na scenie politycznej, społecznej i ekonomicznej. Trudno jest przewidzieć wszystkie przyszłe wydarzenia w momencie publikowania wyników badania. Jednak im bliżej wyborów, tym mniej czasu na jakieś spektakularne wydarzenia wpływające na wyniki. Mamy więc do czynienia z sytuacją podobną do celowania w jakiś punkt cienkim długim kijem. Im kij dłuższy tym trudniej trafić, bo kij się ma szansę bardziej wygiąć.

Czy możliwe jest przeprowadzenie takich badań dodatkowych, które skompensowałyby wszystkie niepewności pomiarowe sondaży i dawałyby prawdziwą predykcję wyników wyborów?

Firmy badawcze w mniejszym lub większym zakresie dokonują korekty wyników badań, niekiedy w różnych proporcjach przypisując głosy niezdecydowanych poszczególnym partiom, niekiedy zadając dodatkowe pytania uściślające postawy polityczne, niekiedy sondując stopień zdecydowania co do podejmowanych wyborów. Zwykle można na podstawie poprzednich wyborów przeskalować narzędzie badawcze – czyli wyznaczyć współczynniki dla poszczególnych opcji politycznych, które uwzględnione w określonym badaniu dawałyby rezultaty dokładnie takie, jakie wyniki wyborów ogłasza PKW. Wskazuje się przy tym, że można też badać, jak zachowaliby się ci respondenci, którzy odmawiają uczestniczenia w szybkim sondażu i/lub ci którzy są niezdecydowani a więc próbować dowiedzieć się czegoś więcej o tzw. „milczącej większości”. Problem jednak w tym, że takie badania zajmują wiele czasu, a ich wynik dotyczy ściśle okresu przeprowadzenia badania. W polskich szybkozmiennych warunkach nieustabilizowanego rynku politycznego dokładność tak wyznaczonych poprawek spada niedługo po wykonaniu badania.

Nie oznacza to, że badania takie nie mają sensu, bowiem są w stanie wskazać kierunki i zakres kompensacji wyników otrzymywanych na bieżąco, jednak doświadczenie uczy, że na wielkość korekty może mieć wpływ wiele czynników nieprzewidywalnych w chwili jej wyznaczania.

Czy jednak nie ma możliwości przewidywania wyników dokładniej niż to jest robione obecnie, choćby metodami takimi, jakie stosowane są w przewidywaniach kursów akcji ("analiza techniczna")?

Analiza techniczna opiera się na ogromnej liczbie danych, zbieranych dzień po dniu (a nawet godzina po godzinie), dotyczących rzeczywistych kursów akcji. Z jednej więc strony mamy do czynienia z dokładnymi danymi a nie ich szacunkami, z drugiej pomiar ma charakter ciągły. A i tak nikt nie jest w stanie przewidzieć kursów akcji z dużym wyprzedzeniem.

Dane zbierane w pomiarach poparcia politycznego są dużo mniej liczne i każdy z nich obarczony jest błędem pomiarowym (statystycznym i systematycznym). Budowanie na takich danych przewidywań jest jeszcze bardziej trudne niż w przypadku giełdy i skutkowałoby zwiększonym błędem prognozy.

Dlaczego powszechne jest przekonanie, że badanie bezpośrednie f2f jest dużo dokładniejsze niż badanie telefoniczne?

Przez wiele lat wyposażenie gospodarstw domowych w telefony stacjonarne było na bardzo niskim poziomie (do przełomu 1989 roku) było to poniżej 20%. W latach 90-tych ubiegłego stulecia nasycenie gospodarstw domowych w Polsce telefonią rosło intensywnie osiągając poziom ponad 70%. Taka penetracja telefonii jest jednak zbyt niska dla przeprowadzenia badania reprezentatywnego, bowiem spora część populacji pozostaje niedostępna w badaniu prowadzonym przez telefon stacjonarny. Warto zauważyć, że jednolita numeracja telefonów stacjonarnych na obszarze kraju została wprowadzona dopiero około 2005 roku i dopiero od tego momentu można prowadzić badania telefoniczne na w pełni zautomatyzowanej próbie. Niestety telefonia stacjonarna po 2000 roku doznała regresu – szczególnie jeśli chodzi o jej dostępność w gospodarstwach domowych. Obecnie tylko ok. 50% populacji jest potencjalnie dostępna pod telefonem stacjonarnym w domu (telefon stacjonarny jest na wyposażeniu gospodarstwa domowego, co wcale nie oznacza przebywania poszczególnych osób w domu w godzinach zwyczajowego prowadzenia wywiadów telefonicznych).

Od początku lat dwutysięcznych mamy do czynienia z szybkim wzrostem liczby telefonów komórkowych w społeczeństwie. Już na przełomie 2005/2006 roku liczba osób dostępnych pod telefonami komórkowymi przekroczyła liczbę osób dostępnych pod telefonami stacjonarnymi. Obecnie jest to ponad 80% populacji. Badania wykazują, że telefonia komórkowa i stacjonarna są w dużej mierze komplementarne, co oznacza, że stosując obie techniki łączności jednocześnie można dotrzeć do wszystkich podgrup populacji osób bez wyróżniania regionu i wielkości miejscowości a także płci i wieku respondenta i jego statusu zawodowego, czy trybu życia. Użycie obu rodzajów telefonii pozwala obecnie na dotarcie do ponad 90% populacji.

Tylko bardzo poważne badania o charakterze naukowym, prowadzone bez rygorów czasowych, co umożliwia dokonanie licznych powrotów do wylosowanych pierwotnie respondentów mają szansę na wykorzystanie bardziej obiektywnej statystycznie próby badawczej. Konieczność dobrej organizacji pracy ankieterskiej wymusza wiązkowanie próby terenowej, co oznacza realizację wielu wywiadów w niedalekiej odległości – niech to będzie nawet tylko ta sama miejscowość; problem ten nieznany jest w badaniu telefonicznym. Umówienia telefoniczne załatwiane są automatycznie przez system CATI i nie stanowią problemu, pod warunkiem, że nie dotyczą terminu po zakończeniu badania. Tymczasem w terenie czasem trudno jest powracać wiele kilometrów do tego samego respondenta, by przeprowadzić z nim wywiad w innym terminie. Do zalet badania telefonicznego można zaliczyć też bieżący nadzór nad jego warstwowaniem w wielu aspektach – zarówno rozkładu terytorialnego (region – wielkość miejscowości) jak i cech respondenta. Warto podkreślić, że podstawą takiego warstwowania jest rozkład demograficzny mieszkańców kraju, a nie rozprzestrzenienie telefonów poszczególnych miejscowościach – co często jest podnoszone jako zarzut w odniesieniu do reprezentatywności próby telefonicznej). Nie ma nawet pokusy, by rozbić więcej wywiadów w mieście niż wynika to z odpowiednich proporcji, bowiem przy jednakowym koszcie wywiadu, łatwiej jest wykonać wywiad w populacji mieszkańców małych miast i wsi.

Badanie telefoniczne daje też potencjalnie większe poczucie anonimowości respondentowi dzięki czemu może on czuć mniejsze skrępowanie, jeśli przypuszcza, że jego poglądy byłyby sprzeczne z poglądami ankietera (w szczególności, że go nie widząc, nie potrafi ocenić wieku, a co za tym idzie dokonać projekcji poglądów politycznych).

Wszystkie te argumenty przemawiają za realizowaniem szybkich i krótkich badań przez telefon a nie w kontakcie bezpośrednim. Powołana przez Organizację Firm Badania Opinii i Rynku Komisja pod przewodnictwem prof. Domańskiego potwierdziła (z pewnym zdziwieniem) fakt, ze badania telefoniczne są dokładniejsze niż f2f.

Warto więc nabrać dystansu do głosów krytycznych dotyczących badań telefonicznych wynikających z wyobrażeń dalekich od rzeczywistości a utrwalonych przez wieloletnią mizerię polskiego rynku telekomunikacyjnego. Stosowanie mixu telefonów stacjonarnych i komórkowych w próbie badawczej i dokładne warstwowanie dynamiczne podczas badania CATI jest obecnie gwarantem wysokiej reprezentatywności badania telefonicznego.

Dlaczego poparcie polityczne dla poszczególnych partii w wyborach parlamentarnych w Polsce można próbować przeliczyć na liczbę mandatów w sejmie, ale przewidywania dotyczące składu senatu są niemożliwe?

Od wyborów parlamentarnych 2011 roku wprowadzono nową ordynację wyborczą do parlamentu przewidującą 100 okręgów jednomandatowych w wyborach senackich. Okręgi jednomandatowe oznaczają, ze zwycięzca lokalnych wyborów „bierze wszystko” tzn.  otrzymuje jedyny mandat w danym okręgu. Jeśli więc w każdym okręgu starować będzie po czterech kandydatów, to ten który uzyska tylko nieco ponad 25% głosów, a żaden inny kandydat nie uzyska większego poparcia otrzyma mandat senatora. Jeśli sytuacja powtórzyłaby się we wszystkich (100) okręgach wyborczych, to komitet wyborczy posiadający 25% poparcia w skali kraju, może teoretycznie objąć wszystkie mandaty w senacie. Oczywiście sytuacja taka jest mało prawdopodobna, ale by przeliczyć poparcie partyjne w wyborach do senatu na mandaty należy wykonać 100 badań – dla każdego okręgu wyborczego odrębnie – co oznacza gigantyczną próbę badawczą. Jednakże lokalne badania wyborcze w poszczególnych okręgach są możliwe i pozwalają na dobre przewidzenie zwycięzcy w wyborach w okręgach jednomandatowych.

Co do sejmu, to podział mandatów odbywa się tam dość skomplikowana metodą, w poszczególnych (41) okręgach wyborczych. Jednakże uśrednienie wyników ogólnopolskich pozwala zwykle na podzielenie 460 mandatów dość precyzyjnie, choć przewidywane liczby mandatów w poszczególnych okręgach mogą czasem odbiegać od rzeczywistości.

Jak to możliwe, że badania różnych renomowanych firm badawczych, dotyczące tej samej kwestii, dają bardzo różne wyniki?

Powodów takiej sytuacji może być kilka.

a)    Choć liczbowe wyniki mogą się różnić, to uwzględnienie błędów pomiarowych może powodować, że oba wyniki nie różnią się statystycznie.

b)    Różny termin realizacji badania – nawet w przypadku jednoczesnego opublikowania wyników - może powodować, że badanie dotyczyło dwóch różnych sytuacji społeczno-politycznych. Jeśli wpływ bieżących wydarzeń na poglądy społeczeństwa jest duży, może się zdarzyć, że znajdzie to odzwierciedlenie w wynikach badania.

c)    Sposób zadawania pytań może mieć istotny wpływ na wyniki, zwłaszcza w kwestiach, w których respondenci mają zdecydowane poglądy. Szczególnie krytycznie należy oceniać pytania sugerujące.

d)    „Efekt porządku". Spore znaczenie ma kolejność zadawania pytań. To samo pytanie zadane "na zimno" (na początku badania) może dać inne wyniki niż zadane, jako "ciepłe" (po serii innych pytań na ten sam temat).

e)    Stosowana technika badawcza. Badania mogą być prowadzone przy użyciu różnych metod. Wyniki mogą się różnić zależnie od tego, czy pytania zadawane są osobiście przez ankietera podczas rozmowy face-to-face, czy podczas rozmowy telefonicznej czy też ankieta jest wysyłana przez Internet do samodzielnego wypełnienia. Zazwyczaj ankiety samowypełnialne powodują większą otwartość badanych na kwestie delikatne czy drażliwe, jednak te wypełniane bez nadzoru (Internet) dają respondentowi większą możliwość nieuczestniczenia w badaniu, a wiec zmniejszają reprezentatywność badania.

Każdorazowo w sytuacji konfliktu wyników różnych badań odbiorca powinien ocenić poszczególne ich aspekty i wyrobić sobie na tej podstawie zdanie o jakości danych i możliwych błędach systematycznych.  Warto też, jako nienaruszalną zasadę przyjąć porównywanie wyników tego samego autorstwa – a więc analizę trendów bazującą na wynikach osiąganych jedną metodologią, a nie odnosić się do różnic wynikających niejednokrotnie nie tylko z różnych metod badania, ale i sposobu prezentacji wyników (np. uwzględnienie w procentowaniu bądź pominięcie osób niezdecydowanych, na kogo głosować).

Jakie informacje o sondażu są potrzebne, aby stwierdzić czy badanie zostało zrealizowane profesjonalnie?

Instytut badawczy realizujący profesjonalne badanie sondazowe zawsze podaje do publicznej wiadomości następujące informacje:

a)    Nazwę instytutu / firmy realizującej badanie

Pozwala to na ocenienie zarówno potencjału metodologicznego jak i technicznego leżącego u podstaw badania

b)    Nazwę zleceniodawcy badania i/lub cel w jakim zostało zrealizowane

Jeśli brak takiej informacji - badanie należy traktować z ostrożnością, można bowiem podejrzewać stronniczość. Wbrew pozorom prawdziwe, czy przypisywane sympatie polityczne zleceniodawcy badania nie przekładają się w profesjonalnym badaniu na jego wyniki; czasem można je jednak wyczytać w komentarzach.

Firma badawcza powinna ujawnić treść zadawanych pytań, sposób ich zadawania (zamknięte / otwarte, wspomagane spontaniczne, etc.), a wyniki powinny być zaprezentowane w całości.

c)    Liczba osób która wzięła udział w badaniu

Wielkość próby ma wpływ na dokładność wyników. Ta zależność jest ścisła, jeśli próba jest losowa. Dlatego nawet mała próba, dobrana w sposób losowy i reprezentatywny, jest lepsza od próby większej, ale dobranej w sposób nielosowy.

Oceniając błąd szacunku poparcia trzeba zawsze brać pod uwagę liczbę osób, którym zadano pytanie o preferencje polityczne – zwykle dotyczy to tylko osób deklarujących chęć wzięcia udziału w wyborach, a więc zdecydowanie mniejszej liczby osób niż liczebność całej próby. Dlatego błąd takiego szacunku jest większy, niż gdyby brać pod uwagę wyłącznie liczebność całej próby.

d)    Sposób doboru respondentów

Instytut badawczy powinien podać definicję badanej populacji (pod względem demograficznym, terytorialnym czy innych kryteriów doboru), sposobu doboru respondenta oraz operatu losowania próby (bazy, z której wylosowano respondentów)

e)    Data realizacji badania

Interpretacja wyników powinna uwzględniać bieżące wydarzenia, które mają wpływ na poglądy polityczne respondentów.

f)    Sposób przeprowadzenia wywiadów

Istnieją trzy główne techniki realizacji badań sondażowych: wywiad bezpośredni – ankieta papierowa lub wywiad wspomagany laptopem (PAPI / CAPI), wywiad telefoniczny (CATI), ankieta internetowa (CAWI). Każda z tych metod ma swoje mocne i słabe strony, co ma wpływ na dostęp do pewnych kategorii respondentów. Może to mieć wpływ na ostateczne wyniki badania i dlatego nie powinno się porównywać wyników badań realizowanych różnymi technikami.

Co odróżnia sondaż od sondy?

Zarówno sonda uliczna jak i sms-owa obejmują swym zasięgiem ograniczony podzbiór badanej populacji (czy to przechodniów w kilku punktach miasta, czy to widzów / słuchaczy jakiegoś programu), zwykle z dość ograniczonym wpływem organizatora badania na obiektywizm wyboru uczestników sondy (decyzja o wysłaniu sms-a). W pewnych sytuacjach (przykładowo opinie na temat spraw lokalnych w mieście czy ocena audycji TV) ta technika jest wystarczająca. Nie nadaje się jednak do wnioskowania na ogólnopolską populację generalną, bowiem znaczna część tej populacji jest w ogóle pominięta w takim badaniu. W konsekwencji technika ta nie gwarantuje reprezentatywności próby.

Prawidłowo zaplanowany sondaż unika wszelkich powyższych niedociągnięć stanowiąc reprezentatywne badanie określonej populacji.

Czym jest badanie exit poll?

Badanie exit poll jest realizowane tylko podczas wyborów – prawidłowo przeprowadzony pomiar jest doskonałym źródłem informacji o zachowaniach wyborców w dniu głosowania. Badanie jest prowadzone w momencie, gdy respondent opuszcza lokal wyborczy tuż po głosowaniu. Można wtedy uzyskać najbliższe prawdy informacje o rzeczywistym zachowaniu wyborcy.

Sondaże przedwyborcze, nawet te prowadzone na dzień przed głosowaniem, nie pozwalają całkowicie wykluczyć możliwości zmiany zdania respondenta tuż przed wyborem i innego głosowania, niż zadeklarowane w badaniu.

Jednak nawet badanie exit poll jest narażone na wystąpienie różnych błędów pomiarowych:

  • Zwolennicy jednego kandydata, czy partii mogą chętniej ujawniać swoje preferencje polityczne niż zwolennicy innego kandydata / partii. Takie zjawisko różnego zachowania odmawiających udziału w badaniu jest szczególnie trudno oszacować w badaniu exit poll.
  • Niektóre osoby mogą rzeczywiście być przekonane, że głosowały na kandydata z danej partii, ale w niezamierzony sposób (przez pomyłkę) głosowały na kogoś innego lub oddały nieważny głos
  • Kluczową kwestią w exit poll jest dobór reprezentatywnej próby lokali wyborczych. Nawet, jeśli próba jest bardzo duża, może być narażona na błąd związany z jej nieprawidłowym warstwowaniem.