Cu ocazia alegerilor din vară am realizat două analize cu privire la calitatea estimărilor produse de sondaje (vezi aici și aici). Cred că astfel de analize sunt importante din mai multe puncte de vedere și pentru diferite tipuri de actori (publicul larg, institutele de sondaje, beneficiarii actuali și potențiali ai acestora).
Dat fiind faptul că realitatea măsurată de sondaje este adesea fluidă, e important să distingem între sondajele realizate cu mai multe săptămâni înainte de alegeri, cele realizate în săptămâna anterioară alegerilor și cele realizate în ziua alegerilor. Suplimentar, aceste alegeri au făcut notă discordantă ca urmare a unor intervenții majore exercitate de factori externi, cu precădere în ultima săptămână, zilele de vineri-duminică îndeosebi. Prin urmare, mă aștept ca diferențele dintre estimări și rezultatele oficiale să fie mai mari decât de obicei, inclusiv în cazul sondajelor din ziua alegerilor, chiar dacă diferențele vor scădea pe măsură ce ne apropiem de acea zi.
Pentru a ține cont de aceste aspecte, am separat analiza în trei secțiuni: sondaje realizate în primele trei săptămâni de campanie, sondaje realizate în ultima săptămână de campanie și sondaje realizate în ziua votului. Suplimentar, am adăugat o analiză a estimărilor produse prin agregarea datelor de sondaj, respectiv prin modelarea acestor estimări (modelul realizat de mine și publicat în ziua de vineri).
Am considerat doar candidații care au obținut un procent semnificativ de voturi: Ciolacu, Lasconi, Simion, Ciucă, Georgescu, Geoană, Diaconescu, Kelemen și Altul (restul candidaților împreună). Dată fiind situația neobișnuită întâlnită în cazul acestor alegeri, am calculat diferențele în două variante: cu și fără candidatul Georgescu. Desigur, excluderea lui Georgescu elimină doar o parte din efectul produs de evoluția ascendentă rapidă a votului pro Georgescu.
Pentru a măsura calitatea estimărilor am folosit două măsuri: MAE și RMSE. MAE (mean average error) se referă la media erorilor absolute, eroarea fiind definită ca diferența absolută dintre procentul estimat de sondaj și procentul obținut conform BEC. O astfel de măsură indică distanța medie dintre estimările produse de sondaje și rezultatele finale. RMSE (root mean squared error), rădăcina medie pătratică a erorilor, se calculează ca radical de ordinul doi din suma erorilor ridicate la pătrat.
În cazul ambelor măsuri, o valoare mai mare indică o diferență (~ eroare) medie mai mare între estimări și rezultatul oficial. Doar diferențele mai mari de trei puncte procentuale pot fi considerate problematice (două puncte procentuale în cazul sondajelor realizate pe eșantioane mari – minimum 2000 „cazuri efective” = numărul cazurilor recalculat pentru situația în care eșantionul a fost de tip SRS (simple random sample), adică simplu aleator.
Sondajele realizate în primele trei săptămâni de campanie au produs estimări destul de diferite față de rezultatele oficiale. În acest caz nu e vorba de erori, ci mai degrabă de diferențe față de rezultatele finale. Dat fiind faptul că realitatea s-a schimbat foarte mult pe parcursul campaniei, era de așteptat ca sondajele realizate în urmă cu câteva săptămâni să producă estimări diferite față de rezultatele oficiale.
În varianta fără Georgescu, diferențele scad mult și se apropie, mai mult sau mai puțin, funcție de institut, de o diferență medie de trei puncte procentuale. Important, estimările institutelor sunt influențate și de numărul de zile până la alegeri – sondajele au fost realizate în perioade diferite în interiorul celor trei săptămâni. De exemplu, ultima zi de teren în cazul Sociopol a fost 8 noiembrie, iar în cazul Verifield 14 noiembrie.
Sondajele realizate în ultima săptămână au fost mult mai precise în medie. În varianta care îl include și pe Georgescu, diferențele medii depășesc uneori pragul de trei puncte procentuale, ajungând până la 4-5 puncte procentuale. În varianta fără Georgescu, diferența medie este în cele mai multe situații mai mică de trei puncte procentuale.
Important: sondajul Brainactive a fost publicat a doua zi după alegeri.
Ce se întâmplă dacă facem o medie a estimărilor din sondaje, respectiv dacă realizăm un model care ia în calcul, alături de alte informații, estimările din sondaje? Și în acest caz am distins între sondajele din săptămâna de campanie și cele mai vechi. Observăm că o medie a sondajelor din primele trei săptămâni de campanie (Medie 1) produce diferențe destul de mari, dar este de preferat sondajelor individuale.
O medie a sondajelor din săptămâna anterioară alegerilor (Medie 2) a produs o estimare medie destul de bună, mai ales atunci când Georgescu a fost exclus din analiză. Modelul nu a performat la fel de bine, dar a produs o diferență medie mai mică de trei puncte procentuale. Prin urmare, dacă dorim să știm care sunt intențiile de vot, cel mai bine e să facem o medie a sondajelor din ultima săptămână de campanie. Dacă există, un model, bazat pe sondaje plus alte informații, poate fi util. Dacă procedăm astfel, riscul mediu de a greși și, mai ales, riscul de a greși în cazul anumitor candidați, e mai mic comparativ cu situația în care ne raportăm la un singur sondaj.
Sondajele din ziua votului au produs, evident, cele mai bune estimări. Da, au fost erori mari în cazul candidatului Georgescu, dar, media erorilor a fost în toate cazurile mai mică de trei puncte procentuale. Din nou, în varianta fără Georgescu, erorile au fost, în general, ceva mai mici (doar în cazul Sociopol eroarea medie a fost mai mare atunci când l-am exclus pe Georgescu). Cea mai mică eroare medie apare în cazul Inscop, cu mențiune că estimările realizate de acest institut au fost făcute publice câteva ore mai târziu față de celelalte (nu exclud posibilitatea ca unii jurnaliști să le fi avut și/sau să le fi prezentat public ceva mai devreme).
Important: sondajul Inscop a fost publicat pe FB la patru ore după închiderea urnelor; toate celelalte sondaje au fost publicate în intervalul orar 21-22.
În graficele anterioare, distanța dintre estimări și realitate este calculată ca medie a unor diferențe absolute. Pentru o imagine completă, e necesar să ne uităm și la diferențele punctuale observate în cazul candidaților majori (cei care au obținut mai multe procente). Procedând astfel, putem vedea și sensul diferențelor, respectiv putem face unele inferențe cu privire la sursa erorilor. Astfel, putem observa dacă un candidat a fost sub-estimat sau supra-estimat, dacă un eventual efect de acest tip variază sau nu în funcție de institut și/sau tehnica de sondaj. Pentru a nu lungi prea mult analiza, prezint doar datele cu privire la sondajele realizate în ziua votului.
Observăm că, indiferent de institut, Georgescu a fost sub-estimat, iar Ciolacu a fost supra-estimat. Suplimentar, erorile au fost mai mari în cazul sondajelor realizate la ieșirea de la urne (ceea ce numim exit-poll). E puțin probabil ca eroarea sondajelor de tip exit-poll să fie cauzată de eroarea de eșantionare (a se vedea postarea lui Cătălin Stoica de pe FB care arată că eșantionul de secții utilizat de CURS a reprodus foarte bine rezultatul final; în cazul CIRA-Avangarde nu știm dacă eșantionul de secții de vot a fost la fel de bun).
Pe baza acestor observații putem deduce că, în cazul celor doi candidați, eroarea totală de estimare a avut o cauză generală. Foarte probabil e vorba despre ascunderea opțiunii de vot pe diferite căi: (1) rata diferită de acceptare a participării la sondaj, (2) rata diferită de declarare a opțiunii de vot și (3) unii votanți au declarat altă opțiune decât cea reală. Suplimentar, foarte probabil a existat și un efect de metodă (cati versus față-în-față la urne) și/sau institut (doar pe baza datelor disponibile, nu putem distinge între aceste efecte).
Procentul obținut de Lasconi a fost estimat corect sau cu mici erori de supra-estimare (Sociopol). Procentul obținut de Ciucă a fost supra-estimat de sondajele la urne (CURS, CIRA-Avangarde), deci, și în acest caz a existat un factor care a acționat sistematic și a distorsionat estimările, similar cu ceea ce am observat în cazul candidatului Ciolacu.
Mă refer la efectul indus de combinația dintre metodologie (sondaj față-în-față la urne) și ascunderea opțiunii de vot. Sondajele telefonice (cati) au supra-estimat opțiunea de vot pentru Simion (nu și cele la urne). În cazul sondajului Sociopol, aproape sigur a existat și o altă sursă de eroare decât cea produsă de tehnica de colectare a datelor (doar așa ar putea fi explicată diferența de șase puncte procentuale dintre estimare și rezultatul oficial în cazul lui Simion).
Important: sondajul Inscop a fost publicat pe FB la patru ore după închiderea urnelor; toate celelalte sondaje au fost publicate în intervalul orar 21-22.
Un comentariu final, aparent marginal, dar extrem de important, cu privire la transparența sondajelor din România.
Transparența este un criteriu important în funcție de care putem evalua calitatea unui sondaj și profesionalismul unui institut de sondaje.
Prin transparență mă refer la tipul de informații care sunt făcute publice, alături de selecția de grafice, și la gradul de detaliere al acestor informații. În cazul sondajelor politice din România, cel mai adesea, sunt prezentate doar informații minimale, fără prea multe detalii și fără să fie acoperite o serie de informații care sunt foarte importante pentru cineva care dorește să analizeze calitatea datelor produse. Puține institute publică un raport pe propriul site, deci analizele pot fi făcute doar pe baza informațiilor care apar în media.
În cazul sondajelor din ziua votului, lucrurile stau chiar și mai rău. Cu referire la ultimele alegeri, nu am găsit niciun raport pe site-ul unui institut, prin urmare am fost nevoit să mă bazez doar pe ceea ce a apărut în media (sau pe FB). O astfel de practică e problematică, cel puțin pentru faptul că, uneori, datele prezentate diferă de la o sursă media la alta. Problema nu e deloc una nouă. A fost semnalată în urmă cu zece ani de Bogdan Voicu într-o serie de postări.
S-a schimbat ceva între timp? Sigur da. Din păcate schimbarea a fost în rău. Dacă în urmă cu zece ani mai apărea pe ici pe colo o descriere sumară a metodologiei sondajelor din ziua votului, în prezent nu mai avem nici măcar atât.
