De enorme invloed van de media op verkiezingsuitslagen (deel 2)

Op het eerste deel van deze serie heb ik behoorlijk wat reacties gehad. De trend in de reacties was dat mensen meer informatie willen weten over hoe het allemaal zit. Daarom heb ik de meest belangrijke reacties er tussenuit gepikt en gebruikt om nog wat meer informatie te analyseren.

Is Samson wel de meest prominente PvdA’er?

In het oorspronkelijke experiment is gekeken naar de naam van de lijsttrekker icm. de naam van de partij. Bij alleen de PvdA gaf dit een groot verschil tov. de werkelijkheid. Daarom kreeg ik de vraag of we wel moesten kijken naar Samson, of dat het beter is om te kijken naar meer mensen.

Het experiment is daarom aangepast; in het geval van de PvdA is de lijst uitgebreid met de namen: Bouwmeester, Bussemaker, Cegerek, Dijsselbloem, Kerstens, Klijnsma, Plasterk, Samsom, Asscher en Timmermans. Dit gaf geen significant verschil.

Moet de media wel onafhankelijk zijn?

Kranten zoals de Trouw en de Volkskrant staan erom bekend dat ze “biased” zijn naar een politieke voorkeur. Ik kreeg daarom de opmerking dat het logisch is om te constateren dat de media niet onafhankelijk is en we dit ook niet verwachten.

De data die hier gebruikt zijn, zijn echter gebaseerd op de data van de NOS. De doelstelling van de NOS staat op de website en is vastgelegd in de mediawet:

De NOS is als publieke omroep verantwoordelijk voor een brede nieuwsvoorziening die betrouwbaar is en onafhankelijk. De taken van de NOS staan omschreven in de Mediawet: […]

Uit het onderzoek komt echter dat de NOS niet onafhankelijk is. Dit zou betekenen dat de NOS zich niet houdt aan haar wettelijke taak en (door de manier waarop de kerntaak vorm is gegeven) inwoners van Nederland (wellicht onbewust) beïnvloed.

Hoe zit het als meerdere partijen worden genoemd in de media?

Een interessant geval treedt op als meerdere partijen worden genoemd in hetzelfde nieuwsbericht. Een van de mogelijke redenen is immers dat door de media standaard een of twee partijen (of standaard combinaties van partijen) worden gevraagd om hun mening.

Het is uiteraard logisch om te veronderstellen dat als er een “links onderwerp” wordt behandeld, vooral de “linkse partijen” worden geïnterviewd. In 1233 gevallen worden er inderdaad 4 partijen genoemd in hetzelfde bericht.

In de volgende tabel heb ik geprobeerd om inzichtelijk te maken hoe de partijen samen worden genoemd:

Als voorbeeld: als GroenLinks wordt genoemd in een bericht, valt op dat in 71% van de gevallen ook de SP wordt genoemd. Wat duidelijk opvalt in de tabel is dat de VVD (67%!) relatief veel wordt genoemd, onafhankelijk welk onderwerp het betreft. De Partij voor de Dieren wordt het minst genoemd in combinatie met andere partijen. Het is opvallend dat de CDA, VVD, PvdA en PVV meer dan 10% vaker genoemd worden dan andere partijen.

Media versus peilingen

Tijdens de periode voor de verkiezingen worden er ook door verschillende partijen peilingen gedaan. De vraag hier was daarom: als de media zo goed de uitslag kan voorspellen – kan het onderzoek dat dan ook?

De achterliggende redenering hierbij is dat peilingen invloed kunnen hebben op het stemgedrag van mensen. Als de peilingen daarnaast niet kloppen, kan dit een extra factor zijn in de beïnvloeding van de keuze van mensen.

Voor dit onderzoek is gekeken naar de peilingen van IPSOS in de periode 16 januari 2012 t/m 11 september 2012. Als er een sterke correlatie is tussen deze twee, zien we dit aan een constante (absolute) foutmarge. De getallen op de peilingen zijn vervolgens vergeleken met de getallen die uit de media zijn achterhaald.

In de praktijk bleek hier de volgende fout naar voren te komen:

Zoals duidelijk te zien is in de grafiek, neemt de fout gedurende de periode met 10 zetels toe ipv. af. Dit is echter heel vreemd: op basis van goed statistisch onderzoek zou je juist het tegenovergestelde gedrag verwachten. Er is daarom dieper gekeken naar de onderliggende oorzaak.

Als verder wordt gekeken naar de fout van de individuele partijen tov. de IPSOS peiling, valt het volgende op:

De fout bij D66, VVD, SGP, ChristenUnie en Partij voor de dieren is in de marge. Vreemd genoeg worden blijkbaar de grootste fouten gemaakt bij de peilingen van de linkse partijen (de fout is overigens in deze gevallen vrijwel altijd positief). De gevonden fout hier is vele malen groter dan wat je statistisch gezien zou mogen verwachten. Deze constatering kan maar op 2 manieren worden verklaard:

  • Mensen die stemmen op linkse partijen zijn structureel minder eerlijk bij de onderzoeken. Dit zou betekenen dat de peilingen niet objectief zijn.
  • De peilingen van IPSOS worden niet op basis van een representatieve steekproef gemaakt. Ook dit zou betekenen dat de peilingen niet objectief zijn.

Vwb. (1) heb ik geen psychologisch onderzoek kunnen vinden die dit ondersteund. Vwb. (2) is het noodzakelijk om te kijken naar de manier waarop de steekproef werkt. Hierover is op de website van IPSOS het volgende gevonden:

[…] Voorafgaand daaraan, vanaf dinsdagmorgen tot en met donderdagmiddag, worden 1000 personen uit het online-panel van Ipsos ondervraagd.

Daarnaast worden op continue basis de politieke voorkeuren telefonische gemeten, zodat ook de mensen die niet via internet bereikbaar zijn in de peiling worden betrokken betrokken. Elke dag, met uitzondering van zondag, wordt de politieke voorkeur van 100 Nederlanders telefonisch gepeild. De steekproef komt tot stand door middel van Random Digit Dialing. Hierbij genereert de computer willekeurige telefoonnummers samen.

Ipsos beschrijft niet hoe beide onderzoekmethoden worden gecombineerd. Wel wordt aangegeven dat het Internet-onderzoek de basis vormt en dat het telefonisch onderzoek enkel wordt gebruikt om het Internet-onderzoek aan te vullen met gegevens van groepen die slecht vertegenwoordigd zijn op het Internet.

De grootte van de steekproef is gekozen op ongeveer 1000 mensen. Deze grootte volgt (ongeveer) uit de grootte die een aselecte binaire steekproef moet hebben om representatief te zijn voor een populatie van Nederland. Dit kan echter niet de enorme verschillen bij GroenLinks en de SP verklaren.

Daarom constateer ik dat het probleem met de IPSOS peiling is dat de populatie die gebruikt wordt niet willekeurig (genoeg) is om een betrouwbare peiling te zijn.

De enorme invloed van de media op verkiezingsuitslagen

Een welbekende kreet in de marketing is “alle reclame is goede reclame”. Het is daarom logisch om te stellen dat een oneerlijke verdeling in media-aandacht zich direct laat vertalen in de stem van het volk.

In Nederland zijn we heel trots op onze onafhankelijke, objectieve journalistiek, waarbij de kritiek op landen als Turkije is dat inmenging van de politiek in de journalistiek niet moet kunnen (omdat hierbij de onafhankelijkheid in het gedrang komt). De vraag die hier wordt onderzocht is: hoe onafhankelijk en objectief is onze eigen journalistiek nu werkelijk?

Om hier een uitspraak over te kunnen doen, is onderzocht in hoeverre we een verkiezingsuitslag (Tweede Kamer, 2010/2012) kunnen voorspellen op basis van een scheve aandacht in de media ten gunste van specifieke politieke partijen. Als de journalistiek volledig onafhankelijk is, verwachten we dat er geen correlatie te vinden is tussen media-aandacht en de verkiezingsuitslagen.

Dataset

Als dataset is het NOS nieuws genomen vanaf 1-1-2010 (Bron: http://nos.nl/nieuws/archief/2010-01-07/ ). Data van voor 1-1-2010 is helaas niet beschikbaar. Voor alle berichten is gekeken naar de full tekst content en de titel. Andere (meta) informatie is niet meegenomen.

Frequentieanalyse

Het meest eenvoudige onderzoek dat we kunnen doen is om simpelweg te kijken in hoeveel berichten de verschillende politieke partijen worden genoemd. Als observatie daarbij kunnen we meenemen dat vooral de (achternamen van) lijsttrekkers in de media worden genoemd zonder de partij zelf ook te noemen. Daarnaast moeten we rekening houden met afkortingen. Dat leidt tot de volgende zoekvragen:

Partij

Zoekvraag

VVD

VVD OR Rutte

PvdA

PvdA OR Samsom

PVV

PVV OR Wilders

CDA

CDA OR Buma

SP

SP OR “Socialistische Partij” OR Roemer

D66

D66 OR Pechtold

GroenLinks

GroenLinks OR “Groen Links” OR Sap

ChristenUnie

ChristenUnie OR Slob

SGP

SGP OR Staaij

Partij voor de Dieren

PvdD OR “Partij voor de Dieren” OR Thieme

 

Woorden en phrases worden hierbij gebruikt als zoekvraag; delen van woorden worden niet meegenomen aangezien deze geen betekenis hebben in taal (e.g. SP zal dus niet matchen op SpaceX).

Op 12-9-2012 waren de Tweede Kamer verkiezingen. Deze zoekvragen zijn daarom uitgevoerd op de dataset van 1-1-2010 t/m 12-9-2012. Vervolgens is gekeken hoeveel procent van de mensen stemt op een politieke partij op basis van zuiver deze frequentie (“verwacht”) en is dit vergeleken met de verkiezingsuitslag (“werkelijk”). De resultaten vind u in deze tabel:

Partij

Aantal berichten

Verwacht %

Uitslag 2010 (%)

Uitslag 2012 (%)

VVD

2772

20.2

20.7

26.58

PvdA

1879

13.7

20.0

13.83

PVV

2308

16.8

16.0

10.08

CDA

2192

16.0

14.0

8.51

SP

1152

8.4

10.0

9.65

D66

1079

7.9

6.7

8.03

GroenLinks

1112

8.1

6.7

2.33

ChristenUnie

600

4.4

3.3

3.09

SGP

353

2.6

1.3

7.85

Partij voor de Dieren

278

2.0

1.3

2.70

Zetels voor de PvdA

Wat direct opvalt, is dat vrijwel alle partijen hetzelfde patroon vrij precies volgen.

De uitschieter hier is de PvdA; alle andere partijen matchen netjes met de verwachting. De vraag is dus: wat is er aan de hand met de PvdA in de kabinetsperiode? Heel bijzonder is dat voor de PvdA de verwachting heel sterk correleert met de hoeveelheid media-aandacht en voor alle andere partijen de verwachting correleert met de hoeveelheid stemmen van de afgelopen verkiezing.

Belangrijk om te observeren is dat het hier niet gaat om extreem kleine verschillen! Verwacht en werkelijk zitten in veel gevallen minder dan 1% naast elkaar.

Conclusie

Het is bijzonder om te moeten constateren dat de media sterk schrijft naar rato van de afgelopen verkiezingsuitslag.

De stelling “alle reclame is goede reclame” lijkt echter statistisch gezien niet met alle partijen te kloppen; deze klopt wel met de verkiezingsuitslag van de PvdA.

Net zoals bij alle statistische onderzoeken kunnen deze resultaten het gevolg zijn van een derde factor; desalniettemin kloppen de statistieken zo precies, dat het lastig te ontkennen is dat de invloed van de media op de verkiezingsuitslag enorm is. Daarmee lijkt op basis van dit eenvoudige onderzoek de vraag gerechtvaardigd of het gelijkheidsprincipe zoals dit worden beschreven in artikel 21 van de universele rechten van de mens in het geding is. Verder onderzoek is nodig om te kijken of een derde factor de onderliggende oorzaak is.

In alle gevallen is het onmogelijk om te stellen dat de politieke partijen gelijkwaardig worden vertegenwoordigd in de (publieke) media.

Hoe de stemwijzer uw stem beïnvloed

Democratie is belangrijk voor de bevolking, omdat het mensen in staat stelt hun collectieve mening te vertalen naar beleid. Daarom is het juist belangrijk dat democratie volledig objectief gebeurt en dat alle partijen gelijke kansen hebben om verkozen te worden.

De basis van de democratie is dat alle mensen hun eigen mening objectief kunnen bepalen. In werkelijkheid nemen de meeste mensen echter niet de tijd om de verkiezingsprogramma’s te lezen van de verschillende partijen, maar stemmen ze op een partij om andere redenen. Bij onderzoek onder willekeurige mensen wordt hierbij als een van de belangrijkste redenen gegeven dat het advies van de stemwijzer ( www.stemwijzer.nl ) wordt opgevolgd.

De vraag die ik stel hier is hoe onafhankelijk dit advies in werkelijkheid is.

Hoe de stemwijzer werkt

De stemwijzer werkt op basis van 30 onderwerpen. Per onderwerp krijg je als gebruiker een keuze, die je als ‘eens’ (1), ‘geen van beiden’ (0), of ‘oneens’ (-1) kan beantwoorden. Na 30 onderwerpen geeft de stemwijzer je de keuze om bepaalde standpunten extra gewicht te geven. Hierna geeft de stemwijzer je een advies.

Voor ieder onderwerp zijn de standpunten van de verschillende partijen uit de partijprogramma’s gehaald. Hieraan is ook een gewicht van 1, 0 of -1 gegeven. Als het standpunt overeenkomt met de keuze van de gebruiker, krijgt de partij een gewicht van 1 (of 2 indien de gebruiker dit extra belangrijk vindt), anders 0. Op die manier krijgt de gebruiker voor iedere partij een score.

Vervolgens wordt deze lijst van scores gesorteerd en aan de gebruiker gepresenteerd.

Het experiment

De gebruiker verwacht dat de stemwijzer hierbij een objectief en onafhankelijk advies vormt. Als gebruikers allemaal willekeurige dingen zouden invullen, zouden we dus verwachten dat alle partijen hetzelfde aantal stemmen zouden krijgen. Indien dit niet het geval is kunnen we constateren dat de stemwijzer mensen beïnvloed om een bepaalde stem uit te brengen.

Als brongegevens zijn de data van de Tweede Kamer verkiezingen van 2012 genomen van de Stemwijzer (bron: http://www.stemwijzer.nl/TK2012/js/data.js ) en is in de applicatie gekeken hoe de scores tot stand komen (bron: http://www.stemwijzer.nl/TK2012/js/app.js ). De resultaten zijn vervolgens vergeleken met de verkiezingsuitslag genomen, die te vinden is op: https://nl.wikipedia.org/wiki/Tweede_Kamerverkiezingen_2012 .

Voor het experiment zelf is een programma geschreven, die simuleert wat er bij willekeurige input gebeurt. In hoofdlijnen werkt het als volgt:

  • Zolang er statistisch significante verschillen zitten in de uitslag (met een minimum van 1.000 simulatie rondes = simuleer 1.000.000 mensen):
    • Doe een simulatie van 1.000 mensen die op een volledig willekeurige manier de stemwijzer invullen.
    • Neem telkens het eerste advies dat de stemwijzer geeft. We doen dus de aanname dat mensen het advies simpelweg volgen.
  • Toon de uitslag van onze gesimuleerde verkiezingen.

Uiteraard staat het u vrij om zelf het experiment te controleren en eventueel te herhalen. Het programma is gedocumenteerd, open source en op https://github.com/atlaste/stemwijzer te vinden.

Resultaten

De resultaten van het programma worden hier uitgelegd:

  • Samples: 1000,conversion: 0.0009%
  • Converged. Verwachte fout: (3 σ ~ 99,73% accuracy) = 3.58%

Deze informatie wordt bijgewerkt tijdens de simulatie. Als de data geconvergeerd is betekent dit dat er geen significante wijzigingen meer optreden in de resultaten als gevolg van meer simulaties. Daarnaast verwachten we dat ongeveer 99% van de werkelijkheid maximaal 3,58% afwijkt onder de aanname van een standaardnormale verdeling (per steekproef).

Partij

Verwacht

Uitslag 2010

Verschil 2010

Uitslag 2012

Verschil 2012

VVD

18.01%

20.67%

2.66%

26.58%

8.57%

PVV

12.76%

16.00%

3.24%

10.08%

2.68%

D66

12.20%

6.67%

5.54%

8.03%

4.17%

PvdA

11.01%

20.00%

8.99%

24.84%

13.83%

CDA

10.66%

14.00%

3.34%

8.51%

2.15%

SGP

9.94%

1.33%

8.61%

2.09%

7.85%

GroenLinks

7.30%

6.67%

0.63%

2.33%

4.97%

SP

7.27%

10.00%

2.73%

9.65%

2.38%

ChristenUnie

6.22%

3.33%

2.89%

3.13%

3.09%

Partij voor de Dieren

4.63%

1.33%

3.30%

1.93%

2.70%

 

Conclusies

Is de stemwijzer onafhankelijk?

In de ideale situatie zouden alle partijen een gelijk verwacht percentage aan stemmen krijgen, wat gelijk is aan 100% / 10 partijen = 10%. Zoals te zien is, is dit absoluut niet het geval. Dit is statistisch zeer significant en we achten het daarom bewezen dat de stemwijzer niet onafhankelijk is.

Beinvloed de stemwijzer de verkiezingsuitslag?

Het programma berekent de verkiezingsuitslag als mensen gewoon willekeurige dingen zouden invoeren. Als de stemwijzer bepalend is voor de verkiezingsuitslag, zouden de resultaten verwachte en werkelijke uitslag met elkaar moeten correleren. De relevante uitslagen (<3 σ) zijn bold en rood gemaakt in de tabel. De grote uitzonderingen hier zijn de uitslag van de D66, de PvdA en de SGP. Alle andere partijen lijken te corresponderen met de uitslag.

Hoewel hiermee niet onomstotelijk is aangetoond dat de stemwijzer de verkiezingsuitslag beïnvloed (er kan een derde factor meewegen), geeft het wel aan hoe dicht de getallen bij elkaar liggen. Dit betekent dat we de kans groot achten dat de bias in de stemwijzer de verkiezingsuitslag beïnvloed.