Marijn Krijger ⋆ 15 vragen om statistieken in het nieuws beter te snappen ⋆

Marketeers houden van statistieken. En van grafieken. Statistiek liegt niet. Toch is het raadzaam om niet alle statistieken te geloven. De nieuwsberichten staan er bol van, te pas en te onpas worden er cijfers bijgehaald om een standpunt te verduidelijken. Darrel Huff schreef in 1954 een boek over hoe te liegen met statistieken.

Cijfers, cijfers en cijfers

Kranten staan vol met resultaten van onderzoeken. Bedrijven lanceren het ene na het andere rapport en artikelen worden ondersteund met cijfers die uit wetenschappelijk onderzoek afkomstig zijn. Politici gebruiken doorrekeningen van het CPB en sociale media groeit al jaren hard. Zo kreeg de facebookpagina Pietitie in de eerste 24 uur 700.000 likes. Kan er dan van worden uitgegaan dat er in een week 7 x 700.000= 4,9 miljoen likes zijn?

15 vragen om statistieken in het nieuws beter te snappen

Om statistiek te doorgronden is er een aantal basisvragen:

Is de steekproef groot genoeg?
Zijn er genoeg mensen ondervraagd?
Is de steekproef representatief?
Zijn de juiste mensen ondervraagd?
Wie brengt de boodschap?
En heeft die toevallig ook het onderzoek betaald?
Zijn de ondervraagden betrouwbaar?
Ben jij altijd eerlijk bij enquêtes?
Wat voor soort gemiddelde wordt er gebruikt? En betekent dit iets?
- Het rekenkundig gemiddelde is de som van de getallen gedeeld door het aantal getallen,
- De mediaan is het midden van alle getallen,
- De modus is de meest voorkomende waarde/klasse
Waar wordt het mee vergeleken en is het een eerlijke vergelijking? Wordt het eigenlijk wel ergens mee vergeleken?
Wordt er een bandbreedte genoemd of een getal/percentage?
Het IQ is gemiddeld 100, maar beter kan er gezegd dat het ligt tussen de 90 en 110
Wordt er wel verteld wat er is onderzocht?
Op welke manier is de vraag gesteld?
Is er juist geëxtrapoleerd?
Zie het voorbeeld van de facebookpagina Pietitie
Staan er ook controleerbare cijfers of enkel percentages vermeld?
Een jaarlijkse omzetgroei is mooi, maar wat als er nou op een omzet van een miljoen elk jaar een of twee euro bijkomt? Er is dan een omzetgroei in absolute gevallen, maar het stelt weinig voor.
Klopt de grafiek?
Een verandering van 100 naar 101 naar 103 naar 104 is in een grafiek saai, als de x-as begint bij 100, lijkt er ineens een spectaculaire groei te zijn.
Causaal verband of correlatie?
Uit onderzoek bleek dat in gebieden waar veel ooievaars waren, de gezinsgrootte groter was. Dat komt natuurlijk doordat ooievaars dan meer kinderen bezorgen bij de gezinnen, toch? Of komt het omdat er op het platteland grotere gezinnen wonen en het een betere woonplek voor ooievaars is?
Waar stopt de positieve correlatie?
Meer zon zorgt voor meer energieopwekking door zonneenergie, de correlatie stopt als de maximale productiecapaciteit wordt bereikt.
Klopt een algemene uitspraak ook voor individuele gevallen?
Gemiddeld vinden hoger opgeleiden een baan met een bepaald salaris, dit wil niet zeggen dat die ene student dat salaris gaat verdienen.
Kloppen de berekeningen?
Een bedrijf heeft een omzet van 100 en een winst van 3. Een jaar later is de omzet nog steeds 100 en is de winst 6. Is de winst dan 6% van de omzet, of is de winst 100% hoger dan het jaar ervoor?

Leestip

Het boek van Darrel Huff “How to lie with statistics?” is nog steeds actueel en ik raad iedereen dit boek te lezen.Voor in het boek van Huff staat een aantal uitspraken over statistiek:

There are three kinds of lies: lies, damned lies and statistics. (Disraeli)

Round numbers are always false. (Samuel Johnson)

Wees kritisch

Lees elk bericht waarin cijfers worden genoemd goed door en wees kritisch op boodschapper, boodschap en interpretatie. En blijf leren hoe (web)statistieken worden verzameld en gebruikt.