Het 'gevaar' van onderzoek

27-03-2013 18:30

Enige tijd geleden heb ik in een blog de kracht van onderzoek benadrukt. Hoe overduidelijk een antwoord op een vraag in eerste instantie lijkt, onderzoek kan altijd vernieuwende, verhelderende of onverwachte inzichten geven. Geen wonder dat er zo veel onderzocht wordt in de wereld. Echter zijn conclusies soms heel snel getrokken. Te snel wat mij betreft.

Een tamelijk onschuldig voorbeeld hiervan vond ik vorige week terug op de voorpagina van De Telegraaf. Ook is het artikel in verkorte vorm op telegraaf.nl verschenen. En het was kennelijk zulk opmerkelijk nieuws dat er bij de TV variant van deze krant, het programma Vandaag de dag, een item was over dit nieuws. Even googelen leert tot slot dat diverse kranten het nieuws hebben overgenomen en er online en/of in de papieren krant aandacht aan hebben besteed. Waar het over ging? Over een onderzoek in opdracht van een grote leasemaatschappij waarin het rijgedrag van mannen en vrouwen met elkaar werd vergeleken. Conclusie: vrouwen zijn grotere snelheidsduivels dan mannen.

Laat ik voorop stellen dat men bij het onderzoek zeker niet over één nacht ijs is gegaan. Het steekproefaantal was namelijk maar liefst 120.000. Er zijn zat onderzoeken waarbij conclusies zijn getokken aan de hand van een veel geringere hoeveelheid gegevens. Over de analyse van de gegevens kan ik helaas weinig zeggen. Ik ben er namelijk niet bij betrokken geweest en lees enkel de meest in het oog springende resultaten in de krant. Daarom ga ik er maar gewoon van uit dat alles grondig is bestudeerd en geanalyseerd. Wel zo gemakkelijk.

Dan is die analyse eenmaal gedaan en moet een mooi bericht gemaakt worden dat het liefst door zo veel mogelijk media wordt opgepikt. En dus wordt gezocht naar opvallende of zeer in het oog springende resultaten. En bij het voornaamste resultaat dat wordt gepresenteerd in de berichtgeving gaat het in mijn ogen echt mis. De belangrijkste conclusie is namelijk dat vrouwen meer scheuren in de auto dan mannen, in die zin dat ze per gereden kilometer meer snelheidsbekeuringen scoren dan mannen. Ook rijden vrouwen vaker door rood dan mannen. Opzienbarend en opvallend, dat is zeker. Maar een juiste conclusie op basis van de steekproef? Nee, zeker niet.

Het onderzoek is namelijk gebaseerd op gegevens afkomstig van een lease maatschappij. En dus is enkel gekeken naar de leaserijder. En wie zegt mij dat deze personen zich in het verkeer exact hetzelfde gedragen als alle overige automobilisten? Niemand. Ik acht de kans ook zeer klein dat het rijgedrag exact hetzelfde is. En dus kan op basis van een analyse van het rijgedrag van de leaserijder niet gegeneraliseerd worden. Vrouwen rijden dus niet harder dan mannen en rijden ook niet vaker door rood dan mannen. Vrouwen met een lease auto wel. Ook opvallend.

Op deze manier conclusies trekken, is hetzelfde als onderzoek doen naar producten die men koopt in de supermarkt en dan alleen maar klanten van Albert Heijn betrekken in het onderzoek. Of onderzoeken hoe de gezinssituatie in Nederland is en enkel kijken naar mensen met een koopwoning. Dat levert vast opvallende resultaten op, maar deze zijn niet statistisch generaliseerbaar. Onderzoek doen is leuk en is in mijn ogen een belangrijk instrument om inzicht te krijgen. Het is wel altijd opletten bij het trekken van conclusies. De hand kan, zoals in dit voorbeeld blijkt, overspeeld worden. Wel een mooie opzet voor een onderzoek trouwens: alle gegevens van het CJIB analyseren om te bekijken hoe het nu echt zit met het rijgedrag van mannen en vrouwen.