Werken trainingen die jongeren gezond gedrag aanleren? Het oordeel komt vaak van onderzoekers die de trainingen zelf maakten
„Wij van WC Eend adviseren WC Eend.” Deze klassieke reclame, met een laboratoriumonderzoeker in witte jas in beeld, is vaak van toepassing op trainingen en cursussen die jongeren van de drank, sigaretten, drugs en ongezond eten moeten afhouden. Ze worden vaak aangeprezen als ‘bewezen effectief’, maar 80 procent van de onderliggende onderzoeken is uitgevoerd door de ontwikkelaars van de training, of door mensen die een licentie hebben gekocht om de training te mogen geven.
Dat ontdekte Ferry Goossens van het Trimbos-instituut. Hij promoveert vrijdag in Utrecht op een onderzoek naar de effectiviteit van preventieprogramma’s voor jongeren. Met die belangenverstrengeling wordt nu nog geen rekening gehouden bij de beoordeling van de programma’s. Het wordt tijd dat wel te gaan doen, vindt Goossens.
De dubbelrol van onderzoeker en financieel belanghebbende is in potentie zorgelijk, vindt Goossens. „Als onderzoekers zelf verweven zijn met de methode die zij onderzoeken kan dat bewust of onbewust leiden tot een gunstiger uitkomst. Daarnaast kan de uitkomst gunstiger zijn doordat die belanghebbenden als geen ander weten hoe de methode het beste werkt. Onder normale omstandigheden in dagelijkse praktijk kan de opbrengst dan lager uitvallen.”
Het gaat om de onderzoeken die het bewijs leveren voor de werkzaamheid van trainingsprogramma’s die zijn opgenomen in de Databank Effectieve Jeugdinterventies (zie onder de tekst).
Goossens ontdekte dat van de 26 trainingsprogramma’s die hij onderzocht de vier met de beste beoordeling die de databank kent („sterke aanwijzingen voor effectiviteit”) allemaal onderzocht zijn door belanghebbenden. Onafhankelijke onderzoekers vinden vaak kleinere effecten.
Goossens heeft geen aanwijzingen dat de onderliggende onderzoeken bewust gemanipuleerd worden. Waarschijnlijk ligt de beïnvloeding subtieler, zegt hij: „Bijvoorbeeld door tijdens het onderzoek tien keer een keuze te maken die op zichzelf legitiem is, maar wel steeds ten gunste van de uitkomsten.”
In heel veel onderzoeken werden mogelijk conflicterende belangen niet vermeld, terwijl dat inmiddels toch gangbaar is in de wetenschap. Maar ook dat is geen kwade opzet, denkt Goossens: „Het gaat hier niet projecten waar grote winsten mee worden gemaakt. De meeste onderzoekers zijn zich niet bewust van hun dubbelrol. Pas toen ze hoorden van mijn onderzoek realiseerden ze zich dat het een potentieel probleem is.”
Goossens werd op het spoor gezet om belangenverstrengeling breed te gaan onderzoeken, nadat het hem was opgevallen dat sommige onderzoekers wel heel positief waren over de uitkomsten van een interventie die ze zelf bedacht hadden. „Ik had vooraf wel verwacht dat er iets mee aan de hand zou zijn, maar het verraste mij toch wel dat het uiteindelijk zo duidelijk naar voren kwam. Het is best een stevig verband.”
In een reactie op de bevindingen van Goossens die in juni vorig jaar in het blad De Psycholoogwerden gepubliceerd, stelde projectleider Machteld Zwikker van het Nederlands Jeugdinstituut dat er tot dusver „bewust voor is gekozen” strikte onafhankelijkheid van de onderzoekers niet mee te nemen als criterium voor erkenning voor de databank. Maar, erkende zij ook, het „helder scheiden van rollen in effectonderzoek is nodig”.
Goossens vindt het nu tijd om „de lat een stukje hoger te leggen”. Binnenkort organiseert de promovendus een symposium met wetenschappers, onderzoeksfinanciers en vertegenwoordigers van de databanken over hoe dit het beste ingevoerd kan worden. Goossens: „Ik denk dat het onvermijdelijk is dat ontwikkelaars of licentiehouders in eerste instantie bij het onderzoek naar hun eigen methode zijn betrokken. Dat doen we hier zelf als Trimbos-instituut ook. Maar dat moet je wel meewegen in de beoordeling van het bewijs.”
Het Nederlands Jeugdinstituut wil met de Databank Effectieve Jeugdinterventies gemeenten en andere instanties ondersteunen in het maken van een gefundeerde keuze voor trainingen met het beste wetenschappelijke bewijs.
Onafhankelijke erkenningscommissies beoordelen op basis van vrijwilligheid de beschikbare trainingsprogramma’s en geven die een rangorde op basis van bewezen effectiviteit. Het gaat onder meer om programma’s die roken ontmoedigen bij schooljeugd, trainingen die pesten tegengaan of methodes die overgewicht bestrijden.
Bron: NRC
