De informatie die tot nu toe in dit hoofdstuk is gepresenteerd, is voldoende om een basisexperiment te ontwerpen. Wanneer het echter tijd is om dat experiment uit te voeren, rijzen een aantal bijkomende praktische problemen. In dit hoofdstuk gaan we in op een aantal van deze problemen en hoe we ze kunnen oplossen. Veel van deze informatie geldt zowel voor niet-experimentele als experimentele studies.

Aan het begin van elk onderzoeksproject moet u natuurlijk nadenken over hoe u uw deelnemers zult verkrijgen. Tenzij u bijvoorbeeld toegang hebt tot mensen met schizofrenie of gedetineerde jeugddelinquenten, dan heeft het geen zin een onderzoek te ontwerpen dat zich op deze populaties richt. Maar zelfs als u van plan bent een gemakkelijke steekproef te gebruiken, zult u deelnemers voor uw onderzoek moeten werven.

Er zijn verschillende benaderingen om deelnemers te werven. Een daarvan is het gebruik van deelnemers uit een formele proefpersonenpool – een gevestigde groep mensen die ermee hebben ingestemd te worden benaderd over deelname aan onderzoekstudies. Op veel hogescholen en universiteiten is er bijvoorbeeld een proefpersonenpool die bestaat uit studenten die zijn ingeschreven voor inleidende psychologiecursussen en die aan een bepaald aantal onderzoeken moeten deelnemen om aan een cursusvereiste te voldoen. Onderzoekers plaatsen beschrijvingen van hun studies en studenten melden zich aan om mee te doen, meestal via een online systeem. Deelnemers die geen deel uitmaken van de onderzoekspools kunnen ook worden geworven door advertenties te plaatsen of te publiceren of door persoonlijk een beroep te doen op groepen die de betrokken populatie vertegenwoordigen. Een onderzoeker die oudere volwassenen wil bestuderen, kan bijvoorbeeld op een bijeenkomst van de bewoners van een bejaardentehuis spreken om het onderzoek uit te leggen en vrijwilligers te vragen.

In veel veldexperimenten gaat het niet om het werven van deelnemers, maar om het selecteren ervan. De onderzoekers Nicolas Guéguen en Marie-Agnès de Gail hebben bijvoorbeeld een veldexperiment uitgevoerd naar het effect van glimlachen op helpen, waarbij de deelnemers winkelend publiek in een supermarkt waren. Een medeplichtige die de trap afliep, staarde rechtstreeks naar een winkelier die de trap opliep en glimlachte of glimlachte niet. Kort daarna kwam de winkelier een andere confederatie tegen, die een aantal computerdiskettes op de grond liet vallen. De afhankelijke variabele was of de klant stopte om te helpen de diskettes op te rapen (Guéguen & de Gail, 2003). Merk op dat deze deelnemers niet “gerekruteerd” waren, maar de onderzoekers moesten hen toch selecteren uit alle klanten die die dag de trap opliepen. Het is uiterst belangrijk dat dit soort selectie gebeurt volgens een welomschreven geheel van regels die worden vastgesteld voordat de gegevensverzameling begint en die achteraf duidelijk kunnen worden uitgelegd. In dit geval kreeg de confederatie bij elke afdaling van de trap de opdracht te staren naar de eerste persoon die hij tegenkwam en die tussen 20 en 50 jaar leek te zijn. Alleen als de persoon terugkeek, werd hij of zij een deelnemer aan het onderzoek. De bedoeling van een welomschreven selectieregel is vooringenomenheid bij de selectie van de deelnemers te vermijden. Indien de verdachte bijvoorbeeld vrij kon kiezen naar welke winkelaars hij zou staren, zou hij vriendelijk ogende winkelaars kunnen kiezen wanneer hij moest glimlachen en onvriendelijk ogende wanneer hij niet moest glimlachen. Zoals we zo dadelijk zullen zien, kunnen dergelijke vertekeningen geheel onbedoeld zijn.

Standaardiseren van de procedure

Het is verrassend gemakkelijk om tijdens de procedure vreemde variabelen in te voeren. Dezelfde experimentator kan bijvoorbeeld duidelijke instructies geven aan de ene deelnemer, maar vage instructies aan een andere. Of de ene experimentator begroet de deelnemers hartelijk, terwijl de andere nauwelijks oogcontact met hen maakt. Voorzover dergelijke variabelen het gedrag van de deelnemers beïnvloeden, voegen zij ruis toe aan de gegevens en maken zij het moeilijker om het effect van de onafhankelijke variabele te detecteren. Als zij variëren tussen de verschillende condities, worden zij verwarrende variabelen en bieden zij alternatieve verklaringen voor de resultaten. Als bijvoorbeeld deelnemers in een behandelingsgroep worden getest door een warme en vriendelijke experimentator en deelnemers in een controlegroep door een koude en onvriendelijke experimentator, dan kan wat een effect van de behandeling lijkt te zijn, in feite een effect van de houding van de experimentator zijn. Wanneer er meerdere experimentatoren zijn, is de kans op het introduceren van vreemde variabelen nog groter, maar dit is vaak om praktische redenen noodzakelijk.

Onderzoeker Robert Rosenthal heeft een groot deel van zijn carrière besteed aan het aantonen dat dit soort onbedoelde variatie in de procedure wel degelijk van invloed is op het gedrag van deelnemers. Een belangrijke bron van dergelijke variatie zijn de verwachtingen van de experimentator over hoe de deelnemers zich in het experiment “zouden moeten” gedragen. Als een experimentator bijvoorbeeld verwacht dat deelnemers in een behandelgroep beter zullen presteren op een taak dan deelnemers in een controlegroep, dan kan hij of zij de deelnemers in de behandelgroep onbedoeld duidelijkere instructies of meer aanmoediging geven of hen meer tijd geven om de taak te volbrengen. In een treffend voorbeeld lieten Rosenthal en Kermit Fode een aantal studenten in een laboratoriumcursus psychologie ratten trainen om door een doolhof te rennen. Hoewel de ratten genetisch gelijk waren, werd sommige studenten verteld dat ze werkten met “doolhof-heldere” ratten die waren gefokt om goed te leren, en andere studenten werd verteld dat ze werkten met “doolhof-stomme” ratten die waren gefokt om slecht te leren. Na vijf dagen training bleken de “doolhof-heldere” ratten meer juiste reacties te geven, sneller de juiste reactie te geven, en zich gestadiger te verbeteren dan de “doolhof-stomme” ratten (Rosenthal & Fode, 1963). Het is duidelijk dat de verwachtingen van de leerlingen over hoe de ratten zouden presteren, het verschil hebben gemaakt. Maar hoe? Sommige aanwijzingen komen van gegevens die aan het eind van de studie werden verzameld, waaruit bleek dat studenten die verwachtten dat hun ratten snel zouden leren, zich positiever voelden over hun dieren en meldden dat zij zich vriendelijker tegenover hen gedroegen (b.v. ze meer vasthielden).

De manier om onbedoelde variatie in de procedure te minimaliseren is deze zoveel mogelijk te standaardiseren, zodat deze voor alle deelnemers op dezelfde manier wordt uitgevoerd, ongeacht de conditie waarin zij verkeren. Hier zijn verschillende manieren om dit te doen:

• Stel een schriftelijk protocol op dat alles specificeert wat de experimentatoren moeten doen en zeggen vanaf het moment dat ze de deelnemers begroeten tot het moment dat ze hen ontslaan.
• Stel standaardinstructies op die de deelnemers zelf lezen of die hen woord voor woord worden voorgelezen door de experimentator.
• Automatiseer de rest van de procedure zo veel mogelijk door gebruik te maken van softwarepakketten voor dit doel of zelfs eenvoudige computer-diavoorstellingen.
• Anticipeer op vragen van deelnemers en stel ze aan de orde en beantwoord ze in de instructies of ontwikkel er standaardantwoorden voor.
• Train meerdere experimentatoren samen op het protocol en laat ze op elkaar oefenen.
• Zorg ervoor dat elke experimentator deelnemers in alle condities test.

Een andere goede praktijk is om te regelen dat de experimentatoren “blind” zijn voor de onderzoeksvraag of voor de conditie waarin elke deelnemer wordt getest. Het idee is om de verwachtingseffecten van de experimentator te minimaliseren door de verwachtingen van de experimentatoren te minimaliseren. Bij een geneesmiddelenonderzoek bijvoorbeeld, waarbij elke deelnemer het geneesmiddel of een placebo krijgt, is het vaak zo dat noch de deelnemers noch de experimentator die met de deelnemers interageert, weten aan welke conditie hij of zij is toegewezen. Omdat zowel de deelnemers als de experimentatoren blind zijn voor de conditie, wordt deze techniek een dubbelblind onderzoek genoemd. (Een studie met enkelvoudige blindering is een studie waarbij de deelnemer, maar niet de experimentator, blind is voor de conditie). Er zijn natuurlijk veel gevallen waarin deze blindering niet mogelijk is. Bijvoorbeeld, als u zowel de onderzoeker als de enige experimentator bent, is het voor u niet mogelijk om blind te blijven voor de onderzoeksvraag. Ook moet de experimentator in veel studies de conditie kennen omdat hij of zij de procedure in de verschillende condities op een andere manier moet uitvoeren.

Record Keeping

Het is van essentieel belang dat u een goede administratie bijhoudt wanneer u een experiment uitvoert. Zoals eerder besproken, is het gebruikelijk dat experimentatoren een schriftelijke volgorde van condities opstellen voordat het onderzoek begint en vervolgens elke nieuwe deelnemer in de volgende conditie van de volgorde testen. Het is een goed idee om tijdens het testen aan deze lijst demografische informatie toe te voegen, de datum, tijd en plaats van de test, en de naam van de experimentator die de test heeft uitgevoerd. Het is ook een goed idee om een plaats te voorzien waar de experimentator opmerkingen kan noteren over ongewone voorvallen (bv. een verwarde of onwillige deelnemer) of vragen die opduiken. Dit soort informatie kan later van pas komen als u besluit om sekseverschillen of effecten van verschillende experimentatoren te analyseren, of als er een vraag rijst over een bepaalde deelnemer of testsessie.

Het kan ook nuttig zijn om elke deelnemer een identificatienummer te geven wanneer u hem test. Gewoon opeenvolgend nummeren, te beginnen met 1, is meestal voldoende. Dit nummer kan dan ook worden vermeld op eventuele antwoordbladen of vragenlijsten die de deelnemers opstellen, zodat ze gemakkelijker bij elkaar kunnen worden gehouden.

Piloottests

Het is altijd een goed idee om een piloottest van uw experiment uit te voeren. Een piloottest is een kleinschalig onderzoek dat wordt uitgevoerd om ervoor te zorgen dat een nieuwe procedure werkt zoals gepland. Bij een proeftest kunt u deelnemers formeel werven (bijvoorbeeld uit een vast deelnemersbestand) of u kunt ze informeel werven onder familie, vrienden, klasgenoten enzovoort. Het aantal deelnemers kan klein zijn, maar het moet voldoende zijn om u het vertrouwen te geven dat uw procedure werkt zoals gepland. Er zijn verschillende belangrijke vragen die u kunt beantwoorden door een piloottest uit te voeren:

• Vatten de deelnemers de instructies?
• Wat voor misverstanden hebben de deelnemers, wat voor fouten maken ze, en wat voor vragen stellen ze?
• Worden de deelnemers verveeld of gefrustreerd?
• Is een indirecte manipulatie effectief? (U zult een manipulatiecontrole moeten opnemen.)
• Kunnen deelnemers de onderzoeksvraag of hypothese raden?
• Hoe lang duurt de procedure?
• Werken computerprogramma’s of andere geautomatiseerde procedures naar behoren?
• Worden gegevens correct geregistreerd?

Natuurlijk zult u, om sommige van deze vragen te beantwoorden, deelnemers zorgvuldig moeten observeren tijdens de procedure en er na afloop met hen over moeten praten. Deelnemers aarzelen vaak om een onderzoek in het bijzijn van de onderzoeker te bekritiseren, dus zorg ervoor dat ze begrijpen dat hun deelname deel uitmaakt van een proeftest en dat u oprecht geïnteresseerd bent in feedback die u zal helpen de procedure te verbeteren. Als de procedure werkt zoals gepland, dan kunt u verder gaan met het eigenlijke onderzoek. Als er problemen zijn, kunt u die oplossen, de nieuwe procedure proefondervindelijk testen en dit proces voortzetten tot u klaar bent om verder te gaan.

Image Descriptions

Een strip van twee pratende stokfiguurtjes.

Persoon 1: Sommige onderzoekers beginnen het mechanisme achter het placebo-effect te achterhalen. We hebben hun werk gebruikt om een nieuw medicijn te maken: Een placebo effect blokker. Nu hoeven we alleen nog maar een proef te doen. We nemen twee groepen, geven ze allebei placebo’s, dan geven we de ene de echte placebo-blokker, en de andere een …. wacht.

Persoon 2: Mijn hoofd doet pijn.

Persoon 1: De mijne ook. Hier, wil je een suikerpil?

Media Attributions

• Studie door XKCD CC BY-NC (Attribution NonCommercial)
• Placebo blocker door XKCD CC BY-NC (Attribution NonCommercial)