Wanneer we psychologisch onderzoek doen, willen we weten wat mensen denken. We willen de waarheid van hun gedachten en gevoelens achterhalen, zodat we iets kunnen leren over de manier waarop mensen functioneren. In een ideale wereld zouden alle deelnemers eerlijke en duidelijke antwoorden geven over hun diepste gedachten – maar we weten dat dit niet altijd het geval is.
Deelnemers zullen soms in twijfel trekken waar de onderzoeker op uit is, of hun antwoorden of gedrag op verschillende manieren veranderen, afhankelijk van het experiment of de omgeving. Dit heet deelnemersvooringenomenheid, of responsvooringenomenheid, en het kan een enorme invloed hebben op onderzoeksresultaten.
Sinds het begin van psychologisch onderzoek wordt zelfrapportage gebruikt om inzichten te verkrijgen, en het is al bijna net zo lang bekend dat deze deelnemersvooringenomenheid een significante hoeveelheid fouten kan opleveren – en dat ook vaak doet.
Dit artikel maakt deel uit van onze serie over vooringenomenheid in onderzoek! We hebben het ook gehad over bias bij onderzoekers en selectiebias.
Participant bias wordt meestal gezien als de deelnemer die puur reageert op wat hij denkt dat de onderzoeker wil, maar dit kan ook om minder voor de hand liggende redenen gebeuren, zoals we hieronder kunnen zien.
Een van de bijkomende verwarrende effecten van participant bias is dat onderzoeksresultaten vaak nog steeds interne validiteit kunnen vertonen (waarbij conclusies op basis van de bevindingen correct lijken te zijn). Het kan daarom moeilijk zijn om vast te stellen of er wel sprake is van deelnemersvooringenomenheid, en pogingen om daarvoor te corrigeren worden uiteindelijk nog verder bemoeilijkt.
Zoals bij alles wat fouten in onderzoek vergroot, is het duidelijk dat zowel het bewust zijn van deelnemersvooringenomenheid als het vanaf het begin van het experiment controleren van de effecten ervan van cruciaal belang kan zijn voor wetenschappelijk succes.
We zullen nu enkele manieren bespreken waarop deelnemersvooringenomenheid optreedt, en wat we kunnen doen om de effecten ervan te verminderen. Natuurlijk zal geen enkel onderzoek ooit perfect zijn, maar met een beetje voorzichtigheid en voorbereiding kunnen we aardig in de buurt komen.
Wat is de bias? The Social Desirability Effect
Een van de meest voorkomende factoren die de antwoorden van deelnemers bepalen is die van de sociale wenselijkheid (bekend als de sociale wenselijkheid bias). Deelnemers willen vaak de beste versie van zichzelf presenteren, of op zijn minst een versie die sociaal aanvaardbaar is. Daarom kan het moeilijk zijn voor deelnemers om zich echt open te stellen als het om gevoelige onderwerpen gaat.
Bedenk een vraag die betrekking heeft op gevoelige onderwerpen zoals iemands inkomen, zijn godsdienst of zijn welwillendheid. Er bestaat een zeer reële druk op deelnemers om zich te conformeren aan wat zij als sociaal wenselijk beschouwen. Zij kunnen daarom hun antwoorden verdraaien tot wat zij denken dat het beste is, in plaats van een eerlijk antwoord te geven.
Hoe kunnen we dit voorkomen?
Er zijn een aantal dingen die kunnen worden gedaan om de effecten van sociale wenselijkheidsvooringenomenheid te beperken.
Door ervoor te zorgen dat de deelnemers weten dat hun gegevens echt vertrouwelijk zijn, zullen zij eerder geneigd zijn de waarheid te onthullen, zelfs als zij niet geloven dat dit sociaal wenselijk is. Nog een stap verder zou volledige anonimiteit – waarbij de experimentator de deelnemer nooit ontmoet – het individu een gevoel van veiligheid kunnen geven dat bevorderlijk is voor het onthullen van bijzonder gevoelige informatie.
Daarnaast is het van belang dat de informatie op een oordeelloze manier wordt gepresenteerd. Dit geldt voor alles, van de advertentie voor het onderzoek, de formulering van de vragen tot de manier waarop de informatie achteraf wordt behandeld (een onderzoeker die gevoelige of taboe-onderwerpen met respect behandelt bij de publicatie, zal ook in de toekomst meer vertrouwen wekken bij potentiële deelnemers).
De Randomized Response Technique
Een ingenieuze methode om te proberen sociale wenselijkheid vooringenomenheid te controleren, wordt de Randomized Response-techniek genoemd. Hierbij worden, zoals de naam al zegt, de antwoorden gerandomiseerd. In de praktijk wordt dit gedaan door de deelnemers te vragen een munt op te gooien en “ja” te zeggen als de munt munt munt oplevert, en de waarheid te vertellen als de munt munt munt oplevert (of welke kant van de munt dan ook de “ware” kant is).
Op deze manier weet alleen de deelnemer of hij de waarheid spreekt (het is natuurlijk belangrijk dat de experimentator de resultaten van het opgooien van de munt niet te zien krijgt). Dit biedt een extra veiligheidslaag, want zelfs als de resultaten van een deelnemer worden onthuld of bekend worden, is het onmogelijk te weten welke van zijn antwoorden waar zijn of niet. Dit kan vooral nuttig zijn als de deelnemer juridische gevolgen voor zijn antwoorden vreest.
Deze methode vereist een vrij grote steekproefomvang, en dat het aantal antwoorden voor “nee” (of de “ware” kant van de munt) moet worden verdubbeld na de gegevensverzameling. Dit komt door de veronderstelling dat er evenveel deelnemers in de groep zijn die “neen” zouden moeten zeggen, maar tegen wie gezegd werd dat ze hoe dan ook “ja” moesten zeggen.
Wat is de bias? Het Halo-effect
Wanneer we iemand aardig vinden, zien we vaak zijn twijfels of gebreken over het hoofd en hebben we de neiging om het beste in hem te zien. Dit geldt niet alleen voor mensen, maar ook voor onze ervaringen met vele dingen in het leven. Als we de gedachten van een individu over iets willen meten, kunnen we ervan uitgaan dat als hij er een positieve mening over heeft, hij ook een positieve mening zal hebben over de dingen die ermee worden geassocieerd.
Dit vooroordeel werkt ook in omgekeerde richting – het omgekeerde halo-effect (of “het duivelseffect”) betekent dat een individu slecht op iets kan reageren als het al wordt geassocieerd met een negatief gepercipieerde persoon of zaak. Dit kan zelfs gebeuren als een individu een neutrale of zelfs positieve mening over het onderwerp in kwestie zou hebben als het met iets of iemand anders werd geassocieerd.
Beide van deze vooroordelen zijn voorbeelden van cognitieve overdrachtseffecten , en ze kunnen een enorm effect hebben op hoe we de wereld waarnemen.
Hoe kunnen we dit voorkomen?
Deze vooringenomenheid kan moeilijk te controleren zijn, omdat mensen natuurlijk een reeks vooroordelen hebben over bijna alles wat ze in het leven tegenkomen. Een van de manieren om met deze vooringenomenheid om te gaan is te vermijden dat de ideeën of ervaringen van de deelnemers worden gevormd voordat zij met het experimentele materiaal worden geconfronteerd.
Zelfs het vermelden van schijnbaar onschuldige details kan een individu aanzetten tot het vormen van theorieën of gedachten die hun antwoorden of gedrag kunnen beïnvloeden. Daarom is het belangrijk de deelnemer alleen die informatie te geven die nodig is voor de taak die hem wacht, en geen details te geven die er niet toe doen.
Een grote steekproefomvang is bovendien zelden slecht voor een experiment, en in dit geval is het zelfs bijzonder nuttig. Met een groot aantal deelnemers is de kans groter dat de gegevens afkomstig zijn van een gemengde populatie die een afspiegeling vormt van de bevolking als geheel. Als dit evenwichtig is voor negatieve en positieve meningen (of beter gezegd, evenredig is met de natuurlijke bevolking) dan kunnen we nog steeds conclusies trekken uit deze groep.
Wat is de bias? Yea- and Nay-saying / Acquiescence
Deze bias kan naar voren komen in zelfrapportage metingen (zoals vragenlijsten die door de deelnemer worden ingevuld), en heeft betrekking op deelnemers die een verhoogde neiging vertonen om met “ja” te antwoorden op “ja” of “nee” vragen, of om eenvoudigweg te antwoorden met alle “ja” of “nee” antwoorden in het geheel.
Er zijn verschillende redenen waarom dit effect kan optreden: de deelnemer kan het onderzoek willen verstoren, hij kan proberen de experimentator een plezier te doen door toe te geven, of hij kan vermoeid raken.
Hoe kunnen we dit voorkomen?
Er zijn gelukkig verschillende manieren waarop dit vooroordeel kan worden voorkomen en/of gecorrigeerd. Een van de eenvoudigste methoden is ervoor te zorgen dat de vragen evenwichtig zijn geformuleerd.
Ervoor zorgen dat er geen leidende vragen worden gesteld is belangrijk voor alle enquêtes, vragenlijsten of interviews, en het is in dit geval bijzonder relevant.
Dit werkt ook door in de sociale wenselijkheid – probeer ervoor te zorgen dat de vragen niet zodanig zijn geformuleerd dat de deelnemer denkt dat hij een sociale verantwoordelijkheid heeft om op een bepaalde manier te antwoorden. Bij deze aanpak is de kans veel groter dat de antwoorden waarheidsgetrouw zijn.
Daarnaast kan het uitbalanceren van de vragen om tegenstrijdige informatie aan het licht te brengen, helpen foutieve antwoordpatronen op te sporen. In de praktijk betekent dit dat steeds tegengestelde vragen moeten worden gesteld. Als een deelnemer dus wordt gevraagd “houdt u van psychologie?”, dan moet er ook een vraag zijn die vraagt “houdt u niet van psychologie?”. Als de deelnemer op beide vragen “ja” antwoordt, kan er een probleem zijn met zijn antwoorden.
Het aantal vragen moet bovendien niet groter zijn dan nodig is – te veel vragen verhoogt de kans op vermoeidheid bij de deelnemer, wat leidt tot antwoorden die zonder nadenken worden gegeven.
De biosensor-oplossing
Naast bovenstaande stappen zijn er verschillende manieren waarop biosensoren gemakkelijk kunnen worden gebruikt om de effecten van deelnemersvooringenomenheid in onderzoek te verminderen.
Het is eenvoudig om met iMotions nog een tegenwicht te bieden tegen de misleidende effecten van deelnemersvooringenomenheid. Je kunt gemakkelijk biosensoren gebruiken om vervormende effecten tegen te gaan, en ook het experiment zelf in de software uitvoeren. Dit biedt een alles-in-één platform om zowel onderzoek te doen, als ervoor te zorgen dat het onderzoek zo min mogelijk vertekend is.
Een voorbeeld hiervan is de berekening van frontale asymmetrie op basis van EEG-metingen. Als er een verhoogde alfagolfactiviteit is in de linker hersenhelft ten opzichte van de rechter, is de deelnemer waarschijnlijk geëngageerd door de stimulus (omgekeerd is een verhoogde alfagolfactiviteit in de rechter hersenhelft een indicatie van gevoelens van vermijding). Dit levert een metriek van enthousiasme op om de gevoelens van een deelnemer over de zaak te onderzoeken.
Daarnaast kan eyetracking worden gebruikt om de aandacht te meten, waardoor vertekeningen worden onthuld in de mate waarin een deelnemer geïnteresseerd is in de stimuli (er is ook bemoedigend onderzoek dat de pupilgrootte in verband brengt met misleiding, wat een andere metriek oplevert voor het blootleggen van de ware gevoelens van de deelnemer). In combinatie met gezichtsuitdrukkingsanalyse kunnen we de emotionele valentie die de deelnemer voelt, beginnen te onthullen.
De kracht van psychologisch onderzoek ligt in het zo veel mogelijk weten over de deelnemers als
mogelijk is. Door in iMotions meerdere sensoren te combineren, kunnen de gegevens die nodig zijn om beslissingen over vooringenomenheid en de conclusie te onderbouwen, gemakkelijk worden verkregen, en gemakkelijk worden begrepen. Dit stroomlijnt de stappen naar robuuste resultaten, en biedt meer garanties voor de geldigheid van onderzoek.
Het effect van vertekeningen in onderzoek kan zowel moeilijk te voorkomen als lastig te corrigeren zijn, zelfs als de effecten bekend zijn. Het waarborgen en handhaven van een hoog niveau van betrouwbaarheid is echter een centraal onderdeel van onderzoek. Door gebruik te maken van bovenstaande informatie, aangevuld met biosensoren, kunnen de effecten van bias bij deelnemers worden verminderd, zodat u er zeker van kunt zijn dat u alleen de waarheid overhoudt.
Dit artikel maakt deel uit van onze serie over bias in onderzoek! We hebben het ook gehad over bias bij onderzoekers, dat u kunt lezen door hier te klikken, en over selectiebias, dat u kunt lezen door hier te klikken.
Wilt u meer informatie over hoe u de perfecte studie ontwerpt, klik dan hieronder om onze gratis pocketgids voor experimenteel ontwerp te downloaden, en vervolg uw weg naar experimenteel succes!
McCambridge, J., de Bruin, M., & Witton, J. (2012). The Effects of Demand Characteristics on Research Participant Behaviours in Non-Laboratory Settings: A Systematic Review. Plos ONE, 7(6), e39116. doi: 10.1371/journal.pone.0039116
Gove, W., & Geerken, M. (1977). Responsbias in surveys of Mental Health: An Empirical Investigation. American Journal Of Sociology, 82(6), 1289-1317. doi: 10.1086/226466
Greenberg, B., Abul-Ela, A., Simmons, W., & Horvitz, D. (1969). The Unrelated Question Randomized Response Model: Theoretical Framework. Journal Of The American Statistical Association, 64(326), 520. doi: 10.2307/2283636
Warner, S. (1965). Randomized Response: A Survey Technique for Eliminating Evasive Answer Bias. Journal Of The American Statistical Association, 60(309), 63. doi: 10.2307/2283137
Tourangeau, R., Rasinski, K., Bradburn, N., & D’Andrade, R. (1989). Carryover Effects in Attitude Surveys. Public Opinion Quarterly, 53(4), 495. doi: 10.1086/269169
Knowles, E., & Nathan, K. (1997). Acquiescent Responding in Self-Reports: Cognitieve stijl of sociale bezorgdheid? Journal Of Research In Personality, 31(2), 293-301. doi: 10.1006/jrpe.1997.2180
Cronbach, L. (1942). Studies of acquiescence as a factor in the true-false test. Journal Of Educational Psychology, 33(6), 401-415. doi: 10.1037/h0054677
Dionisio, D., Granholm, E., Hillix, W., & Perrine, W. (2001). Differentiatie van bedrog met behulp van pupillaire responsen als index van cognitieve verwerking. Psychophysiology, 38(2), 205-211. doi: 10.1111/1469-8986.3820205