HISTORIE OM SOCIALE EKSPERIMENTER
BEGRÆNSNINGER AF SOCIALE EKSPERIMENTER
DET SOCIALE EKSPERIMENTERS FREMTID
BIBLIOGRAFI
Et socialt eksperiment er en tilfældig tildeling af mennesker til to grupper med henblik på at undersøge virkningerne af socialpolitiske tiltag. Den ene gruppe, kaldet “behandlingsgruppen”, tilbydes eller forpligtes til at deltage i et nyt program, mens en anden gruppe, “kontrolgruppen”, modtager det eksisterende program. De to grupper overvåges over tid for at måle forskelle i deres adfærd. I et socialt eksperiment kan man f.eks. sammenligne et program, der giver arbejdsløse en økonomisk belønning for at finde et job, med et program, der ikke gør det. Eller et socialt eksperiment kan sammenligne elever i skoler, der modtager en ny læseplan, med elever i skoler, der ikke modtager en ny læseplan. Da randomiseringsproceduren garanterer, at de to grupper i øvrigt er ens, kan de målte forskelle i deres adfærd tilskrives det nye program som årsagssammenhæng. Adfærdsforskellene kaldes undertiden for “virkningerne” af programmet. Almindeligt målte adfærdsresultater i sociale eksperimenter omfatter indtjening, beskæftigelse, modtagelse af overførselsindkomster, sundhed, uddannelsesniveau og børns udvikling. Prøvestørrelser i sociale eksperimenter har varieret fra under 100 til langt over 10.000.
I nogle sociale eksperimenter er der mere end én behandlingsgruppe. I sådanne tilfælde er hver behandlingsgruppe tildelt et forskelligt program. De forskellige behandlingsgrupper kan sammenlignes med hinanden for at bestemme de forskellige virkninger af to af de afprøvede programmer, eller de kan sammenlignes med kontrolgruppen for at bestemme virkningen af programmet i forhold til status quo. De menneskelige forsøgspersoner kan vælges tilfældigt blandt den almindelige befolkning eller, mere almindeligt, tilfældigt blandt en målgruppe, f.eks. de dårligt stillede.
Sociale eksperimenter har været anvendt i stor udstrækning siden slutningen af 1960’erne. Ifølge Greenberg og Shroder (2005) er der siden da blevet gennemført næsten 300 sociale eksperimenter. Sociale eksperimenter minder meget om medicinske laboratorieeksperimenter, hvor behandlingsgruppen får et nyt lægemiddel eller en ny procedure, mens kontrolgruppen får placebo eller standardbehandlingen. Laboratorieeksperimenter er også blevet anvendt i stor udstrækning inden for økonomi siden 1970’erne (Smith 1994), men de adskiller sig fra sociale eksperimenter ved, at de hovedsagelig anvendes til at afprøve forskellige aspekter af økonomisk teori, såsom eksistensen af ligevægt eller markedstransaktioners effektivitet, snarere end virkningerne af et socialt program. Desuden har økonomiske laboratorieeksperimenter normalt ikke en kontrolgruppe; i stedet får kontantmotiverede medlemmer af en behandlingsgruppe mulighed for at deltage i markedstransaktioner i et kontrolleret miljø for at afgøre, om de opfører sig på en måde, der er i overensstemmelse med forudsigelserne i den økonomiske teori. Nogle laboratorieeksperimenter inden for økonomi er blevet brugt til at afprøve alternativer til offentlig politik.
HISTORIE OM SOCIALE EKSPERIMENTER
En stor del af grundlaget for den moderne tilgang til sociale eksperimenter kan spores tilbage til den berømte statistiker Ronald Fisher’s arbejde i 1920’erne. Fisher forfinede begrebet tilfældig tildeling og påpegede, at ingen to grupper nogensinde kunne være identiske. Han bemærkede, at tildeling af forsøgspersoner til behandlings- og kontrolgrupper ved ren tilfældighed (f.eks. ved at slå med en mønt eller fra en tabel med tilfældige tal) sikrer, at forskelle i de to gruppers gennemsnitlige adfærd med sikkerhed kan tilskrives behandlingen. Som følge heraf kan kausalitetsretningen bestemmes ved hjælp af grundlæggende statistiske beregninger. Fisher erkendte også, at randomisering giver mulighed for at bestemme de statistiske egenskaber ved forskelle i resultaterne mellem grupperne.
Det første større sociale eksperiment var New Jersey Income Maintenance Experiment, som blev iværksat i USA i 1968. Selv om nogle få mindre sociale eksperimenter gik forud for New Jersey-eksperimentet (f.eks. Perry Preschool Project i 1962), var de meget mindre omfattende og langt mindre sofistikerede. New Jersey-eksperimentet testede ideen om en negativ indkomstskat (NIT), som først blev foreslået af økonomerne Milton Friedman og James Tobin i 1960’erne. New Jersey-eksperimentet var det første af fem NIT-eksperimenter, der blev gennemført i Nordamerika (fire i USA og et i Canada), og som havde et meget sofistikeret design og mange behandlingsgrupper. Problemer med at evaluere visse aspekter af disse komplekse eksperimenter førte til meget enklere eksperimentelle design i de efterfølgende år.
Fra 1970’erne og frem til i dag er der blevet gennemført sociale eksperimenter på mange socialpolitiske områder, herunder børns sundhed og ernæring, kriminalitet og ungdomskriminalitet, tidlig udvikling af børn, uddannelse, prissætning af elektricitet, sundhedstjenester, boligstøtte, jobtræning og velfærd-til-arbejde-programmer. Blandt bemærkelsesværdige eksperimenter kan nævnes Rand Health Insurance Experiment, som afprøvede forskellige sygesikringsordninger med egenbetaling; Moving to Opportunity Experiments, som afprøvede programmer, der gjorde det muligt for fattige familier at flytte ud af almene boliger; fire arbejdsløshedsforsikringseksperimenter, som afprøvede virkningerne af forskellige økonomiske incitamenter til at få arbejdsløse til at vende tilbage til arbejdsmarkedet; og en række velfærd-til-arbejde-eksperimenter, som afprøvede måder at hjælpe velfærdsmodtagere med at finde arbejde på.
BEGRÆNSNINGER VED SOCIALE EKSPERIMENTER
Selv om de sociale eksperimenter er bredt anerkendt som den ideelle måde at bestemme de kausale virkninger af foreslåede socialpolitikker på, har de sociale eksperimenter flere vigtige begrænsninger. For det første, og måske vigtigst af alt, kræver sociale eksperimenter, at en kontrolgruppe nægtes den politiske ændring, som gives til behandlingsgruppen. Da kontrolgrupper i sociale eksperimenter typisk er ugunstigt stillede, kan nægtelse af programydelser betragtes som et etisk brud, hvilket begrænser sociale eksperimenter til steder, hvor ressourcerne forhindrer alle berettigede personer i at få hjælp. Behandlinger, der gør en deltager dårligere stillet, betragtes også som uetiske og politisk uigennemførlige.
For det andet har veltilrettelagte eksperimenter ganske vist en høj grad af intern validitet (slutninger er gyldige for den testede stikprøve), men de har muligvis ikke ekstern validitet (de kan ikke generaliseres til andre sammenhænge). En almindelig kritik af eksperimenter er, at de på grund af deres begrænsede størrelse ikke skaber de makroøkonomiske, “samfundsmæssige” virkninger, som et fuldt operationelt program ville skabe. F.eks. kan et fuldt operationelt jobtræningsprogram påvirke lønninger og beskæftigelse for ikke-deltagere og kan påvirke sociale normer og holdninger, mens et eksperiment af begrænset størrelse ikke vil gøre det. Desuden er der ingen mulighed for at vide med sikkerhed, om et vellykket eksperiment et sted ville være vellykket et andet sted, især fordi sociale eksperimenter typisk gennemføres på steder, der ikke er udvalgt tilfældigt, men ud fra deres evne og vilje til at deltage i et eksperiment.
For det tredje tager sociale eksperimenter tid at udforme og evaluere, normalt flere år. De politiske beslutningstagere ønsker måske ikke at vente den nødvendige tid på at finde ud af, om et bestemt program virker.
Finalt har det i praksis ofte vist sig vanskeligt at gennemføre tilfældig tildeling. Af den ene eller anden grund vil enkeltpersoner måske ikke være villige til at deltage i en forskningsundersøgelse, og i tilfælde, hvor der er behov for samarbejde mellem forskere og offentlige myndigheder, vil nogle måske ikke være villige til at deltage. Som følge heraf kan det vise sig, at de behandlings- og kontrolgrupper, der afprøves, ikke er repræsentative for målgruppen.
På grund af de forskellige begrænsninger ved sociale eksperimenter er der udviklet andre metoder til at evaluere virkningerne af socialpolitiske tiltag. Disse metoder betegnes generelt som “ikke-eksperimentelle” eller “kvasi-eksperimentelle” metoder. Ikke-eksperimentelle metoder overvåger adfærden hos personer, der udsættes for en ny politik (behandlingsgruppen), og udvælger en “sammenligningsgruppe”, der tjener som kontrolgruppe. Men da der ikke anvendes randomisering til at udvælge de to grupper, vides det aldrig med sikkerhed, om sammenligningsgruppen er identisk med behandlingsgruppen på andre måder end ved modtagelse af behandlingen. Mange forskere matcher medlemmer af behandlingsgruppen med personer i den ikke-deltagende befolkning for at gøre grupperne så ens som muligt. Matchningen sker normalt ved hjælp af demografiske og økonomiske karakteristika som f.eks. alder, uddannelse, race, bopæl, beskæftigelse og indkomsthistorik osv. En populær matchningsteknik er propensity score matching, som anvender et vægtet gennemsnit af de observerede økonomiske og demografiske karakteristika for den ikke-deltagende befolkning for at skabe en sammenligningsgruppe.
En særlig attraktiv ikke-eksperimentel metode er det “naturlige eksperiment”. Naturlige eksperimenter anvendes ofte til at afprøve virkningerne af allerede eksisterende socialpolitikker. Det naturlige eksperiment udnytter den måde, hvorpå en ny politik er blevet gennemført, således at sammenligningsgruppen næsten er en ægte kontrolgruppe. F.eks. blev den militære værnepligt (at være værnepligtig) under Vietnamkrigen gennemført ved hjælp af et nationalt lotteri, hvor personer blev udvalgt til militærtjeneste udelukkende på grundlag af deres fødselsdato. Teoretisk set skulle den gruppe, der blev udvalgt til militærtjeneste, således være identisk med den gruppe, der ikke blev udvalgt, fordi den eneste forskel er fødselsdatoen. Forskere, der ønsker at teste virkningerne af den militære værnepligt på individers fremtidige adfærd, kan sammenligne resultaterne (f.eks. uddannelsesniveau eller indtjening) for dem, der blev indkaldt, med dem, der ikke blev indkaldt, og uden risiko henføre “virkningerne” til værnepligten (Angrist 1990). Da ikke alle værnepligtige faktisk gør militærtjeneste, og da nogle personer, der ikke er værnepligtige, melder sig frivilligt til militærtjeneste, er det også muligt at estimere virkningen af den faktiske militærtjeneste på fremtidig adfærd ved at justere virkningerne af værnepligten for forskelle i den andel, der gør militærtjeneste i behandlings- og sammenligningsgrupperne. Validiteten af denne procedure hviler imidlertid i høj grad på sammenligneligheden af veteranerne med militærtjeneste i de to stikprøver.
Sociale eksperimenter har ændret karakter siden slutningen af 1960’erne. Mange tidlige sociale eksperimenter som NIT-eksperimenterne, arbejdsløshedsforsikringseksperimenterne og Rand Health Insurance Experiment testede en “responsflade”, hvor forsøgspersonerne fik “kvantificerbare” behandlinger med varierende skatte- eller tilskudssatser. I modsætning hertil er de fleste af de nyere sociale eksperimenter “black box”, hvilket betyder, at behandlingsgruppen får en pakke af behandlinger, og at det ikke er muligt at identificere de kausale virkninger af hver enkelt komponent i pakken separat.
Black box-eksperimenter er blevet kritiseret, fordi de har en tendens til at have langt mindre generaliserbarhed end responsfladeeksperimenter. Derfor har mange forskere opfordret til en tilbagevenden til ikke-eksperimentel evaluering som den foretrukne metode til at analysere virkningerne af socialpolitikker. De, der går ind for eksperimentelle metoder, har imidlertid imødegået, at sociale eksperimenter fortsat bør være grundlaget for evaluering af socialpolitikken, fordi fordelene stadig er store i forhold til ikke-eksperimentelle metoder (Burtless 1995). I et forsøg på at “komme ind i den sorte boks” har de, der sympatiserer med sociale eksperimenter som et evalueringsværktøj, foreslået måder at kombinere eksperimentelle og ikke-eksperimentelle evalueringsmetoder på for at identificere kausale virkninger af socialpolitikker (Bloom 2005). Ikke-eksperimentelle metoder er nødvendige på grund af den selektionsbias, der opstår, når de medlemmer af behandlingsgruppen, der modtager visse dele af behandlingen, ikke er en tilfældig delmængde af hele behandlingsgruppen. I fremtiden vil evalueringen af socialpolitikken måske i højere grad gøre brug af begge evalueringsmetoder – ved at anvende eksperimenter, når det er muligt, og kombinere dem med ikke-eksperimentelle metoder, når eksperimenterne ikke kan besvare alle de relevante politiske spørgsmål.
SE OGSÅ Negativ indkomstskat
BIBLIOGRAPHI
Angrist, Joshua D. 1990. Lifetime Earnings and the Vietnam Era Draft Lottery: Evidence from Social Security Administrative Records. American Economic Review 80 (3): 313-336.
Bloom, Howard S., ed. 2005. Learning More from Social Experiments. New York: Russell Sage Foundation.
Burtless, Gary. 1995. The Case for Randomized Field Trials in Economic and Policy Research. Journal of Economic Perspectives 9 (2): 63-84.
Greenberg, David, og Mark Shroder. 2005. The Digest of Social Experiments (oversigt over sociale eksperimenter). 3rd ed. Washington, DC: Urban Institute Press.
Greenberg, David, Donna Linksz, og Marvin Mandell. 2003. Social Experimentation and Public Policymaking. Washington, DC: Urban Institute Press.
Smith, Vernon. 1994. Økonomi i laboratoriet. Journal of Economic Perspectives 8 (1): 113-131.
Philip K. Robins