HISTOIRE DES EXPÉRIENCES SOCIALES
LIMITES DES EXPÉRIENCES SOCIALES
L’AVENIR DES EXPÉRIENCES SOCIALES
BIBLIOGRAPHIE
Une expérience sociale consiste à répartir au hasard des sujets humains dans deux groupes afin d’examiner les effets des politiques sociales. Un groupe, appelé « groupe de traitement », se voit proposer ou demander de participer à un nouveau programme, tandis qu’un second groupe, le « groupe témoin », bénéficie du programme existant. Les deux groupes sont suivis dans le temps pour mesurer les différences de comportement. Par exemple, une expérience sociale peut comparer un programme qui offre aux chômeurs une récompense financière pour avoir trouvé un emploi et un autre qui ne le fait pas. Ou encore, une expérience sociale peut comparer des élèves d’écoles qui reçoivent un nouveau programme d’enseignement à des élèves d’écoles qui n’en reçoivent pas. La procédure de randomisation garantissant que les deux groupes sont par ailleurs similaires, les différences mesurées dans leur comportement peuvent être attribuées de manière causale au nouveau programme. Les différences de comportement sont parfois appelées les « impacts » du programme. Les résultats comportementaux couramment mesurés dans les expériences sociales comprennent les revenus, l’emploi, la réception de paiements de transfert, la santé, le niveau d’éducation et le développement de l’enfant. La taille des échantillons dans les expériences sociales varie de moins de 100 à bien plus de 10 000.
Certaines expériences sociales comportent plus d’un groupe de traitement. Dans ce cas, chaque groupe de traitement est affecté à un programme différent. Les différents groupes de traitement peuvent être comparés entre eux pour déterminer les impacts différentiels de deux des programmes testés, ou ils peuvent être comparés au groupe de contrôle pour déterminer l’impact du programme par rapport au statu quo. Les sujets humains peuvent être choisis au hasard dans la population générale ou, plus couramment, dans une population cible, comme les personnes défavorisées.
Les expériences sociales sont largement utilisées depuis la fin des années 1960. Selon Greenberg et Shroder (2005), près de 300 expériences sociales ont été menées depuis lors. Les expériences sociales ressemblent beaucoup aux expériences médicales en laboratoire dans lesquelles le groupe de traitement reçoit un nouveau médicament ou une nouvelle procédure, tandis que le groupe de contrôle reçoit un placebo ou le traitement standard. Les expériences en laboratoire ont également été largement utilisées dans le domaine de l’économie, depuis les années 1970 (Smith 1994), mais elles diffèrent des expériences sociales en ce qu’elles servent principalement à tester divers aspects de la théorie économique, tels que l’existence d’un équilibre ou l’efficacité des transactions du marché, plutôt que les effets d’un programme social. De plus, les expériences économiques en laboratoire n’ont généralement pas de groupe de contrôle ; au lieu de cela, les membres d’un groupe de traitement motivés par l’argent ont la possibilité de s’engager dans des transactions de marché dans un environnement contrôlé afin de déterminer s’ils se comportent d’une manière conforme aux prédictions de la théorie économique. Certaines expériences de laboratoire en économie ont été utilisées pour tester des alternatives de politique publique.
HISTOIRE DES EXPÉRIENCES SOCIALES
Une grande partie du fondement de l’approche moderne de l’expérimentation sociale peut être retracée jusqu’au travail du célèbre statisticien Ronald Fisher dans les années 1920. Fisher a affiné la notion d’affectation aléatoire et a souligné que deux groupes ne pouvaient jamais être identiques. Il a fait remarquer que l’affectation des sujets aux groupes de traitement et de contrôle par pur hasard (en tirant à pile ou face ou à partir d’une table de nombres aléatoires, par exemple) garantit que les différences dans le comportement moyen des deux groupes peuvent être attribuées sans risque au traitement. Par conséquent, la direction de la causalité peut être déterminée à l’aide de calculs statistiques de base. Fisher a également reconnu que la randomisation fournit un moyen de déterminer les propriétés statistiques des différences de résultats entre les groupes.
La première grande expérience sociale a été l’expérience de maintien du revenu du New Jersey, qui a été lancée aux États-Unis en 1968. Bien que quelques expériences sociales de moindre envergure aient précédé l’expérience du New Jersey (comme le Perry Preschool Project en 1962), elles étaient de bien moindre envergure et beaucoup moins sophistiquées. L’expérience du New Jersey a testé l’idée d’un impôt négatif sur le revenu (NIT), proposée pour la première fois par les économistes Milton Friedman et James Tobin dans les années 1960. L’expérience du New Jersey a été la première de cinq expériences d’impôt négatif sur le revenu menées en Amérique du Nord (quatre aux États-Unis et une au Canada), dont la conception était très sophistiquée et qui comportaient de nombreux groupes de traitement. Les problèmes d’évaluation de certains aspects de ces expériences complexes ont conduit à des conceptions expérimentales beaucoup plus simples dans les années qui ont suivi.
Depuis les années 1970 jusqu’à aujourd’hui, des expériences sociales ont été menées dans de nombreux domaines de la politique sociale, notamment la santé et la nutrition des enfants, la criminalité et la délinquance juvénile, le développement des jeunes enfants, l’éducation, la tarification de l’électricité, les services de santé, l’aide au logement, la formation professionnelle et les programmes d’aide sociale au travail. Parmi les expériences notables, citons la Rand Health Insurance Experiment, qui a testé différents plans de copaiement de l’assurance maladie ; les Moving to Opportunity Experiments, qui ont testé des programmes permettant aux familles pauvres de quitter les logements sociaux ; quatre expériences d’assurance chômage qui ont testé les effets de diverses incitations financières pour inciter les chômeurs à reprendre le travail ; et un certain nombre d’expériences d’aide sociale au travail qui ont testé des moyens d’aider les bénéficiaires de l’aide sociale à trouver un emploi.
LIMITES DES EXPERIMENTS SOCIAUX
Bien que largement reconnues comme le moyen idéal de déterminer les effets causaux des politiques sociales proposées, les expériences sociales ont plusieurs limites importantes. Premièrement, et peut-être le plus important, les expériences sociales exigent qu’un groupe de contrôle se voie refuser le changement de politique accordé au groupe de traitement. Étant donné que les groupes de contrôle dans les expériences sociales sont généralement défavorisés, le refus des services du programme peut être considéré comme une violation de l’éthique, ce qui limite les expériences sociales aux endroits où les ressources empêchent toutes les personnes éligibles d’être servies. En outre, les traitements qui aggravent la situation d’un participant sont également considérés comme contraires à l’éthique et politiquement infaisables.
Deuxièmement, bien que les expériences bien conçues aient un degré élevé de validité interne (les déductions sont valables pour l’échantillon testé), elles peuvent ne pas avoir de validité externe (elles ne sont pas généralisables à d’autres contextes). Une critique courante des expériences est qu’en raison de leur taille limitée, elles ne génèrent pas les effets macroéconomiques, « communautaires », qu’un programme pleinement opérationnel générerait. Par exemple, un programme de formation professionnelle pleinement opérationnel peut avoir une incidence sur les salaires et l’emploi des non-participants et sur les normes et attitudes sociales, ce qui n’est pas le cas d’une expérience de taille limitée. En outre, il n’y a aucun moyen de savoir avec certitude si une expérience réussie dans un endroit serait réussie dans un autre endroit, en particulier parce que les expériences sociales sont généralement menées dans des endroits qui ne sont pas choisis au hasard, mais pour leur capacité et leur volonté de participer à une expérience.
Troisièmement, les expériences sociales prennent du temps à concevoir et à évaluer, généralement plusieurs années. Les décideurs politiques peuvent ne pas vouloir attendre le temps nécessaire pour savoir si un programme particulier fonctionne.
Enfin, dans la pratique, il s’est souvent avéré difficile de mettre en œuvre l’affectation aléatoire. Pour une raison ou une autre, les individus peuvent ne pas vouloir participer à une étude de recherche, et dans les cas où une collaboration entre les chercheurs et les organismes gouvernementaux est nécessaire, certains peuvent ne pas vouloir participer. Par conséquent, les groupes de traitement et de contrôle testés peuvent s’avérer non représentatifs de la population cible.
En raison des diverses limites des expériences sociales, d’autres moyens d’évaluer les effets des politiques sociales ont été développés. On les appelle généralement des méthodes « non expérimentales » ou « quasi-expérimentales ». Les méthodes non expérimentales consistent à surveiller le comportement des personnes soumises à une nouvelle politique (le groupe de traitement) et à sélectionner un « groupe de comparaison » qui joue le rôle de groupe de contrôle. Mais comme la randomisation n’est pas utilisée pour sélectionner les deux groupes, on ne sait jamais avec certitude si le groupe de comparaison est identique au groupe de traitement pour des raisons autres que la réception du traitement. De nombreux chercheurs associent les membres du groupe de traitement à des personnes de la population non participante afin de rendre les groupes aussi similaires que possible. Les appariements sont généralement effectués à partir de caractéristiques démographiques et économiques telles que l’âge, l’éducation, la race, le lieu de résidence, l’historique des emplois et des revenus, etc. Une technique d’appariement populaire est l’appariement par score de propension, qui utilise une moyenne pondérée des caractéristiques économiques et démographiques observées de la population non participante pour créer un groupe de comparaison.
Une méthode non expérimentale particulièrement attrayante est l' »expérience naturelle ». Les expériences naturelles sont souvent utilisées pour tester les effets des politiques sociales déjà en place. L’expérience naturelle tire parti de la façon dont une nouvelle politique a été mise en œuvre, de sorte que le groupe de comparaison est presque un véritable groupe de contrôle. Par exemple, la conscription militaire (le fait d’être éligible au service militaire) pendant la guerre du Viêt Nam était effectuée par une loterie nationale qui sélectionnait les individus pour le service militaire uniquement en fonction de leur date de naissance. Ainsi, théoriquement, le groupe sélectionné pour le service militaire devrait être identique à celui qui n’a pas été choisi, car la seule différence est la date de naissance. Les chercheurs souhaitant tester les effets de la conscription militaire sur le comportement futur des individus pourraient comparer les résultats (par exemple, le niveau d’éducation ou les revenus) de ceux qui sont conscrits et de ceux qui ne le sont pas et attribuer sans risque les « impacts » à la conscription (Angrist 1990). Étant donné que toutes les personnes conscrites ne servent pas réellement dans l’armée et que certaines personnes non conscrites se portent volontaires pour le service militaire, il est également possible d’estimer l’impact du service militaire réel sur le comportement futur en ajustant les impacts de la conscription pour tenir compte des différences dans la proportion de personnes servant dans l’armée dans les groupes de traitement et de comparaison. Cependant, la validité de cette procédure repose de manière cruciale sur la comparabilité des vétérans du service militaire dans les deux échantillons.
L’AVENIR DES EXPÉRIENCES SOCIALES
Les expériences sociales ont changé de caractère depuis la fin des années 1960. De nombreuses premières expériences sociales, telles que les expériences NIT, les expériences sur l’assurance chômage et l’expérience Rand sur l’assurance maladie, ont testé une « surface de réponse » dans laquelle les sujets recevaient des traitements « quantifiables » de taux d’imposition ou de subvention variables. En revanche, la plupart des expériences sociales plus récentes sont des « boîtes noires », ce qui signifie qu’un ensemble de traitements est donné au groupe de traitement, et qu’il n’est pas possible d’identifier séparément les effets causaux de chaque composant de l’ensemble.
Les expériences de boîtes noires ont été critiquées parce qu’elles ont tendance à avoir beaucoup moins de généralisabilité que les expériences de surface de réponse. Par conséquent, de nombreux chercheurs ont appelé à un retour à l’évaluation non expérimentale comme méthode privilégiée d’analyse des effets des politiques sociales. Cependant, les partisans des méthodes expérimentales ont rétorqué que l’expérimentation sociale devait rester le fondement de l’évaluation des politiques sociales, car les avantages sont toujours aussi grands par rapport aux méthodes non expérimentales (Burtless 1995). Dans une tentative de « pénétrer dans la boîte noire », les partisans de l’expérimentation sociale en tant qu’outil d’évaluation ont proposé des moyens de combiner les méthodes d’évaluation expérimentales et non expérimentales pour identifier les effets causaux des politiques sociales (Bloom 2005). Les méthodes non expérimentales sont nécessaires en raison d’un biais de sélection qui survient lorsque les membres du groupe de traitement qui reçoivent certaines composantes du traitement ne sont pas un sous-ensemble aléatoire de l’ensemble du groupe de traitement. À l’avenir, l’évaluation de la politique sociale peut faire un plus grand usage des deux méthodologies d’évaluation – en utilisant des expériences lorsque cela est possible et en les combinant avec des méthodes non expérimentales lorsque les expériences ne peuvent pas répondre à toutes les questions politiques pertinentes.
SAIS AUSSI Impôt sur le revenu négatif
BIBLIOGRAPHIE
Angrist, Joshua D. 1990. Gains au cours de la vie et loterie d’incorporation de l’ère du Vietnam : Evidence from Social Security Administrative Records. American Economic Review 80 (3) : 313-336.
Bloom, Howard S., ed. 2005. Apprendre davantage des expériences sociales. New York : Russell Sage Foundation.
Burtless, Gary. 1995. The Case for Randomized Field Trials in Economic and Policy Research. Journal of Economic Perspectives 9 (2) : 63-84.
Greenberg, David, et Mark Shroder. 2005. The Digest of Social Experiments. 3rd ed. Washington, DC : Urban Institute Press.
Greenberg, David, Donna Linksz, et Marvin Mandell. 2003. Social Experimentation and Public Policymaking. Washington, DC : Urban Institute Press.
Smith, Vernon. 1994. L’économie en laboratoire. Journal of Economic Perspectives 8 (1) : 113-131.
Philip K. Robins
.