La recherche menée par l'économiste de la Banque Mondiale Shahidur Khandker et Mark Pitt est sans doute l'une des plus commentées dans la littérature. Publiée en 1998, soit six ans après l'enquête et alors que les premiers résultats étaient déjà discutés depuis quatre années sous forme de documents de travail, elle présente un état de l'art de l'époque en matière quasi-expérimentale. Réalisée auprès des trois principales IMF bangladaises, cette étude s'est appuyée sur la sélection de villages témoins accédant aux programmes de microcrédit et sur des villages de contrôle non desservis. La comparaison s'est de plus appuyée sur plusieurs techniques statistiques pour rectifier l'hétérogénéité constatées entre les deux groupes. Elle montrait que les crédit accordés aux femmes se traduisaient par un surcroît de revenu équivalent à 18% des sommes empruntées. Ainsi, 5% des ménages parvenaient chaque année à sortir de la pauvreté. L'étude pointait en outre des retombées positives du microcrédit sur l'économie du village. Elle indiquait enfin qu'une augmentation de la scolarisation des enfants, principalement les filles dans le cas de la Grameen Bank, alors que les garçons sont plus favorisés parmi les familles d'emprunteuses des deux autres programmes.
Cette publication a reçu un large écho, non seulement parce qu'elle s'intéressait à des IMF particulièrement en vue, mais également car le processus académique aura maintenu un suspense de six années entre l'enquête et la publication des résultats. Toutefois, le modèle économétrique employé et les résultats subséquents furent immédiatement réfutés par Jonathan Morduch, un grand nom de la recherche sur la microfinance. Appliquant aux mêmes données une autre technique statistique, il obtint un résultat bien différent : le crédit n'aurait en fait pas eu d'effet significatif sur le niveau de revenu, mais uniquement sur sa diversification et la réduction de son irrégularité.
Sur la base de données complémentaires récoltées lors d'un deuxième passage d'enquêtes dans les mêmes villages entre 1998 et 1999, Khandker publiait entre 2003 et 2005 une deuxième série de résultats. Fondés sur une technique statistique plus sophistiquée, il montrait cette fois que les crédits accordés aux femmes se traduisaient par un surcroît de revenu équivalent à 20% des sommes empruntées. Entre les deux vagues de sondages, on constatait ainsi une réduction de la pauvreté de 18% dans les villages desservis par le microcrédit, contre seulement 13% dans ceux n'y ayant pas accès. Mais encore une fois, ces résultats furent remis en cause par Morduch et ses collègues, ceux là même qui dirigeraient plus tard la plupart des recherches randomisées. Appliquant leurs propres méthodes statistiques à la même base d'information, ils arguèrent que la seule conclusion valable à partir de ces enquêtes était que les ménages moins démunis empruntent plus. A peu de temps d'intervalle, des critiques similaires furent adressées à d'autres évaluations d'impact emblématiques, affectant la crédibilité de l'ensemble des approches quasi-expérimentales. Mais ces réfutations ont également corroboré la volonté pragmatique d'acteurs de la microfinance qui souhaitaient trouver une alternative à des évaluations aussi couteuses, dont les résultats arrivaient toujours plusieurs années après l'observation, selon des formes peu exploitables par les opérateurs, tout en demeurant irrémédiablement contestés par les chercheurs.
Mark M. Pitt, Shahidur R. Khandker, Omar H. Chowdhury, Daniel L. Millimet, « Credit programs for the poor and the health status of children in rural bangladesh* », International Economic Review, 44(1), Fév. 2003, pp. 87-118
Jonathan Morduch, Does microfinance really help the poor? New evidence from flagship programs in Bangladesh, Cambridge, Harvard University, Discussion paper, Juin. 1998, à la page web : http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.29.6311&rep=rep1&type=pdf.
Shahidur R. Khandker, « Microfinance and Poverty: Evidence Using Panel Data from Bangladesh », The World Bank Economic Review, 19(2), January 01 2005, pp. 263-286, à la page web : http://wber.oxfordjournals.org/content/19/2/263.abstract.
David Roodman, Jonathan Morduch, The impact of microcredit on the poor in Bangladesh: Revisiting the evidence, Washington DC, Center for Global Development, Working Paper, 2009, à la page web : http://papers.ssrn.com/sol3/papers.cfm?abstract_id=1472073.
Philippines – Le cas des études opérationnelles AIMS-SEEP
L'étude dirigée en 2000 par Helen Todd auprès de l'ONG de microfinance ASHI, a été la plus visible parmi celles initiées par le projet « Assessing the Impact of Microenterprise Services ». AIMS fut impulsé en 1999 par l'agence de coopération nord-américaine USAID et coordonné par le réseau d'organismes nord-américain d'appui à la microfinance SEEP. Il a été déterminant dans la rupture avec les approches purement académiques et le développement d'un courant d'évaluation tourné « vers les praticiens » pour « une approche intermédiaire de l’analyse d’impact, qui soit à la fois utile, fiable et d’un coût raisonnable ». Elle fut appliquée à cette une réplication de la Grameen Bank fondée par l'Université Los Baños des Philippines. L'équipe de recherche fut composée d'experts commandités par USAID et de personnel d'ASHI. Elle réalisa des enquêtes auprès de 154 emprunteuses régulières depuis plus de 4 ans et 90 non clientes sélectionnés dans des communautés jugées similaires mais n'ayant pas accès à la microfinance. Les évaluateurs disposaient également de données historiques grâce un système d'appréciation de la pauvreté que l'institution applique à tous les nouveaux entrants. Ils tentèrent de reconstituer le même type d'antécédents en interrogeant le groupe de contrôle sur leur niveau de vie quatre années auparavant.
L'étude a montré que 76% des emprunteuses étaient au départ en situation d'extrême pauvreté, alors que la plupart n'étaient, après quatre ans de microcrédit, plus que « modérément pauvres », et que 22% avaient même dépassé ce seuil. Parmi les non-clientes, 49% demeuraient extrêmement pauvres et seules 2% étaient sorties de la pauvreté. Les enquêtes relevaient en outre l'acuité, au delà du niveau moyen des ressources, des fluctuations périodiques des revenus et elles mirent en évidence le rôle décisif du microcrédit dans la création d'un patrimoine qui s'avérait essentiel pour prémunir des chocs tels que la crise économique que traversaient les Philippines au moment de l'enquête. L'évaluation pointait également que 10% des clientes quittaient annuellement l'institution. Toutefois, lorsque d'anciennes clientes étaient interrogées sur les raisons de leur départ, la plupart répondaient qu'elles estimaient ne plus avoir besoin de crédit, tout en s'affirmant satisfaites des services d'ASHI et envisageaient d'en solliciter à nouveau dans le futur.
Avec une dizaine d'autres, cette étude a permis à AIMS de mettre au point une méthodologie prête à l'emploi pour qu'une IMF puisse réaliser une étude d'impact, avec ou sans l'appui d'une organisation extérieure. Diffusée sous la forme d'un guide, la méthode consiste en un kit de cinq outils : une méthode d'évaluation quantitative de l'impact, ainsi que des techniques plus qualitatives ou hybrides pour appréhender le niveau et les raisons de désertion des usagers, leur satisfaction, leurs stratégies d'utilisation des services et les dynamiques liées à l'émancipation des femmes. Dans la version la plus diffusée, il est d'ailleurs recommandé d'utiliser comme groupe de contrôle des personnes clientes de l'institution depuis moins de six mois, considérant qu'ils sont semblables aux anciens clients, mis à part que le programme n'a pas encore eu effet sur eux. Étant en accès libre, le mode d'emploi d'évaluation a inspiré la plupart des évaluations hybrides quantitatives-qualitatives menées par la suite.
Néanmoins, le protocole d'enquête employé pour cette étude, tout comme la méthodologie AIMS dans son ensemble, ont été vivement critiquées et ne trouvent aujourd'hui quasiment plus aucune crédibilité scientifique. En effet, les normes académiques remettent aujourd'hui complètement en cause les procédures quantitatives adoptées et minimise la validité des résultats qualitatifs. Elles rejettent en particulier la taille de l'échantillon adoptée, le mode de sélection du groupe de contrôle et surtout le biais induit par la constitution du groupe de contrôle par d'anciens clients, excluant les insatisfaits qui auraient décidé de quitter l'institution. Plus largement, les académiques en économie tendent à ne plus considérer comme des preuves valables celles obtenues par des outils qualitatifs, a fortiori quand des acteurs des programmes évalués ont pris part à leur élaboration.
C'est pourtant cette implication de l'institution qui constitue l'incidence la plus significative de l'étude d'impact d'ASHI. L'expérience a en effet renforcé une démarche d'apprentissage au sein de l'organisation qui réalise depuis lors un suivi régulier du niveau de vie de ses usagers. Suite à son évaluation, ASHI a d'ailleurs rejoint le consortium Imp-Act (voir chapitre 1) afin de poursuivre l'innovation, et d’utiliser les études pour la prise de décision opérationnelle, l'adaptation de ses produits ou encore sa stratégie à long terme.
Pérou. Etudes du Consortium Imp-Act – Combinaison quantitatif – qualitatif
Un exemple de l'approche du Consortium Imp-Act fut l'étude menée auprès d'un réseau d'ONG rurales péruviennes entre 2001 et 2002, combinant un outil de mesure de la pauvreté basée sur des prédicteurs de pauvreté dérivés d'enquêtes ménages, de diagnostics économiques approfondis et un protocole d'entretiens qualitatifs. Cette recherche a mis en évidence que les ONG en question tendaient à se tourner vers un public généralement moins pauvre que ce que leur déclarations institutionnelles affirmaient. Elle a surtout révélé un impact très différencié, montrant que si un peu plus de la moitié des emprunteurs voyaient leurs conditions de vie s'améliorer avec le crédit, une portion significative n'en retirait aucune utilité et qu'il s'avérait même néfaste pour près du cinquième d'entre eux. Paradoxalement, l'impact du prêt s'avérait de plus de 80% supérieur pour le tiers initialement le moins démunis des clients. Les enquêtes qualitatives ont permis d'affiner l'identification des profils les plus à même de bénéficier des services. Les plus avantagées étaient les personnes socialement insérées disposant d'expérience et d'opportunités en matière d'activités économiques. De surcroît, l'endettement apparaissait souvent préjudiciable pour les personnes les plus économiquement vulnérables et socialement marginalisées.
Ces résultats ont permis d'alimenter des orientations opérationnelles, comme le besoin d'adapter les méthodes de ciblage et les modalités de l'offre de services aux plus précaires. Toutefois, ils se sont révélés coûteux et longs à produire. Leur publication survint trois ans après l'enquête, attestant du décalage des pas de temps de la recherche et de l'opération. Ces contraintes ont amené Imp-Act à renoncer par la suite à concilier deux ambitions fondamentales : établir rigoureusement un lien de cause à effet entre l'intervention et changement des conditions de vie des usagers, tout en produisant des connaissances utiles pour la pratique. Privilégiant ce dernier objectif, ce projet s'est concentré à partir de 2005 sur les « performances sociales », c'est à dire, en amont de l'impact, à la cohérence entre d'une part les objectifs sociaux de l'institution, et d'autre part les systèmes et activités qu'elle met en œuvre.
Source : James Copestake, Peter Dawson, J. P. Fanning, A. McKay, Katie Wright-Revolledo, «Monitoring the diversity of the poverty outreach and impact of microfinance: a comparison of methods using data from Peru », Development Policy Review, 23(6), Nov. 2005, pp. 703-723.
Maroc – Les études « randomisées »
Le regain d’intérêt des chercheurs spécialisés en microfinance pour l'évaluation de son impact est dû à la « révolution randomisatrice » qu’Al Amanaa au Maroc a été une des premières IMF à tester, avec l’appui de l’AFD et du Poverty Action Lab. Les résultats préliminaires ont été présentés en 2010.
Al Amana opère avec le statut d'association de microcrédit. Basée à Casablanca et concentrant son intervention dans des zones urbaines déjà saturées par une forte concurrence, l'institution avait prévu de s'implanter en milieu rural. Pour l'évaluation, on recensa en 2006 162 villages vers lesquels Al Amana envisageait de s'étendre, définissant des couples de villages similaires et tirant au sort lequel des deux recevrait des services. L'échantillon fut constitué à partir de 25% des ménages de chaque village de traitement et de contrôle, choisis sur la base d'un sondage censé détecter les plus propices à solliciter du microcrédit. Au total, 5666 foyers ont été enquêtés.
Les premières et principales conclusions issues de cette étude, font état d’une amélioration de l’accès au crédit. En fonction des différents motifs et utilisations du microcrédit, l’effet sur la consommation est positif, négatif ou neutre sur toute ou partie de ses composantes. L’effet sur la consommation est hétérogène selon le niveau de richesse des ménages. Il est négatif et significatif pour les ménages qui étaient plus riches au départ (ceux dont la consommation initiale se situait au dessus de la médiane) alors qu’il est positif mais non significatif pour ceux qui étaient moins riches au départ (ceux dont la consommation initiale se situait en dessous de la médiane). En revanche, si le crédit est utilisé à des fins d’investissement et qu’il est utilisé en complément d’un autofinancement des ménages, la consommation peut baisser. De la même manière, le microcrédit peut être un moyen pour les ménages de s'engager inter-temporellement dans la constitution d'une épargne.
En terme d’impact sur les activités et sources de revenus des ménages ruraux, le microcrédit a un effet positif sur les revenus tirés de l’agriculture avec une augmentation significative des dépenses, des ventes et des profits et un effet positif sur l’épargne détenue sous forme de cheptel. Sur les activités autres qu’agricoles (commerce, artisanat et services), les effets sont très imprécis et non significatifs dus à leur part insignifiante dans les activités des ménages ruraux. L’effet sur la distribution des revenus change avec le microcrédit, les revenus liés à l’auto emploi augmentent au détriment des revenus salariés. L’effet sur l’expansion des activités agricoles à compte propre explique l’absence d’effet sur la consommation.
Le travail des enfants, malgré le développement des activités liées à l’agriculture et à l’élevage, reste stable. En revanche, le taux de scolarisation des enfants dans les villages traitement passe de 0,73 dans les villages contrôles à 0,76. Par rapport à l’émancipation des femmes rurales, l’effet est nul à deux ans, celles-ci ne représentent que 32% des emprunteurs. L’étude ressort par ailleurs que sur 1,88 activités gérées au sein d’un ménage rural, les hommes sont responsables en moyenne de 1,5 activités alors que les femmes ne sont responsables en moyenne que de 0,38 activités.
L'expérimentation s'est toutefois heurtée à la résistance des ménages assignés au groupe de traitement à solliciter les services. Seuls 12% ont décidé d'emprunter. De plus, nombre d'habitants des villages exclus parvinrent à obtenir des prêts ailleurs, malgré les arrangements négociés avec les autres IMF pour éviter cela. Ces deux phénomènes conjugués produisirent un très faible différentiel d'exposition au programme, celui-ci demeurant crucial pour la méthode comparative de l'étude.
Pour être décelables et statistiquement significatifs, les effets sur les emprunteurs devraient être considérables. Concernant la consommation par exemple, la limite de détection minimum était de 20%, c'est à dire que le revenu des emprunteurs aurait dû augmenter dans cette proportion pour que l'effet se dénote à l'échelle du test, ce qui n'a pas été le cas. Impossible en revanche de déterminer s'il a varié dans une plus faible proportion. L'évaluation n'a pas non plus détecté d'impact en matière de création d’activités, d’éducation ou d’autonomie des femmes. En revanche, elle a décelé des effets sur l’expansion des activités déjà existantes, en particulier d'élevage, ainsi que sur l’autoconsommation et sur l’épargne.
Il semble malgré tout que l'enseignement le plus saillant de cette expérience ait été la méconnaissance des attentes réelles des populations rurales marocaines en termes de services financiers et de l'inadaptation à cette demande de l'offre alors proposée par Al Amana. Pour tenter de palier cette lacune, l'AFD a chargé une équipe de socio-économistes et d'anthropologues de l'IRD et du CIRAD d'effectuer une enquête qualitative complémentaire. Afin d’expliquer, plutôt que mesurer, les relations entre services financiers et conditions de vie des usagers, cette étude s’est concentrée sur l’analyse des trajectoires de vie, des jeux d’acteurs, des contextes agro-écologiques et des systèmes socioéconomiques complexes. Elle a mis en lumière une propension généralement faible à s’endetter, liée en particulier à la notion de déshonneur qui lui est associée dans ces zones. Elle a aussi relativisé une conclusion majeure de la randomisation en montrant que le bétail remplissait avant tout une fonction d'épargne pour ces ménages, plutôt que d'activité génératrice de revenus. L'enquête a également mis en évidence les divergences profondes entre la finalité déclarée et l'utilisation réelle des crédits, qui sont dans les faits majoritairement dirigés vers la consommation, alors qu’ils apparaissent le plus souvent comme des investissements productifs agricoles dans les statistiques de l’IMF. Les chercheurs relevèrent par ailleurs une très forte différence de potentiel économique entre villages, ainsi que le rôle déterminant que jouent les cultures régionales et les leaders d’opinions locaux. L'analyse qualitative a enfin pointé des différentiels de compétences techniques et de sociabilité des agents de crédit de chaque agence, qui ont une influence significative.
