Introduction

Dans les enquêtes standards en face-à-face, certains individus peuvent être réticents à dévoiler des informations personnelles concernant leurs expériences et leurs préférences, par crainte d’un manque de confidentialité ou pour se conformer à la norme sociale prévalente. Les questions sensibles peuvent aussi créer une gêne ou un stress lorsqu’elles portent sur des expériences douloureuses ou des sujets controversés.

Face à ces possibles biais de mesure, l’enquête, ici dénommée « LE Insécurité », a combiné deux méthodes différentes : des questions directes et un protocole expérimental basé sur la méthode par comptage de réponses. Cette dernière évite aux personnes interrogées de dévoiler directement l’information qui les concerne, et permet ainsi, en évitant toute forme d’intrusion, de mesurer les taux de prévalence exempts de biais déclaratifs.

La méthode par comptage de réponses (« LE » pour list experiment, aussi appelée item-count technique) a été mobilisée dans des contextes divers pour documenter les biais déclaratifs portant sur une grande variété de comportements, comme le vote (Holbrook & Krosnick, 2010), l’utilisation de prêts (Karlan & Zinman, 2012), le fait d’avoir subi des actes de violence physique (Porter et al., 2021), les comportements sexuels (Jamison et al., 2013 ; Coffman et al., 2017), l’utilisation de préservatifs chez les travailleuses du sexe (Treibich & Lépine, 2019 ; Lépine et al., 2020) et les violences domestiques ou conjugales (voir par exemple Joseph et al., 2017 ; Agüero et Frisancho, 2022 ; Cullen, 2023). Des LE ont aussi été menées pour mesurer les biais de réponses portant sur les opinons sur le mariage des enfants (Asadullah et al., 2021) ou l’excision (De Cao & Lutz, 2018 ; Gibson et al., 2018).

À notre connaissance, l’efficacité de cette méthode, comparée au questionnement direct, pour mesurer des expériences et attitudes vis-à-vis de l’insécurité dans un contexte de conflit n’a pas encore été examinée par la littérature. C’est l’objectif de l’enquête « LE Insécurité », menée au Mali en juillet 2021[1]. Plus précisément, l’enquête visait à mesurer la prévalence de cinq expériences et attitudes liées à l’insécurité et au conflit au sein de la population malienne, ainsi que les biais déclaratifs qui peuvent caractériser ces questions sensibles lorsqu’elles sont posées de manière directe. Le présent article propose un retour d’expérience sur cette enquête, dans le but d’apprécier, d’une part, la faisabilité d’un dispositif d’enquête LE et, d’autre part, son efficacité par rapport à la méthode standard d’enquête par questions directes, dans le contexte d’un état fragile et autour de questions sensibles liées à l’insécurité.

La base de sondage nationale à partir de laquelle a été sélectionné l’échantillon a été fournie par l’Institut national de la statistique du Mali (Instat). L’enquête a été coordonnée par le groupe de recherche en économie appliquée et théorique (GREAT) à Bamako, et menée du 6 au 20 juillet 2021, par téléphone, par une équipe de 12 enquêteur·trice·s recruté·e·s et formé·e·s par le GREAT, en collaboration avec les concepteur·trice·s de l’enquête. Le choix de mener l’enquête par téléphone a été dicté par le contexte sanitaire lié à l’épidémie de Covid-19. Malgré les risques d’un faible taux de réponse qui caractérise généralement les enquêtes par téléphone, cette stratégie nous a permis d’interroger un échantillon d’individus provenant de toutes les régions du Mali, moyennant un coût relativement modeste. Disposer d’un échantillon couvrant la totalité des régions du pays permet de renforcer la validité de nos résultats au niveau national.

Les résultats principaux montrent que le déroulement de l’enquête par téléphone a été un succès. Sur les 1 719 numéros de téléphone composés, plus de 91 % se sont avérés fonctionnels. Cela a permis de contacter 1 569 personnes sur tout le territoire national, parmi lesquelles seulement 60 n’ont pas consenti à répondre, soit 3,8 %. L’échantillon final de 1 509 individus est composé en parts égales d’hommes et de femmes adultes, d’âge moyen de 42 ans, dont environ 40 % ont terminé l’école primaire, et dont environ 80 % déclarent être mariés.

Les résultats de l’enquête expérimentale montrent des biais déclaratifs substantiels sur les préférences politiques. Ces biais sont plus marginaux sur les expériences liées à l’insécurité. Il apparaît notamment que les répondant·e·s sur-déclarent d’environ 11 points de pourcentage leur soutien à la mise en place d’un régime militaire au Mali et sous-déclarent dans les mêmes proportions leur confiance envers les forces armées étrangères. Ainsi, 63 % des enquêté·e·s pensent que le Mali d’aujourd’hui doit être dirigé par l’armée (alors que 74 % le déclarent) et 36 % (plutôt que 24,7 %) font confiance aux forces armées étrangères. Ces biais de réponse sont assez proches de ceux identifiés par la littérature en sciences politiques concernant le soutien aux régimes en place en Chine et Russie (Blair et al., 2020).

Dans la suite de l’article, nous présentons dans un premier temps la méthode de l’enquête, puis ses principaux résultats en revenant sur le déroulement de l’enquête et les spécificités d’une enquête téléphonique et par comptage de réponses. Ensuite, nous proposons des éléments de discussion et concluons.

La méthode de l’enquête

L’échantillonnage

L’Instat nous a fourni l’échantillon de l’enquête harmonisée sur les conditions de vie des ménages de 2018 (EHCVM), représentatif aux niveaux national, régional et urbain/rural. Cette base d’enquête contient 6 602 ménages avec 8 000 individus. Le numéro de téléphone mobile d’au moins un·e membre est disponible pour 92 % de ces ménages.

Afin de constituer notre échantillon, nous avons sélectionné 2 000 numéros de téléphone (un par ménage) par un tirage aléatoire stratifié par région et par sexe. Cet échantillon a été divisé en deux listes, une principale (1 400 individus) et une de remplacement (600). Les personnes sur la liste principale ont d’abord été contactées. En cas d’échec de contact, un autre individu vivant dans la même région a été sélectionné à partir de la liste de remplacement. Plus de détails sur le protocole de remplacement sont fournis dans l’annexe A.

La méthode par comptage de réponses exige la séparation de l’échantillon entre un groupe de contrôle et un groupe de traitement de façon aléatoire. Le fonctionnement de cette méthode est détaillé dans la section suivante. Les deux groupes ont été constitués sur la base d’un tirage aléatoire stratifié par région et par sexe. Les caractéristiques observables des deux groupes, permettant d’apprécier la validité du processus d’assignation aléatoire, sont décrites dans le paragraphe « Assignation des répondants aux groupes de traitement et de contrôle ». Finalement, 1 719 personnes ont été contactées (874 dans le groupe de contrôle, 845 dans le groupe de traitement), et parmi elles, 1 509 ont été jointes par téléphone et ont accepté de répondre au questionnaire (764 dans le groupe de contrôle, 745 dans le groupe de traitement).

La méthode par comptage de réponses (LE)

La méthode par comptage de réponses consiste à lire à l’enquêté·e des listes d’énoncés (dans notre cas, trois ou quatre par liste, selon le statut de traitement), sans qu’il·elle ne réagisse à chacun des énoncés, mais en lui demandant de déclarer le nombre total d’énoncés avec lesquels il·elle est d’accord. Au groupe de traitement sont présentées des listes chacune contenant quatre énoncés, dont un énoncé sensible. Au groupe de contrôle sont présentées les mêmes listes ne contenant que les trois énoncés non sensibles. Cette enquête comprend cinq listes, dans le but de mesurer la prévalence et le biais déclaratif caractérisant cinq expériences ou attitudes liées à l’insécurité.

Pour chaque liste, la comparaison entre la réponse moyenne donnée par le groupe de traitement, qui a répondu à la version de la liste avec l’énoncé sensible, et la réponse moyenne donnée par le groupe de contrôle, qui a répondu à la version sans l’énoncé sensible, fournit la prévalence de l’énoncé sensible. Par ailleurs, nous avons interrogé les individus du groupe de contrôle de façon directe sur les cinq questions sensibles qui font l’objet de l’enquête. La comparaison entre les réponses à ces questions directes et les taux de prévalence mesurés à partir du LE permet d’estimer la taille des biais déclaratifs.

La familiarisation avec la méthode du LE a fait l’objet d’une partie importante de la formation des enquêteur·trice·s. Afin de s’assurer de la bonne compréhension de la méthode par les enquêté·e·s, les enquêteur·trice·s ont notamment été invité·e·s, au début du module LE du questionnaire et après avoir expliqué le format spécifique des questions à venir, à bien expliciter le fait que l’enquêté·e ne doit pas réagir à chaque énoncé mais seulement donner, en fin de liste, le nombre d’énoncés qu’il·elle approuve.

Pour faciliter la compréhension par l’enquêté·e du fonctionnement du LE, les enquêteur·rice·s ont utilisé la liste-test suivante, puis discuté avec l’enquêté·e des différentes options de réponses :

a) J’aime bien discuter avec mes voisins

b) Hier, je suis allé.e au marché

c) Hier, j’ai appelé ma sœur

d) J’ai été malade récemment

En particulier, ils·elles clarifiaient le fait qu’une personne qui, par exemple, aime bien discuter avec ses voisins, n’est pas allée au marché hier, n’a pas appelé sa sœur, mais a été malade récemment, doit répondre : « 2 » (car les affirmations a et d sont vraies dans son cas). Une personne qui n’aime pas beaucoup discuter avec ses voisins et qui n’a pas été malade depuis longtemps mais qui, hier, est allée au marché et a appelé sa sœur, doit également répondre : « 2 » (les affirmations b et c sont vraies dans son cas).

Il était fondamental pour la bonne qualité des données récoltées que les enquêté·e·s comprennent bien le fonctionnement des questions par listes, et donc que les enquêteur·trice·s prennent le temps de l’expliquer de la façon la plus pédagogique possible. Pour que l’enquêté·e arrive à suivre le compte des énoncés avec lesquels il·elle est d’accord, l’enquêteur·trice lui conseillait de commencer chaque liste avec le poing fermé et de lever un doigt à chaque énoncé avec lequel il·elle était d’accord. En fin de liste, il·elle n’avait ainsi qu’à indiquer combien de doigts étaient levés. Les formateur·trice·s ont bien souligné l’importance, dans le cadre de cet exercice, de lire les affirmations calmement et de faire une pause entre chaque énoncé, pour laisser le temps à l’enquêté·e de le comprendre et de décider s’il·elle levait ou non un doigt.

Afin de ne pas introduire de biais liés aux caractéristiques propres à chaque enquêteur·trice, ils·elles n’ont pas été alloué·e·s à un des groupes, mais devaient administrer les deux types de questionnaires en suivant un tirage qui leur était assigné.

Le questionnaire

Le questionnaire comporte trois modules communs à l’ensemble des personnes enquêtées, et un module décliné en deux versions selon que l’enquêté·e est assigné·e au groupe de traitement ou de contrôle. Il est important de mentionner que les enquêté.e.s pouvaient à tout moment interrompre le questionnaire.

Le module d’introduction est commun à tou·te·s. Il permet d’entrer en contact, de présenter l’objet de l’enquête, et d’identifier si la personne contactée est éligible – c’est-à-dire âgée de 18 ans au moins – ou, à défaut, si un·e autre membre de son ménage peut être enquêté·e. Si la personne contactée (ou un·e autre membre de son ménage) est éligible mais indisponible au moment de l’appel, le module d’introduction permet également de fixer un rendez-vous pour poursuivre l’enquête à un autre moment. Enfin, le consentement à participer à l’enquête est recueilli ici.

Une fois le consentement obtenu, le questionnaire proprement dit commence. Le deuxième module (module de caractéristiques générales), également commun à tou·te·s, recueille des informations sur l’âge, le niveau scolaire, le statut matrimonial, la langue maternelle et la commune de résidence. Les individus sont également interrogés sur l’année depuis laquelle ils résident dans leur commune.

Le troisième module concerne notre objet d’étude : les cinq expériences et attitudes liées à l’insécurité. Il est décliné en deux versions, respectivement administrées au groupe de traitement et au groupe de contrôle.

Le groupe de traitement est interrogé sur les cinq expériences et préférences liées à l’insécurité sous la forme de cinq listes. Chaque liste comporte quatre énoncés, parmi lesquels un énoncé sensible – dont on veut mesurer la prévalence. L’enquêteur·trice lit chaque liste à l’enquêté·e et lui demande d’indiquer, à la fin de chaque liste, le nombre total d’énoncés avec lesquelles il·elle est d’accord. L’enquêté·e ne nomme donc pas les énoncés avec lesquelles il·elle est d’accord, il·elle donne seulement le nombre d’énoncés avec lesquelles il·elle est d’accord. Les listes contenant quatre énoncés, la réponse de l’enquêté·e à chaque liste est un chiffre compris entre 0 et 4.

Le groupe de contrôle, quant à lui, est interrogé sur les cinq expériences et préférences sensibles qui font l’objet du module Insécurité de manière traditionnelle : l’enquêteur·trice demande aux enquêté·e·s de répondre directement par Oui ou Non à ces cinq questions. Le groupe de contrôle est également mobilisé pour le list experiment : l’enquêteur·trice lit aux enquêté·e·s du groupe de contrôle les cinq listes desquelles les énoncés sensibles ont été retirés, et leur demande d’indiquer, à la fin de chaque liste, le nombre total d’énoncés avec lesquelles ils·elles sont d’accord. Les listes comptant donc cette fois trois énoncés, les réponses à chaque liste sont comprises entre 0 et 3.

Comme expliqué dans le paragraphe « La méthode par comptage de réponses (LE) », la comparaison entre la réponse moyenne observée pour chaque liste dans le groupe de traitement et dans le groupe de contrôle fournira, pour l’analyse, la mesure de la prévalence de chaque énoncé sensible exempte de biais déclaratifs.

Les listes sont reportées dans le tableau 1, où les énoncés sensibles – lus uniquement au groupe de traitement et posés sous forme de questions directes au groupe de contrôle – apparaissent en italique. Les questions directes posées au groupe de contrôle sont reportées dans le tableau 2. Les enquêté·e·s avaient la possibilité de ne pas répondre/passer toutes les questions directes qui leur étaient posées, aussi bien celles sensibles que les questions posées dans le module Caractéristiques générales.

Enfin, le questionnaire contient un dernier module, commun à toutes les personnes interrogées. Ce module de conclusion permet de remercier l’enquêté·e, de l’informer sur son droit de retrait, et de lui fournir un numéro de téléphone s’il·elle souhaite être mis·e en contact avec des organismes spécialisés dans l’accompagnement de personnes victimes de violence. C’est aussi dans ce module final que l’enquêteur indique la langue utilisée pour l’entretien.

Les modules d’introduction, de consentement et de caractéristiques générales sont reportés en annexe B.

Tableau 1 : Listes du module Insécurité

Tableau 2 : Questions directes du module Insécurité, posées au groupe de contrôle

Les résultats

Assignation des répondants aux groupes de traitement et de contrôle

La validité du LE repose sur l’assignation aléatoire des répondant·e·s aux groupes de traitement et de contrôle. Afin de vérifier que les deux sous-groupes ne sont pas statistiquement différents l’un de l’autre, le tableau 3 reporte les caractéristiques moyennes des personnes enquêtées selon qu’elles appartiennent aux groupes de traitement ou de contrôle, ainsi que la p-valeur associée à la différence de moyennes entre les deux groupes (t-test sur les moyennes)[2]. Les variables Âge et Date de résidence dans la commune actuelle sont des variables continues. Toutes les autres variables du tableau sont des variables dichotomiques, qui prennent la valeur 1 lorsque la caractéristique est observée chez l’individu. Leurs moyennes peuvent donc être interprétées comme des proportions.

Il apparaît que les deux groupes sont statistiquement similaires. Aucune des différences entre les deux groupes n’est significative, exception faite de la part de personnes qui ont vécu ailleurs que dans la commune de résidence actuelle, la différence étant significative au seuil de 10 %. Aucune différence n’est constatée sur les régions de résidence et la proportion d’hommes (variables de stratification), l’âge, le niveau d’éducation, le fait d’être marié ou les langues maternelles.

L’échantillon est constitué de 54 % d’hommes, d’un âge moyen de l’ordre de 42 ans. Moins de 50 % des répondant·e·s ont achevé le cycle primaire d’éducation, 88 % sont marié·e·s, la moitié parle le bambara comme langue maternelle, et moins de 20 % le sonrhaï. Enfin, ils·elles résident dans leur commune actuelle depuis l’année 1987 en moyenne, et 30 % d’entre eux·elles avaient résidé dans une autre commune antérieurement.

Tableau 3 : Caractéristiques moyennes, groupes de traitement et de contrôle

* p-valeur < 10%

Déroulement et spécificités de l’enquête

L’enquête s’est déroulée par téléphone et sur tablette Android, avec le logiciel ODK Collect. Les entretiens téléphoniques ont eu lieu dans les locaux du GREAT. Le questionnaire contenu dans les tablettes était rédigé en français, les traductions étant disponibles en format papier dans les cinq autres langues proposées aux enquêté·e·s : bambara, soninké, tamasheq, peulh, sonrhaï.

La personne enquêtée a choisi la langue de l’entretien. Dans le cas où l’enquêteur·trice ne maîtrisait pas la langue souhaitée, le·la superviseur·se désignait au sein de l’équipe un·e enquêteur·trice en mesure de réaliser l’entretien dans la langue choisie par l’enquêté·e.

L’enquête a été menée exclusivement par téléphone – un format qui peut impliquer des difficultés spécifiques. En comparaison avec un entretien en face-à-face, un entretien téléphonique peut notamment rendre plus difficile la compréhension mutuelle, par exemple parce que les expressions ne sont pas visibles et le son peut être altéré ; et impliquer davantage de sources de déconcentration (coupures de réseau, bruit environnant, difficulté pour l’enquêté·e de s’isoler pour répondre, etc.). La confiance et la patience de l’enquêté·e peuvent aussi être plus difficiles à gagner, et il.elle peut notamment craindre d’être contacté·e par des démarcheur·se·s ou des escrocs.

Pour assurer le succès de l’enquête, la formation au questionnaire a particulièrement mis l’accent sur les particularités de l’entretien téléphonique afin que les enquêteur·trice·s y soient aussi attentif·ive·s que possible. En particulier, la présentation claire de l’institution d’appartenance en tout début d’entretien a fait l’objet d’une attention spécifique. Les enquêteur·trice·s ont aussi été invité.e.s à faire régulièrement des pauses pour s’assurer qu’ils·elles étaient bien entendu·e·s et compris·e·s. Plus prosaïquement, la vérification des niveaux de batterie et de crédit des tablettes et téléphones avant tout appel a été systématique. Par ailleurs, nous avons élaboré le questionnaire le plus parcimonieux possible, de façon à limiter autant que possible la durée des entretiens. Finalement, une vingtaine de minutes en moyenne étaient suffisantes pour réaliser un questionnaire complet.

Conserver l’attention de l’enquêté·e pendant toute la durée de l’entretien téléphonique représentait néanmoins un défi à relever par les enquêteur·trice·s, en même temps qu’ils·elles saisissaient des réponses sur tablette. À cet égard, le temps consacré à la familiarisation aux outils et à l’entraînement sur le questionnaire lors de la formation des enquêteur·trice·s s’est avéré particulièrement utile.

Les superviseur·se·s ont également joué un rôle clé, façonné par la particularité des entretiens téléphoniques. En plus de s’assurer du bon fonctionnement du matériel, ils ont notamment pris en charge l'allocation des enquêté·e·s aux enquêteur·trice·s et leur réallocation en cas d’incompatibilité dans les langues parlées, le suivi des prises de rendez-vous, la mobilisation de la liste de remplacement en cas de besoin. Les superviseur·se·s ont aussi assuré le suivi et le contrôle régulier du travail fourni par les enquêteur·trice·s ainsi que la vérification des questionnaires remplis et incomplets, et la transmission des données collectées au serveur de stockage.

Les personnes enquêté·e·s ont reçu une compensation pour leur participation à hauteur de 1 000 FCFA, sous forme de crédit téléphonique versé au numéro contacté une fois le questionnaire terminé.

Non-réponse

Sur les 1 719 numéros de téléphone composés, seulement 41 ne fonctionnaient pas et 109 n’ont jamais répondu (après plusieurs tentatives sur plusieurs jours). Plus de 91 % des numéros se sont donc avérés fonctionnels. Cela représente un succès, dans la mesure où ces numéros avaient été collectés trois ans auparavant. Un autre succès de l’enquête réside dans le taux de consentement. Dans le strict respect des protocoles d’éthique en vigueur, une fois la prise de contact effectuée, l’enquêteur·trice devait expliquer l’objet de l’enquête et demander le consentement à mener l’enquête. Sur les 1 569 personnes contactées, seulement 60 n’ont pas consenti à répondre, soit 3,8%.

Au total 210 personnes n’ont donc pu être enquêtées, ce qui correspond à un taux de non-réponse d’environ 12 % (tableau 4). Fait intéressant et rassurant, la probabilité de non-réponse au niveau individuel n’est pas fonction du groupe d’assignation (traitement ou contrôle) des personnes contactées.

Cependant, un certain nombre de membres du groupe de contrôle n’a pas souhaité répondre à certaines des questions sensibles posées directement : seulement 0,3 % pour les deux premières questions, 3,3 % (25 observations) pour la troisième question (Est-ce que vous, ou un membre de votre ménage, êtes prêt à prendre les armes pour défendre votre communauté ?), 13 % (99 observations) pour la quatrième question (Est-ce que le Mali d’aujourd’hui doit être dirigé par l’armée ?) et 9,3 % (71 observations) pour la cinquième question (Faites-vous confiance aux forces armées étrangères au Mali ?). Ces refus de répondre pourraient suggérer un degré plus élevé de sensibilité des questions concernées.

Tableau 4 : Nombre de non-répondants et taux de non-réponse total et par groupes

Prévalences mesurées 

L’utilisation de la méthode LE permet de calculer des taux de prévalence exempts de biais déclaratif de cinq expériences et attitudes liées à l’insécurité au Mali. Spécifiquement, pour chacune des cinq questions posées sous forme de LE, nous comparons la réponse moyenne obtenue dans les groupes de traitement et de contrôle à l’aide d’une régression contrôlant pour les variables de stratification (région et genre), ainsi que pour des effets fixes par enquêteur·trice. Ceci permet de s’assurer de la validité de l’assignation aléatoire aux groupes, et de corriger pour d’éventuelles différences systématiques entre enquêteur·trice·s. La différence estimée entre les deux réponses moyennes représente ainsi le taux de prévalence de l’énoncé sensible.

Le tableau 5 présente les résultats. La première ligne du tableau montre les niveaux tels que mesurés avec un questionnement direct ; sur la deuxième ligne figurent les écarts entre les taux de prévalence issus du questionnement direct et ceux en LE. Enfin, la dernière ligne montre les taux de prévalence sans biais estimés grâce à la méthode LE. Sur la base des réponses obtenues avec le LE, il apparaît que 17,1 % des répondant·e·s, ou un membre de leur ménage, ont subi une agression physique dans les douze derniers mois (Q1). 16,9 % des ménages des répondant·e·s possèdent une arme à feu (Q2). Dans un pays en conflit depuis presque une décennie, 30,4 % des répondant·e·s comptent un·e membre de leur ménage prêt·e à prendre les armes pour défendre sa communauté (Q3). Enfin, quelques semaines après le coup d’État de mai 2021 et après huit ans de présence militaire étrangère, 63,2 % des personnes enquêtées considèrent que l’armée doit être à la tête du pays (Q4), et 36,3 % font confiance aux forces étrangères présentes au Mali (Q5).

Par ailleurs, le protocole révèle que les biais déclaratifs sont importants avec la méthode directe pour les réponses portant sur les préférences politiques, mais moins pour celles sur les expériences liées à l’insécurité. Il apparaît notamment que les répondant·e·s sur-déclarent d’environ 11 points de pourcentage leur soutien à la mise en œuvre d’un régime militaire et sous-déclarent dans les mêmes proportions leur confiance envers les forces étrangères. Ces résultats peuvent être rapprochés de ceux relevés dans une méta-analyse effectuée par Blair et al. (2020). Les 21 études répertoriées menées dans des régimes autoritaires, essentiellement la Chine et la Russie, estiment aussi des biais de réponses aux questions posées directement sur le soutien au régime en place ou sur l’opposition à de tels régimes. Les tailles des biais estimés sont très cohérentes avec nos résultats, puisqu’elles s’élèvent en moyenne à 14 et 8 points de pourcentage selon qu’est mesuré le soutien ou l’opposition au régime.

Tableau 5 : Taux de prévalence des questions sensibles par technique d’enquête et biais de réponse estimé

Conclusion

Plusieurs enseignements peuvent être tirés de l’enquête « LE Insécurité » menée en juillet 2021 en partenariat avec le GREAT, aussi bien concernant la collecte des données que leur analyse.

Concernant la collecte des données, le protocole d’enquête par list experiment apparaît être un outil très riche mais également complexe à mettre en place. L’expérience du projet « LE Insécurité » semble notamment montrer que le succès d’une enquête expérimentale avec LE repose largement sur les compétences des enquêteur·trice·s recruté·e·s et sur la qualité de la formation au questionnaire. D’autre part, une enquête par téléphone demande des ajustements particuliers. Dans le cas présent, le taux de contact a finalement été élevé et la non-réponse rare – alors que l’usage de la téléphonie mobile dans un pays comme le Mali, et notamment l’habitude de changer régulièrement de puce téléphonique, faisait craindre de grandes difficultés à contacter des numéros collectés trois ans plus tôt. Ce taux élevé de contact a vraisemblablement reposé, au moins en partie, sur (i) un échantillonnage flexible, n’imposant pas que le contact soit établi avec la personne ayant déclaré le numéro de téléphone concerné dans la base de sondage utilisée ; (ii) une rigueur particulière des enquêteur·trice·s et supervieur·se·s dans le suivi des tentatives d’appels et des rappels ; et (iii) un protocole de remplacement permettant de compenser les quelques difficultés de contact rencontrées.

Concernant l’analyse des données, la méthode LE offre des possibilités vastes pour produire des mesures sans biais d’expériences et de préférences potentiellement sensibles, mais également pour quantifier les biais de réponse qui peuvent les caractériser lorsqu’elles sont mesurées par questions directes. Les résultats de l’analyse des données collectées par l’enquête LE Insécurité sont prometteurs dans ces deux directions. L’exploration des données permettra également de souligner d’éventuelles hétérogénéités dans les biais de mesure et ainsi d’identifier des segments de la population dont les expériences et préférences peuvent être particulièrement difficiles à mesurer de façon standard. Un tel enseignement pourrait s’avérer particulièrement important pour le ciblage et l’évaluation des politiques publiques liées à l’insécurité, par exemple dans une perspective de prise en charge des victimes ou de désarmement.

Annexes

Annexe A : Modules du questionnaire communs à tou·te·s les enquêté·e·s

Module Introduction

Bloc Remplacement

Bloc Suite à la prise de rendez-vous

Module de consentement

Module de caractéristiques générales 

Annexe B : Protocole de remplacement

Comme expliqué dans le paragraphe « L’échantillonnage », l’échantillon de 2 000 numéros de téléphone a été divisé aléatoirement en une liste principale de 1 400 numéros, et une autre de remplacement de 600 numéros. La liste de remplacement a été mobilisée lorsqu’un numéro de la liste principale ne pouvait faire l’objet d’une enquête, en particulier en cas de numéro non attribué, de refus de participer, ou d’absence de personne éligible dans le ménage.

Plus précisément, les 1 400 numéros de téléphone de la liste principale ont été répartis entre les 12 enquêteur·trices de l’équipe. En cas d’échec d’un appel, l’enquêteur·trice était invité·e à indiquer si le numéro était non attribué ou si le téléphone n’avait pas été décroché. Dans le premier cas, la liste de remplacement était mobilisée par le·la superviseur·se pour fournir à l’enquêteur·trice un numéro de téléphone alternatif ayant le même statut de traitement, en veillant à respecter l’équilibre du tirage par région. Dans le second cas, l’enquêteur·trice rappelait le numéro trois fois par jour, pendant trois jours, avant de solliciter un numéro de remplacement.

Notons que, si la base de sondage EHCVM fournissait l’identité du propriétaire de chaque numéro de téléphone en 2018, ainsi qu’un ensemble de ses caractéristiques, le protocole d’enquête n’imposait pas que la personne ayant répondu à l’EHCVM soit retrouvée. En particulier, l’enquête « LE Insécurité » a été proposée, et administrée en cas de consentement, à toute personne éligible (c’est-à-dire majeure) ayant répondu à un numéro de téléphone échantillonné.

En cas de contact téléphonique avec une personne non éligible (personne âgée de moins de 18 ans), l’enquêteur·trice cherchait à établir le contact avec un membre éligible du même ménage – soit directement pendant ce premier appel, soit en rappelant au même numéro ou à un numéro alternatif indiqué par l’interlocuteur·trice, au moment opportun.

Le protocole de prise de contact et de remplacement est résumé dans la figure 1.

Les 12 enquêteur·trice·s du GREAT ont finalement mené l’enquête auprès d’un échantillon de 1 509 personnes : 764 dans le groupe de contrôle et 745 dans le groupe de traitement.

Figure 1 : Protocole de prise de contact et de remplacement