TESTING | observatoire

La méthode de « l’audit par couple » ou testing consiste à envoyer, en réponse à une offre d’emploi, 2 CV accompagnés d’une lettre de candidature qui ne diffèrent que par une caractéristique : la variable à tester. La méthode, classique dans les pays anglo-saxons et légale en France est recommandée par le BIT. Elle peut aussi consister en l’envoi de plus de 2 CV en parallèle pour une même offre. Nous avons réalisé plusieurs dizaines d'opération depuis 2004 à la demande d'entreprises, d'organisations ou à notre initiative. Plus de 20 000 CV ont été conçus et envoyés et nous disposons d'une large CV thèque régulièrement actualisée. Les variables pouvant faire l’objet de ces testings sont nombreuses et notamment :

L’origine (du Maghreb et d’Afrique subsaharienne)
L’Age (50 anspar exemple)
Le Handicap
L’apparence physique (Personne obèse ou au visage disgracieux)
Le genre et/ou la situation matrimoniale (femme avec enfants par exemple).
L'orientation sexuelle
L'adresse (ZUS par exemple)
L'orgine sociale

Seule l’étape de la sélection des CV fait l’objet du test.

Sélection des offres d’emploi
Le choix du type d’emplois auxquels postulent les candidats est fait de telle sorte que nous puissions disposer de chances raisonnables d’obtenir des réponses tout en disposant d’un échantillon représentatif des recrutements. Notre équipe, par sa connaissance du marché de l’emploi, cherchera à sélectionner des offres d’emploi pour lesquelles :

Le taux de retour sera maximum : cela permettra d’augmenter le nombre d’observations valides (nombre de réponses positives reçues pour une entreprise), ce qui est essentiel pour la fiabilité statistique des écarts constatés.
Le risque de se faire repérer par les recruteurs est réduit, ce qui est un point essentiel de notre mission.

Pour cela, il ne faut pas que le profil cherché soit trop rare. En effet, il nous faut construire des CV de qualité mais dont les caractéristiques soient suffisamment variées pour que nos CV ne se ressemblent pas trop. Il faut donc que l’offre d’emploi accepte un minimum de variété dans les profils recherchés. La date de publication de l’offre est récente. Il nous faut en effet réagir suffisamment vite pour maximiser le taux de retour. Au bout d’un certain temps, une entreprise a reçu suffisamment de CV, elle ne consulte plus les nouveaux CV.

Construction des CV
Pour chacune des offres d’emploi auxquelles nous répondons, nous adressons un couple de CV :

Un CV dit "de référence" : celui d’un homme de 30 ans, sans photo, "français de souche" par son nom et son prénom
Un CV qui se différencie du premier par la variable à tester : nom et prénom à consonance maghrébine, mention du handicap, photo…

Ces 2 CV doivent être les plus équivalents possibles, sans être identiques afin que l’entreprise ne repère pas le testing en cours. Nos équipes construisent ces CV pour chacune des offres d’emploi auxquelles nous postulons.
NB. Plusieurs jeux de CV peuvent être envoyés pour une même offre si les offres sont en nombre insuffisant.

Gestion des candidatures
Cette étape du processus comprend l’envoi des candidatures et le recueil des réponses

Une fois les candidatures construites, nous postulons auprès de l’entreprise, selon le mode de candidature précisé par l’entreprise :

Il faut éviter que les recruteurs testés ne puissent identifier les candidats factices. Pour cette raison nous répartissons les envois sur plusieurs mois.

Envoi des candidatures
- Par courrier
- Par e-mail
- Par dépôt d’une candidature sur le site internet de l’entreprise
Recueil des réponses

Nous effectuons très régulièrement le relevé des réponses des entreprises testées. Nous consultons les boîtes e-mails et les répondeurs téléphoniques de nos candidats factices. Nous avons pour cela créé plusieurs centaines d’adresses e-mail et de lignes téléphoniques

Analyse complémentaire
En parallèle de notre étude des discriminations, nous pouvons également mener une analyse qualitative du processus de recrutement de l’entreprise. En effet, nous allons nous placer pendant notre étude "dans la peau" de véritables candidats. Nous demandons à nos opérateurs de consigner leurs observations autour des thèmes suivants :

type de questions posées aux candidats
accessibilité et simplicité d’utilisation des outils en ligne
clarté de l’explication des processus de sélection
clarté des offres d’emploi, des métiers
délais de réponses positives et négatives, clarté des réponses
qualité de traitement des candidatures spontanées

Notre connaissance du marché et des processus de recrutement nous permet également de réaliser une comparaison par secteur et qualifications.

La validité méthodologique du testing

Au début des années 1990, s’inspirant de tests de discrimination avec acteurs menés en Grande Bretagne et aux Etat Unis, le Bureau International du Travail lança le programme « Combatting discrimination against migrant workers and ethnic minorities in the world of work ». Il fut notamment décidé d’uniformiser les méthodes de testing afin de permettre la comparaison internationale. Lapublication par Bovenkerk, en 1992, d’un "Manual for international comparative research on discrimination on the grounds of race and ethnic origin" correspond à cet objectif. La méthode du BIT offre une méthode reposant sur l’identification des différentes étapes du recrutement (envoi du CV, contact téléphonique, entretien d’embauche). A chaque fois on mesure le taux de succès des candidats.

Depuis 1992, plusieurs pays ont effectivement réalisé des études utilisant le protocole du BIT. La première étude fut menée par le centre pour l’égalité des chances en Belgique [1], puis suivirent le Canada [2], l’Allemagne [3], les Pays-Bas [4], l’Espagne [5], les Etats-Unis [6] et l’Italie. Des recherches similaires ont été menées dans les années 90 et 2000 dans plusieurs pays comme au Danemark ou en France [7]. La France à l’instigation de Jean-François Amadieu, conseiller scientifique auprès de la DARES a décidé en 2005 de mener un test de discrimination avec la méthode et l’encadrement du BIT qui garde la maîtrise du processus et en particulier de la formation et du suivi des acteurs par ses propres personnels. Celui-ci reste centré sur la seule variable d’origine. Les testings menés par l’Observatoire des discriminations se distinguent souvent par la pluralité des variables de discrimination testés dans un même testing et par les méthodes employées pour garantir la comparabilité des candidats (panels d’évaluateurs de l’apparence, passation de tests préalables, techniques de casting lors de la sélection) et la comparabilité des prestations (enregistrement audio et vidéo).

Fiabilité statistique d’un audit par couple.

Il n’y a pas de taille minimale d’échantillon de tests a priori puisque tout dépendra de la différence constatée entre le candidat de référence et le deuxième candidat. La question du nombre de test minimum nécessaire pour obtenir des résultats statiquement valides est rarement discutée dans la littérature scientifique. Cette absence peut se justifier par le fait que les mesures réalisées a posteriori sur les tests effectués garantissent la significativité des résultats, sans qu’un seuil minimum de tests valides soit établi a priori. Cependant, plus le nombre de tests sera élevé plus l’intervalle de confiance sera faible et donc la qualité du test meilleure.

Riach et Rich recensent en 2002 l’ensemble des recherches fondées sur la méthodologie d’audit par couples et le nombre de tests valides [8] à chaque fois ; pour les tests de correspondance relatifs à la discrimination fondée sur l’origine ethnique sur le marché du travail, ce nombre varie entre 12 et 267 en Grande-Bretagne, et entre 24 et 265 aux Etats-Unis. Pour la discrimination basée sur le sexe, ce nombre se situe entre 8 et 112 selon les recherches.

Ce qui est apprécié dans ces recherches ce n’est donc pas le nombre de tests valides à atteindre (ce seuil n’est jamais discuté) mais la significativité de la différence dans les taux de convocation et d’embauche entre les deux candidats.

Notre méthode de calcul de fiabilité ne prend en compte que les réponses aux offres pour lesquelles un seul des 2 candidats a reçu une réponse positive.

L’objectif est de calculer, par un moyen simple et compréhensible, la probabilité que la situation constatée se produise dans un contexte de parfaite égalité de traitement. En effet, dans ce cas, on peut supposer que lorsque le recruteur ne souhaitait convoquer qu’un de nos deux candidats en entretien, chacun des 2 avait strictement la même chance que l’autre de recevoir une réponse positive.

Méthode de travail

Le bon profil Envoyé spécial

[1] Arrijn Iisa Peter, Feld Serge et Nayer André. 1999. Discrimination in access to employment on grounds of foreign origin : the case of Belgium. Geneva : Intern ational Labour Office, Employment Department.

[2] Raskin C. 1993. De facto discrimination, immigrant workers and ethnic minorities : A Canadian overview. Geneva : International Labour Office, Employment Department. WEP working paper.

[3] Goldberg Andreas, Mourinho Dora et Kulke Ursula. 1996. Labour market discrimination against foreign workers in Germany. Geneva : International Labour Office, Employment Department.

[4] Bovenkerk Frank, Gras M.J.I et Ramsoedh D. 1994. Discrimination against migrant workers and ethnic minorities in access to employment in the Netherlands. Geneva : International Labour Office.

[5] Prada M. Angel de et et al. 1996. Labour market discrimination against migrant workers in Spain. Geneva : International Labour Office, Employment Department.

[6] Bendick M., Jr. 1996. Discrimination against racial/ethnic minorities in access to employment in the United States : empirical finding from situation testing. Geneva : International Labour Office, Employment Department.

[7] Notamment à l’initiative de l’Observatoire des discriminations de l’Université Paris I en 2004, 2005 et 2006 ou des acteurs sont envoyés aux entretiens d’embauche ou réalisent des tests professionnels (langue), d’habileté et de personnalité. Signalons aussi le travail de Pascale Petit cf. : « La discrimination à l’embauche dans le secteur financier français : une étude économétrique sur données d’audits par couples », Emmanuel Duguet et Pascale Petit, 2003. Néanmoins, dans ce dernier cas, il n’y a pas d’acteurs envoyés aux entretiens.

[8] Test pour lequel au moins un des deux candidats a reçu une réponse positive.