Parce qu’une décision prise à partir d’un questionnaire, d’un test ou d’une grille vaut ce que vaut l’outil. Notre travail consiste à s’assurer que l’outil mesure ce qu’il doit mesurer, que les analyses répondent à la bonne question et que les conclusions restent à la hauteur des données.
01
Mesure et évaluation
Recueillir les bonnes informations, de la bonne façon, pour répondre à une question précise.
La mesure et l’évaluation (MEV) est la discipline qui s’occupe de traduire une question concrète en informations qu’on peut recueillir, comparer et interpréter. Elle couvre le choix de ce qu’on mesure, la façon de le mesurer, la qualité de ce qu’on obtient et l’usage qu’on en fait.
Elle n’est pas réservée aux chercheurs. Chaque fois qu’une organisation utilise un questionnaire, un test, une grille ou un sondage pour prendre une décision, elle fait de la mesure. Notre rôle est de rendre cette mesure rigoureuse et utilisable.
Ressources humaines
Formation
Éducation
Recrutement
Certification
Services
Programmes
Processus
Changements et décisions organisationnelles
02
Psychométrie
Examiner la qualité d’un outil, de ses questions et des scores qu’il produit.
La psychométrie est l’ensemble des méthodes qui permettent de vérifier si un outil mesure bien ce qu’il prétend mesurer. Elle s’applique aux tests, mais tout autant aux questionnaires, aux grilles d’évaluation, aux entrevues structurées et aux examens.
Concrètement, elle sert à répondre à des questions comme : cette question distingue-t-elle vraiment les personnes? Les scores sont-ils stables d’une fois à l’autre? L’outil mesure-t-il une chose ou plusieurs? Les éléments de preuve suffisent-ils pour l’usage prévu, par exemple sélectionner, certifier ou classer?
Fidèle, mais pas valideLes résultats sont constants, mais à côté de ce qu’on veut mesurer.
Ni fidèle ni valideLes résultats changent d’une fois à l’autre et ne visent rien.
Fidèle et valideLes résultats sont constants et mesurent ce qu’ils doivent.
Fidélité : les tirs se regroupent. Validité : ils visent le centre. Un outil utile fait les deux — et la psychométrie vérifie chacun séparément.
03
Analyse de données
Choisir les analyses pertinentes, les réaliser et interpréter les résultats en fonction de la question de départ.
Une analyse n’a de valeur que si elle répond à la question posée. Nous commençons par la question, vérifions la qualité des données, puis choisissons les analyses, simples ou avancées, qui permettent d’y répondre.
Le rapport dit ce que les données permettent de conclure, et ce qu’elles ne permettent pas. Cette seconde partie compte autant que la première : une conclusion qui dépasse les données mène à de mauvaises décisions.
04
Évaluation
Vérifier si une formation, un programme, un service, un processus, un changement ou une technologie produit ce qu’on en attend.
Évaluer, c’est comparer ce qui se passe à ce qui était visé. Cela suppose de définir ce qu’on attend, de le mesurer au bon moment, auprès des bonnes personnes, et de tenir compte de ce qui aurait pu changer de toute façon.
Nous appliquons cette démarche à des formations, à des programmes, à des services, à des processus, à des interventions, à des changements organisationnels et à l’introduction de technologies, dont l’IA.
Formation
Programme
Service
Processus
Intervention
Changement organisationnel
Technologie ou IA
05
Développement, révision et validation d’outils
Concevoir un outil à partir du besoin, le mettre à l’essai, l’ajuster et documenter sa qualité.
Le cycle complet va du besoin au suivi : définir ce qu’on veut mesurer, concevoir l’outil, rédiger les questions, le mettre à l’essai, analyser les réponses, valider, interpréter, améliorer et suivre l’outil dans le temps.
Nous pouvons prendre en charge tout le cycle ou intervenir à une seule étape, par exemple réviser des questions déjà écrites ou planifier la validation d’un outil que votre équipe a conçu.
Besoin
Clarifier l’enjeu et la décision qui dépendra des résultats.
Construit à mesurer
Nommer précisément ce qu’on veut mesurer : une compétence, une satisfaction, un apprentissage, un climat.
Conception
Choisir la forme de l’outil et ce que chaque partie doit couvrir.
Développement
Rédiger ou réviser les questions, les consignes et l’échelle de réponse.
Mise à l’essai
Faire passer l’outil à un premier groupe et observer comment chaque question se comporte.
Analyse
Examiner la qualité des questions, des scores et de la structure.
Validation
Réunir les éléments de preuve qui soutiennent l’usage prévu.
Interprétation
Traduire les résultats en constats lisibles, avec leurs limites.
Amélioration
Retirer, réécrire ou ajouter ce qu’il faut pour que l’outil fasse son travail.
Suivi
Vérifier dans le temps que l’outil fonctionne toujours et l’ajuster au besoin.
06
Évaluation des compétences
Examens, grilles, entrevues et mises en situation qui permettent de juger une compétence de façon comparable d’une personne à l’autre.
Évaluer une compétence demande de la décrire en comportements observables, de choisir la forme d’évaluation qui convient (examen, grille, entrevue, mise en situation) et de s’assurer que deux évaluateurs arrivent au même jugement.
Cette expertise sert à la certification professionnelle, à la sélection de personnel, à l’évaluation du rendement et à la reconnaissance des acquis.
Vocabulaire
Quelques termes, expliqués
Les mots du métier, au moment où ils servent.
01Item
Une question ou un énoncé d’un questionnaire, d’un test ou d’une grille.
02Fidélité
La constance des résultats : deux passations, ou deux évaluateurs, donnent-ils la même chose?
03Validité
La solidité des éléments de preuve qui appuient l’usage qu’on veut faire des résultats.
04Structure
Ce que l’outil mesure réellement : une seule dimension, ou plusieurs qui doivent être lues séparément.
05Analyse d’items
L’examen de chaque question : sa difficulté, sa capacité à distinguer les répondants, le comportement de ses options de réponse.
06Banque d’items
Un ensemble de questions documentées et calibrées, dans lequel on puise pour construire des versions équivalentes d’un examen.
Toujours dans cet ordre
Notre approche
Six étapes, toujours dans cet ordre.
01
Partir de la question à résoudre.
Avant l’outil et avant la méthode, ce qu’il faut savoir pour agir.
02
Déterminer quelles informations sont nécessaires.
Auprès de qui, à quel moment, sous quelle forme.
03
Choisir une méthode adaptée au contexte.
Un sondage, un test, une grille, une entrevue, une analyse de données existantes, ou une combinaison.
04
Produire des résultats interprétables.
Des tableaux et des graphiques qu’une personne non spécialiste peut lire.
05
Faire ressortir les limites des conclusions.
Ce que les données permettent de dire, et ce qu’elles ne permettent pas.
06
Relier les résultats à la décision ou à l’utilisation prévue.
Un résultat n’est utile que s’il change quelque chose à ce que vous ferez ensuite.
Ce que ça donne, pour vous
Enjeu concret
Ce qui se passe dans votre organisation.
Question de mesure
Ce qu’il faut savoir pour agir, et auprès de qui.
Intervention
L’outil, l’analyse ou l’accompagnement qui y répond.
Livrable
Ce que vous recevez : outil, rapport, synthèse, formation.
Utilisation
La décision ou l’amélioration que les résultats permettent.
Qui intervient
L’équipe
Les personnes, leurs expertises, leur formation et leur rôle dans les mandats.
?
Fiche à compléter avec une personne réelle.
Nom à confirmer
Rôle à confirmer
Formation à confirmer (diplôme, discipline, établissement)
Mesure et évaluation
Psychométrie
Analyse de données
Rôle dans les mandats à décrire en une ou deux phrases.
?
Fiche à compléter avec une personne réelle.
Nom à confirmer
Rôle à confirmer
Formation à confirmer (diplôme, discipline, établissement)
Développement d’instruments
Évaluation de programmes
Formation
Rôle dans les mandats à décrire en une ou deux phrases.
Vous avez une question ou un projet? Parlons-en.
Décrivez-nous votre situation en quelques lignes. Nous déterminerons avec vous le type d’intervention qui peut être pertinent.