Section 4 : Démarche et choix du modèle de l’évaluation 4-1. Le processus de l’évaluation de la formation Selon Jouvenel et Masingue (1995), « l’évaluation de la formation ne commence pas après la formation, elle commence avant et elle se déroule en continu tout au long de l’action pour s’achever quelquefois longtemps après la fin d’une action ».Evaluer c’est comparer l’idéal avec le réalisé. Pour une évaluation complète du processus de la formation, il faut évaluer chaque étape : de la phase d’analyse préalable jusqu’à l’évaluation.
Pour l’évaluation de l’analyse préalable, vérifier si la méthodologie de recueil de l’information et des besoins en formation était bonne. Pour l’évaluation non pédagogique, contrôler si le programme planifié correspond à ce qui a été demandé dans la phase d’analyse. L’évaluation de la préparation pédagogique, vérifie si la formation répond aux objectifs fixés, les grandes orientations méthodologiques fixées, les contenus délimités, l’enchaînement des activités,…Pour l’évaluation en elle-même, évaluer le degré de satisfaction des participants, l’atteinte des objectifs et le transfert dans les pratiques,…4-1-1.
Démarche de l’évaluation de la formation :HADJI Charles (2000), distingue plusieurs phases chronologiques dans le processus de l’évaluation :Avant la formation : Établissement de la stratégie d’évaluationL’évaluation avant la formation est une évaluation diagnostique qui permet de situer les prérequis des apprenants tant sur le plan des connaissances que des savoir-faire.Permet de proposer une remédiation adaptée aux manques. C’est d’abord définir ce que l’on veut afin de vérifier, par la suite, si les buts visés ont été atteints.L’objectif de cette étape d’évaluation est précisément la définition du besoin de formation à travers l’analyse des écarts entre la situation future et de la situation actuelle et l’élaboration d’un plan de formation ou de cahiers de charges.Pendant la formation : Évaluation du degré de satisfaction et du taux d’atteinte des objectifs Pédagogiques L’évaluation formative est une évaluation qui s’effectue pendant la période d’apprentissage, elle cherche à situer les difficultés pour aider la personne à découvrir les procédures qui lui permettent de progresser dans son apprentissage.
Pratique qui reste à l’intérieur du système, pratiquée pendant la formation et qui fournit des informations utiles à la régulation et à l’adaptation des activités d’apprentissage (questionnaires, feed-back, exercices, observation…).L’évaluation formative vise l’ajustement des attentes des personnes en formation et des objectifs de la formation, c’est une évaluation progressive et finale du degré de satisfaction des personnes formées par rapport à la formation et à son déroulement, et du niveau d’acquisition de connaissances, d’habiletés ou de comportements, ainsi que prévision de l’utilisation des acquis en situation de travailAprès la formation : Évaluation des résultats de la formation en situation de travail. Evaluation sommative ou terminale, ce type d’évaluation se situe en fin de période de formation et permet de vérifier si l’apprenant a atteint les objectifs fixés.
Cherche à fournir le bilan de l’apprentissage à communiquer à l’extérieur du système et peut donner lieu à une certification (tests avant et après, questionnaire exercices, simulations…).C’est l’étape ultime de l’évaluation qui vise l’évaluation du transfert des acquis, l’évaluation des impacts organisationnels, l’évaluation des coûts de la formation et le suivi de l’effort de formation. En effet, à cette étape, se mesurent la mise en œuvre des acquis de la formation par les personnes participantes dans leur situation de travail et les conséquences organisationnelles de cette mise en œuvre. C’est à ce moment que l’organisation sera en mesure d’évaluer si la formation a été un investissement ou une simple dépense sans résultats concrets, si elle a engendré une modification des pratiques de travail et si cette modification a eu des conséquences concrètes et positives pour la personne elle-même comme pour son organisation.4-1-2. Les types de l’évaluation de la formation :On peut synthétiser la méthode de l’évaluation de la formation en deux grands types.
L’une, dite « à chaud », se fait immédiatement après la formation elle sert à connaître le degré de satisfaction de chaque salarié. Cette première évaluation doit être complétée par une évaluation dite « à froid », réalisée plusieurs semaines voire plusieurs mois après la formation.Evaluation à chaud Ce type d’évaluation se fait à l’aide d’un questionnaire d’évaluation rempli à la fin de chaque action de formation ou par tour de table, et qui s’intéresse au déroulement de l’action de la formation, Elle est réalisée systématiquement par le responsable quelle que soit la formation, et cherche à évaluer le degré de satisfaction en général, la qualité des méthodes et supports utilisés durant la formation, la prestation du formateur, la possibilité d’appliquer les acquis, les conditions générales (logistique, hébergement restauration,…), et leurs suggestions d’amélioration. Donc c’est une opportunité pour les bénéficiaires de s’exprimer sur les conditions générales de déroulement de l’action et la qualité des interventions et de la documentation et éventuellement sur les attentes à venir, et les nouveaux besoins ressentis. Evaluation à froid Cette évaluation vise à étudier la mise en pratique de la formation en situation de travail, l’usage des supports pédagogiques distribués pendant la formation, les facteurs clés de succès de la formation, et l’appui du supérieur hiérarchique,….C’est une évaluation qui peut être conduite dans le cadre d’ateliers (semi directifs avec un échantillon de bénéficiaires) ou sous la forme d’un questionnaire à remplir destiné aux bénéficiaires de la formation, ou d’un entretien avec le responsable immédiat du cadre ou de l’agent afin de mesurer l’impact de la formation sur le développement des pratiques, professionnelles, et son utilité opérationnelle, ce questionnaire s’intéresse à la qualité de l’animation (compétences pédagogiques de l’animateur, ambiance générale…
), le contenu et l’intérêt de la formation (adaptation par rapport aux attentes, contenu pratique etc.), et les conditions de réalisation (matérielles et logistiques, durée du stage, planification …
).Par ailleurs, c’est une évaluation au choix qui peut être conduite 4 à 6 mois après la fin de la formation, et seul un échantillon de bénéficiaires, préalablement identifiés, est concerné.4-1-3. Le suivi de la formationLe suivi étape qui suit la formationLe suivi est l’étape qui suit la formation et qui se préoccupe de l’utilisation efficace du savoir et du savoir-faire acquis par chaque formé. Selon l’AFNOR, le suivi formation est une action qui permet de s’assurer du bon déroulement de la prestation de formation, éventuellement jusqu’au transfert de capacités en situation de travail.
Elle comprend les suivis pédagogique, administratif et financier. La formation, une fois faite, les salariés sont la plupart du temps laissés à eux-mêmes, car plusieurs employeurs oublient de s’assurer de l’amélioration des performances de leurs salariés après la période de formation. En conséquence, il faut évaluer non seulement les résultats de la formation dans l’immédiat mais aussi établir un suivi après la formation. Il s’agit de stimuler et d’accompagner le formé dans la mise en œuvre, apporter des compétences de formations, de mettre en valeur les progrès accomplis, de définir les développements éventuels de l’action… il s’agit de faire en sorte que les nouvelles acquisitions et les nouvelles comportements deviennent partie intégrante des habitudes de travail du formé.Cependant, le suivi est le processus systématique du recueil, de l’analyse et de l’utilisation d’information visant à déterminer en continu les progrès d’un programme en vue de la réalisation de ses objectifs et à guider les décisions relatives à sa gestion.
Les types de suivi Le suivi de la formation se fait en deux manières : le suivi administratif et le suivi comptable.Le suivi administratif :C’est suivre la gestion prévisionnelle de la formation avec les différentes structures de l’organisation, dans le retrait et le départ en formation d’un certain nombre de collaborateurs et les dispositions conséquentes, ceci afin que le fonctionnement de l’unité de travail ne s’en trouve trop perturbé.Le responsable de formation doit suivre la réalisation et la réparation de certains documents.
Le suivi administratif s’agit aussi de suivre le déroulement de la formation tant sur le disciplinaire (la présence l’assiduité) que sur le plan pédagogique (enseignement théorique et pratique).Le suivi comptable :C’est le suivi budgétaire. Il s’agit de contrôler l’ensemble des engagements financiers qui répartissent comme suit :- les frais qui sont liés à la participation et à la mise en cause de la formation : ils incluent la rémunération des formateurs et celle des personnes qui ont contribué dans le travail d’élaboration de contrôle.- les dépenses de matériel, tel que l’entretien et l’amortissement des équipements utilisés au cours de la formation ;- les fournitures de fonctionnement courants : déplacement, hébergement, location, assurance, frais de téléphone et de courrier ;- coût des locaux : salle de cours, ateliers.Donc l’importance accrue de la formation a conduit les organisations à développer de véritables outils (tableau de bord) pour rationaliser le suivi administratif et budgétaires de leurs actions et pour faciliter le contrôle des réalisations par rapport aux prévisions.C’est un outil de mesure qui offre à la fois une base de données et une source des ratios et des indicateurs de la formation continue.
Les objectifs du suivi de formation :Le suivi est entrepris une fois que le programme a démarré et se poursuit tout au long de la période d’exécution du programme. Il est parfois dénommé « évaluation du processus », « évaluation des performances » ou « évaluation formative ».Toutefois, le suivi est un puissant moyen pour accroître l’efficacité globale de la formation car il permet :De compenser la réduction des durées des stages en favorisant la capitalisation des connaissances par des outils de mémorisation et de développement des connaissances.D’accroître la rentabilité à court terme des formations en favorisant l’application des connaissances par des dispositifs d’accompagnement adaptés.De passer de l’individu apprenant à l’équipe apprenante en développant la généralisation des connaissances grâce à des méthodes de démultiplications, formalisation et application collective des connaissances.
Alors, le suivi de formation apporte une réponse pertinente à trois fondamentales, a savoir La réduction de la durée des stages, l’exigence de retour sur l’investissement à court terme, le passage de l’individu « apprenant » à « l’équipe apprenante ».En résumé, Le suivi et le contrôle de la qualité de la formation sont importants pour la crédibilité de chaque organisation et pour l’intérêt des participants, tant au niveau stratégique qu’au niveau de chaque projet spécifique de développement.4-2.
Modèles de l’évaluation de la formation continue Pour aborder la question de l’évaluation et de l’efficacité de la formation, la littérature présente de nombreux modèles d’évaluation. Parmi eux on trouve le modelé de Donald Kirkpatrick qui occupe une place prépondérante.4-2-1. Le choix du modèle de Kirkpatrick : Il faut noter qu’il s’agit d’un modèle plus populaire, en effet la plupart des modèles s’inspirent de ce modèle ou l’améliore.
Bates (2004) identifie trois raisons à sa popularité, le modèle répond aux besoins de comprendre l’évaluation des professionnelles de la formation, le modèle fait correspondre la formation avec les enjeux économique des organisations, enfin, il simplifie le processus complexe de l’évaluation.Cependant, et selon le même auteur, il apparait évident que l’apparition de ce modèle a eu un certain nombre d’effets positifs, il a fait la distinction entre les apprentissages juste après la formation et les transferts, il a pointé l’importance de penser la formation en termes économiques, et met en avant le fait qu’il y ait plusieurs résultats à une formation. Figure SEQ Figure * ARABIC 1: Le modèle de recherche retenu4-2-2. Modèle de Kirkpatrick de l’évaluation de la formation continueIl s’agit du modèle le plus utilisé par les professionnels de la formation mais aussi par les chercheurs travaillant sur l’évaluation des actions de formation (Santos et Stuart, 2003).Le modèle Kirkpatrick, Initié en 1959 par le chercheur américain Donald Kirkpatrick, Comprend la méthodologie d’évaluation de la formation la plus avancée au monde, et continue à être le cadre de référence le plus populaire en matière d’évaluation. Ceci est certainement attribuable à sa pertinence et à sa simplicité.Il est constitué de quatre niveaux d’impact qui sont la satisfaction du participant, les connaissances acquises, les changements de comportement et la contribution de cette formation à l’organisation.Le premier niveau identifie les réactions des participants à la formation et leur degré de satisfaction.
Le second niveau mesure l’apprentissage des utilisateurs, qui est validé par un changement dans les attitudes, l’accroissement des connaissances et les compétences accrues. Le troisième niveau s’attarde aux changements dans le comportement des individus à la suite de la formation et finalement, le quatrième niveau a pour but de mesurer les résultats finaux.Niveau 1 : l’évaluation de la satisfaction : Mesurer le degré de satisfaction des participants à la formation vis-à-vis l’expérience de formation qu’ils ont vécue, et ce sur plusieurs aspects, (tels que les objectifs, le contenu, les méthodes pédagogiques, la documentation, le style d’enseignement, le matériel mis à disposition, le formateur, le programme, .
..). Cela revient à se demander si le participant à la formation a apprécié la formation et si les participants trouvent la formation favorable, engageante et pertinente pour leur travail. La réaction se mesure généralement à l’aide des fiches et des questionnaires d’évaluation, facile à mettre en pratique après chaque formation, cette évaluation peut être réalisée à chaud ou à froid.
C’est la seule méthode employée de façon systématique après chaque action formation, qui permet de porter un jugement de valeur sur le rendement d’un programme de formation Cette évaluation est la plus répandue, et bien souvent la seul pratiquée dans l’administration publique. Dans ce cas, les éléments sur lesquels l’opinion des bénéficiaires est le plus fréquemment sollicitée sont les suivants :Une appréciation globale de la formationLeur appréciation de l’adéquation de la formation à leurs besoins et à leurs attentesLa qualité des contenus (niveau, adaptation, intérêt)La qualité des méthodes et supports pédagogiques et de la documentation remise La prestation de l’animateur et des intervenantsLa possibilité d’appliquer les acquis en situation réelle de travailLes conditions générales de déroulement du stage (locaux, repas, hébergement,…)Leurs suggestions pour améliorer les points précédentsLes limites de l’évaluation de la satisfaction :L’administration d’un questionnaire immédiatement après un programme ou activité de formation expose certain limites reliées à l’évaluation de la satisfaction : les réponses à un questionnaire d’évaluation de la satisfaction sont plutôt subjectives, deux personnes peuvent juger une action de formation de façon différente et ce, pour des raisons valables mais fort différentes. Les données collectées à l’aide d’un questionnaire d’évaluation sont limitées.
Et la validité des réponses peut donc poser des problèmes;les questionnaires d’évaluation sont distribués immédiatement après l’action de formation lorsque les participants se dépêchent de partir. Donc la rapidité avec laquelle les participants remplissent le questionnaire peut donc contribuer à l’erreur de mesure;les participants peuvent craindre des vengeances même si leur anonymat est assuré, ce qui peut biaiser les résultats.En plus des problèmes méthodologiques et d’interprétation des résultats.Niveau 2: l’évaluation pédagogiqueMesurer « l’apprentissage» des participants en termes de connaissances, compétences, confiance, engagement et attitudes acquises, lors de la formation.
Cette évaluation n’a de sens que si les objectifs pédagogiques mesurables et clairs ont été préalablement définis, et l’apprentissage ce fait à l’aide d’une évaluation avant et après la formation, observations par les tuteurs, les gestionnaires et/ou les pairs, évaluation en équipe ou auto-évaluation qui peut être opérée au début, en fin et quelques temps après la formation.Les limites de l’évaluation des apprentissages :L’évaluation de l’apprentissage se situe au niveau de l’approche évaluative. Kirkpatrick suggère que l’on administre un pré-test avant la formation et que l’on compare ces résultats à ceux obtenus à un post-test administré après la formation. Selon Rolland (1981), le principal problème d’une telle démarche est celui de l’impossibilité de réaliser de telles expérimentations sur le terrain, en raison des diverses craintes des gestionnaires et des investissements importants de temps et d’argent.
L’usage de groupes contrôles dans un processus de mesure avant/ après formation s’avère dispendieux et demande beaucoup de temps.Cette méthodologie ne permet en aucun cas d’évaluer les résultats des efforts de formation en milieu de travail. Et les résultats ne fournissent aucun indice sur le changement de comportement au travail.
Cette dimension du modèle de Kirkpatrick ne nous semble donc pas adaptée aux besoins des organisations.Niveau 3: l’évaluation du transfert sur les situations de travail Mesurer la mise en œuvre des acquis de la formation, les changements comportementaux, et l’application de l’apprentissage, dans laquelle les participants appliquent ce qu’ils ont appris pendant la formation dans la pratique professionnelle, cette mesure s’effectue à l’aide d’une évaluation par questionnaires, grilles d’observation ou entretiens opérées quelques semaine ou quelques mois après la formation.Selon Falek Hélène (2010), un « non transfert » n’est pas nécessairement lié au participant : responsables hiérarchiques ne mettant pas en place les conditions nécessaires pour le transfert, acquis de la formation ayant peu de lien avec la réalité du terrain, prérequis (stagiaires inadaptés au niveau du stage)…La mesure du transfert selon les critères de Kirkpatrick ne sert qu’à constater s’il y a eu un changement ou non changement de comportement au travail et ne permet pas de rattacher les comportements non modifiés à des éléments du programme de formation.
Niveau 4: l’évaluation des effets de la formation Consiste à mesurer l’effet sur le fonctionnement des organisations, et l’impact positif sur les indicateurs de performance. Cette Évaluation portant sur des éléments factuels et chiffrables générés par la formation (le coût, la qualité, la quantité, le délai…), (production, profits, qualité, part de marché, volume des ventes…) et permettant notamment de vérifier l’atteinte des objectifs visés. C’est la raison globale justifiant le programme de formation.Selon Kirkpatrick, il existe des liens de causalité entre ces niveaux. C’est parce qu’il y aura eu satisfaction qu’il y aura apprentissage, et c’est parce qu’il y aura eu apprentissage qu’il y aura changement de comportement, de plus c’est parce qu’il y aura eu changement de comportement qu’il y aura résultats sur l’organisation.
Soulignons enfin que Kirkpatrick insiste sur le fait que les quatre niveaux d’évaluation constituent des parties importantes de l’évaluation. Il ne propose donc pas un choix de quatre critères, mais plutôt qu’une évaluation complète de la formation devrait couvrir ces quatre critères.4-2-3.Les critiques du modèle de Kirkpatrick : Les critiques du modèle :Beaucoup d’auteurs ont analysé ce modèle et ont émis des critiques, afin de souligner ses limites et d’émettre des pistes d’amélioration. Alliger et Janak (1989) montrent qu’il n’y a pas de corrélation entre les différents niveaux et que notamment la relation causale entre le niveau 1 et le niveau 2 n’existe pas, voir est inversée pour certaines formations. Comme l’indiquent Le Boterf et al. (1992) une bonne formation peut provoquer de l’insatisfaction. Parmi les critiques, il est également dit que le modèle n’a pas assez de base théorique, notamment à propos des théories cognitives et qu’il ne donne pas de définition de certains concepts comme la satisfaction ou l’apprentissage (Kraiger, 2002), le modèle n’expliciterait pas assez ce qui doit être évalué et ne serait pas applicable à toutes les formations (Gillet ; Gilibert, 2009).
Donc on peut remarquer que le modèle est incomplet, pas de prise en compte des facteurs individuels et organisationnels, ainsi que la faiblesse des liens entre les quatre niveaux.Modèles proposé par autres auteurs :Daniel Stufflebeam (1980) :Le modèle CIPP associe à Stufflebeam (1971), utilise pour l’évaluation des outils de gestion des ressources humaines. Le CIPP est une méthode d’évaluation axée sur la décision, qui privilégie la fourniture systématique d’informations dans le cadre de la gestion et du fonctionnement du programme, il comprend quatre éléments à mesurer :Le Contexte: évaluation de l’environnement qui conditionne les besoins de formation. États des choses au moment où s’enclenche le processus.Les Intrants: évaluation des ressources humaines, matérielles et financières. Choses qu’il faut pour maintenir ou produire un état de choses souhaité.Le Processus: évaluation de la façon selon laquelle les intrants sont utilisés. Ce qu’il faut faire avec les intrants.
Les Produits: évaluation des résultats et conséquences du programme. Ce qui est obtenu après l’action des intrants. Hamblin (1974) Le modèle de cet auteur apporte une précision supplémentaire au modèle de Kirkpatrick. Il distingue pour le niveau 4, les résultats pour l’activité du salarié et les résultats pour l’organisation (rentabilité économique).
Cette distinction amène à la prise en compte d’un niveau 5, ce qui transforme le modèle avec les trois premiers niveaux identiques et les suivants : – Niveau 4 : Impact organisationnel (non financier). – Niveau 5 : Impact financier. Phillips (1997).Jack Phillips, a proposé d’enrichir le modèle Kirkpatrick en ajoutant un cinquième niveau d’évaluation à ce modèle c’est le Retour sur investissement (ROI), ou évaluation de l’efficience de la formation. Il s’agit de mesurer le ratio de l’efficacité de la formation (niveau 2, 3 et 4) sur l’investissement consenti. Niveau 5: le Retour sur investissementBeech et Leather (2006) Le résultat de travail de ces deux auteurs est un modèle en cinq niveaux : – Réaction : Evaluation de la satisfaction par des questionnaires. – Apprentissage : Evaluation à chaud. Beech et Leather recommandent que l’on analyse les résultats des tests de connaissance, des tests d’aptitude (compétences et capacité de raisonnement), des exercices de jeu de rôle et des résultats affectifs (attitudes et motivations, confiance, sentiment d’efficacité personnelle).
– Comportements : Evaluation à froid. En utilisant par exemple le retour du supérieur hiérarchique direct, la mesure des performances en situations d’incidents critiques et les performances du travail d’équipe. – Résultats (ultimes) : Evaluation de l’impact non financier à l’aide par exemple d’une mesure de la satisfaction client. Dans cette catégorie, le modèle de Beech et Leather propose que l’on évalue la productivité, le climat et les incidents critiques (le climat de l’organisation dans laquelle le participant à la formation évolue, le nombre d’incidents, l’indicateur de satisfaction de la clientèle de l’organisation, etc).- Niveau financier : Evaluation de l’impact financier au travers par exemple de la mesure de maladies professionnelles et accidents du travail, des réclamations et des demandes d’indemnisations.
Conclusion du deuxième chapitre Malgré les critiques, le modèle de Kirkpatrick est fortement susceptible de continuer à garder le haut du pavé dans le domaine de l’évaluation de la formation. Les raisons reposent principalement sur sa simplicité et le fait que la chaîne causale qu’il propose allant de la satisfaction à l’impact sur l’organisation rejoint les préoccupations des gestionnaires de la formation.L’originalité de cette démarche d’évaluation de la formation repose sur le fait qu’elle permet à l’organisation de : réfléchir sur l’objet même d’évaluation qui l’intéresse; établir son propre portrait en regard de l’évaluation; répondre aux questions qu’elle peut ou doit se poser avant de se lancer dans un travail d’évaluation. En contrepartie, on voit qu’à tout moment il est possible d’évaluer chaque activité concrète mises en œuvre dans le processus global, à chaque étape. C’est l’étape la plus importante du plan de formation vu qu’elle aura un impact sur les plans de formation futurs.
Au total, évaluer c’est porter une appréciation en prenant appui sur une mesure ou une prise d’information et en se référant à des critères, on évalue en vue de prendre une décision. Mais malgré l’importance de l’évaluation, il s’avère que les évaluations des programmes de formation sont souvent inconséquentes, voire absentes, et les pratiques évaluatives des organisations sont limitées et inefficaces. Ces difficultés proviennent d’une absence des compétences pour évaluer la formation, l’insuffisance du budget alloué, le temps imparti, le manque d’expertise, l’absence de méthodes et d’outils convenable, ainsi le fait de ne pas savoir ce que l’on veut et peut évaluer et que personne n’exprime la volonté que la formation soit évaluée…
