Rapport d'audit de formation - Itelia - OC_P7 par Hélène Larmoire
À propos / Télécharger Aperçu
Nom original: P7_01_mission1.pdf
Titre: Rapport d'audit de formation - Itelia - OC_P7
Auteur: Hélène Larmoire
Ce document au format PDF 1.7 a été envoyé sur fichier-pdf.fr le 21/06/2022 à 10:32, depuis l'adresse IP 176.157.x.x.
La présente page de téléchargement du fichier a été vue 480 fois.
Taille du document: 555 Ko (15 pages).
Confidentialité: fichier public
Licence: Creative Commons BY-ND (attribution, pas de modification)
Aperçu du document
Parcours Ingénieur Responsable Pédagogique
Projet 7 – Analyser une formation
Livrable 1 – Rapport d’analyse de
la satisfaction et des résultats
d’apprentissage des étudiants
Hélène Larmoire
Rapport d’analyse de la
satisfaction et des résultats
d’apprentissage
Manager de proximité
Sommaire
Sommaire
Contexte de la mission
Objectifs de l’audit
Périmètre de l’audit
Méthodologie de l’intervention
Principaux résultats de la phase d’enquête
Points saillants dans l’organisation des évaluations
Évaluation de la satisfaction
Évaluation des acquis pédagogiques
Préconisations
Conclusions générales
Contexte de la mission
Dans le cadre de ce rapport annuel, le responsable des formations management souhaite
refondre et améliorer le système d’évaluation, en commençant par la formation initiale de
Manager de proximité. Ainsi, il souhaite mieux répondre aux étudiants, à France Compétences
et aux OPCO.
Itelia_RA_Manager de proximité éditeur : Hélène Larmoire validateur : Henri v1.1 11112021
Objectifs de l’audit
Cet audit doit permettre de :
Identifier si les pratiques d’évaluation sont conformes et cohérentes avec les règles
d’Itelia
Identifier si ces mêmes pratiques sont en accord avec les attentes et préconisations de
France Compétences et des OPCO
Conforter les bonnes pratiques
Déterminer les axes d’améliorations pour augmenter la satisfaction et la réussite à la
formation
Périmètre de l’audit
C’est un audit interne de performance aux niveaux opérationnel et organisationnel qui concerne
pour l’heure que la formation Manager de proximité.
Il est réalisé sur la période de septembre 2020 à août 2021. Ce qui représente une seule
promotion depuis le dernier rapport datant d’octobre 2020.
Note pour l’évaluation de la satisfaction – Pas de prise en compte de l’évaluation à froid du fait
de cette proximité entre la date de fin de formation et ce rapport. Il ne tient pas compte non plus
de la collecte et du traitement des réclamations et des difficultés au fil de la formation.
Seule la formation initiale en alternance (École/entreprise) est auditée dans ce rapport. Pour
rappel, elle alterne cours en présentiel et en distanciel (blended learning). Elle est portée et
animée en présentiel par Itelia et des contenus pédagogiques sont fournis sur la plateforme
d’OpenClassrooms.
L’analyse portera sur les données de formation et d’évaluation de la satisfaction par les
différentes parties prenantes.
Les parties prenantes au niveau opérationnel sont les étudiants et les formateurs intervenants.
Les résultats des formations et des enquêtes donnent lieu à ce rapport annuel d’audit. Ce
dernier doit également répondre à un niveau organisationnel, aux obligations qui lui sont
échues au titre et en lien avec ces questions d’évaluation :
d’organisme certificateur et préparant au Titre Manager de proximité enregistré à
France Compétences au RNCP
de CFA soumis au RNQ Qualiopi car il reçoit des financements publics directs et versés
par plusieurs OPCO (11 indicateurs sur 32 concernés par les évaluations)
de CFA soumis au code du travail loi 6111-8 préconisant à ce que 10 indicateurs soient
rendus publics
des exigences de l’administration française exigeant la production d’un Bilan
Pédagogique et Financier (BPF) chaque année à la DREETS
Itelia_RA_Manager de proximité éditeur : Hélène Larmoire validateur : Henri v1.1 11112021
Méthodologie de l’intervention
À la demande du responsable des formations Management, validateur de ce rapport d’audit, le
diagnostic et l’analyse se fera sur la base des documents suivants :
Modalités d’évaluation des enseignements de la formation « manager de proximité »
Répartition du temps de formation
Données de satisfaction des parties prenantes
Données pédagogiques de la formation
Données de suivi issues de la plateforme OpenClassrooms (« Gérez la relation de
travail »)
Des renvois aux 4 obligations susmentionnées sont faits tout le long de ce rapport.
La collecte des données se fait au travers :
D’une enquête de satisfaction pour tous les intervenants-formateurs (1x) et pour tous
les étudiants et stagiaires (entre 4 à 6x dans le cas présent, c’est 6x)
Des notes enregistrées par les intervenants-formateurs
Du relevé de présence chez Itelia et des données de connexion chez OpenClassrooms
Ainsi, des données brutes ont été collectées pour :
La satisfaction des étudiants et des intervenants-formateurs
Les résultats aux évaluations de module
L’assiduité en présentiel et la durée et fréquence de connexion à la plateforme
d’OpenClassrooms
De plus, des données globales pour les étudiants et les stagiaires ont été transmises par
OpenClassrooms à Itelia.
Itelia_RA_Manager de proximité éditeur : Hélène Larmoire validateur : Henri v1.1 11112021
Principaux résultats de la phase d’enquête
Points saillants dans l’organisation des évaluations
Les évaluations ont lui minimum 4 fois minimum : 1 évaluation initiale, à la fin du premier
module de formation, 2 (ou plus) évaluations intermédiaires pendant le déroulement de la
formation et 1 évaluation finale.
La formation est évaluée simultanément à 2 niveaux : évaluation de la satisfaction et
évaluations des connaissances se font le même jour.
Leur organisation est présentée sous forme de matrice pour prendre en considération
l’ensemble des parties prenantes.
Tableau 1 Matrice RACI des évaluations et des parties prenantes qui les remplit
Étudiants
EV1
RR
EV2
RR
EV3
RR
EV4
RR
EV5
RR
EV6
RR
EQ1
EQ2
EQ3
EQ4
EQ5
EQ6
2p
2p
2p
2p
1p
1p
OC
RR
IP
RP
I
RR
I
RR
I
RR
I
RR
I
RR
Rapport des
I
RR
I
cours à distance
Rapport annuel
R
I
Légende :
EV = évaluation
RP = Responsable pédagogique des
EQ = équipe d’enseignants/intervenants
formations
1p/2p précise s’il y a 1 ou 2 personne
R/RR = partie qui réalise la ou les
OC = OpenClassrooms
évaluations
IP = Ingénieur Pédagogique de la formation
I = partie qui est informée de cette tâche
Itelia_RA_Manager de proximité éditeur : Hélène Larmoire validateur : Henri v1.1 11112021
Évaluation de la satisfaction
Satisfaction des étudiants
Points saillants
Les étudiants ont été invités à répondre à 6 questionnaires de satisfaction, soit à la fin de
chaque module et à la fin de la formation. Les questions portaient sur des thèmes récurrents
lors des 5 premières évaluations et sur 1 nouveau thème lors de la dernière. Une question est
posée par thème.
EV1
EV2
EV3
EV4
EV5
EV6
Motivation
x
x
x
x
x
x
Organisation
x
x
x
x
x
-
Pédagogie
x
x
x
x
x
x
Satisfaction
x
x
x
x
x
-
-
-
-
-
-
x
globale
Insertion
professionnelle
Légende : □ fond bleu = la règle ; x = réalisé en 2020-2021
Les intervenants-formateurs ne sont pas les mêmes d’un module à l’autre. De même, pour la
dernière semaine du parcours. Il n’est pas différencié dans les questions l’évaluation d’Itelia des
cours d’OpenClassrooms en e-learning. Se pose la question de l’existence de l’évaluation
d’OpenClassrooms par les étudiants.
Des manipulations ont été nécessaires pour faire un rapprochement des données entre les
répondants pour lesquels il est impossible de savoir s’ils sont de FI ou de FC et la liste filtrée
des étudiants. Sur les 75 étudiants en formation initiale, 83% ont répondu aux 6 questionnaires
de satisfaction, soit 62 étudiants. Il est possible de calculer la moyenne de ces évaluations par
thème (cf. Figure 1 Moyenne sur 4 par thème de la satisfaction des étudiants 2020-2021).
Figure 1 Moyenne sur 4 par thème de la satisfaction des étudiants 2020-2021
Itelia_RA_Manager de proximité éditeur : Hélène Larmoire validateur : Henri v2 20112021
Cette satisfaction est aussi appréhendable dans une échelle de temps pour visualiser
l’évolution entre le début et la fin de la formation (cf. ci-dessous).
Figure 2 Évolution des notes moyennes des thèmes au fil des évaluations
Satisfaction des étudiants "Manager de proximité" 2020-2021
Le degré de satisfaction global a été interrogé en fin de formation sur une échelle de 0 à 10.
Cela permet de calculer le NPS (Net Promoter Score). Il y a 48% de détracteurs et 21% de
promoteurs. Ce qui donne un NPS de -27.
Forces
Voici les points positifs qui ressortent de cette analyse de la satisfaction :
-
Taux de retour d’enquête mesurable et élevé avec de multiples relances (RNQ indic.
30)
-
Rapidité pour les étudiants pour répondre à ces questionnaires
-
Taux de satisfaction mesurable (code du travail + RNQ indic. 2)
-
Évaluations réparties par module tout le long du parcours
-
Questions thématiques récurrentes permettant une évaluation de l’évolution de la
satisfaction
-
Peu d’évolution de la note moyenne d’une évaluation à l’autre ce qui montre une qualité
d’enseignement égale d’un formateur à l’autre mais aussi d’un contenu de formation à
l’autre (module).
-
Peu d’écart des notes moyennes entre les thèmes évalués. Hors insertion
professionnelle qui ne fait l’objet que d’une évaluation.
-
Il existe une corrélation entre le taux de satisfaction globale et les moyennes par thème.
Itelia_RA_Manager de proximité éditeur : Hélène Larmoire validateur : Henri v2 20112021
Faiblesses
Voici les points d’amélioration qui ressortent de cette analyse de la satisfaction :
-
Difficulté de traitement des données d’identification des apprenants entre FI et FC et de
calcul du taux de répondants ce qui met un doute sur la protection, l’exactitude des
données et leur collecte. Ainsi, le fait que le thème de l’organisation ait été oublié dans
l’évaluation 6 alors que c’est la règle chez Itelia pose question.
-
Autour des résultats de satisfaction :
o
L’ensemble des taux peut être amélioré chaque thème étant un axe
d’intervention pour améliorer le taux de satisfaction global (2,5/4).
o
L’approche par thème est pertinente mais la simplicité et la présence d’un seul
type de question ne permet pas de connaître ce qui est à améliorer selon les
étudiants (RNQ indic. 32). Et cela n’ouvre pas la possibilité de collecter des
données qualitatives et des verbatim (RNQ indic. 30).
o
Il n’y a pas de possibilité de comparer ces résultats avec les années
précédentes.
o
-
Il n’y a pas d’évaluation de la plateforme d’OpenClassrooms et des cours.
Question sur l’insertion professionnelle manque de clarté : possibilité d’insertion et non
obtention d’un contrat dès la sortie de la formation (cf ci-dessous InserJeunes).
-
Le NPS est négatif (-27). Sur une échelle de -100 à 100 centrée en 0, cela veut dire
que les étudiants ne sont pas satisfaits de la prestation quand bien même les autres
notes de satisfaction sont supérieures à la moyenne.
-
Absence d’indicateurs de satisfaction et d’insertion dans le fichier PDF grand public des
modalités d’évaluation (Qualiopi indic. 2 + code du travail 6111-8).
La réponse à la question sur l’insertion professionnelle est récupérée de manière complète et
plus précise par ailleurs via le dispositif InserJeunes en ligne en plus de d’autres indicateurs
obligatoires à communiquer au grand public selon le code du travail (6111-8) et du RNQ
Qualiopi (indic. 2) et récupérables via le même dispositif : taux de poursuite d’études, taux
d’emploi à 6 mois, valeur ajoutée de l’établissement et le taux d’interruption en cours de
formation.
Satisfaction des intervenants-formateurs
Points saillants
Les 10 intervenants-formateurs d’Itelia sont invités à évaluer leur satisfaction pour le module
qu’ils ont enseigné. Chaque module a été évalué par 2 intervenants-formateurs hormis le
module 5 et la semaine de synthèse évalués par une seule personne pour chaque.
Le taux de réponse est de 100%.
Les questions portent sur l’organisation, l’implication des étudiants et la satisfaction globale. Le
seul type de question est l’échelle de Lickert avec une étendue différente des étudiants, à
Itelia_RA_Manager de proximité éditeur : Hélène Larmoire validateur : Henri v2 20112021
savoir : 0-6 au lieu de 0-4. Le tableau ne permet pas de distinguer les notes pour les étudiants
(FI) et les stagiaires (FC).
Aucune analyse de l’évolution des notes des thématiques dans le temps a été faite car ce n’est
pas pertinent. En effet, les intervenants-formateurs n’évalue qu’une fois durant la formation.
Figure 3 Moyenne sur 6 par thème de la satisfaction des intervenants-formateurs 2020-2021
Figure 4 Index lié à la satisfaction globale par la méthode de calcul du NPS
Forces
Voici les points positifs qui ressortent de cette analyse de la satisfaction :
-
Comme pour les étudiants :
o
Taux de retour d’enquête mesurable et parfait (100%)
o
Rapidité pour répondre à ces questionnaires (3 questions type Lickert)
o
Taux de satisfaction mesurable et assez bon
o
Tous les modules et la semaine de synthèse sont évalués
o
Questions thématiques récurrentes permettant une synthèse sur la durée de la
formation
o
Peu d’écart des notes moyennes entre les thèmes évalués
o
L’index calculé par la méthode du NPS sans qu’on puisse l’appeler NPS permet
d’obtenir 20. C’est une satisfaction positive et assez élevée.
Faiblesses
Voici les points d’amélioration qui ressortent de cette analyse de la satisfaction :
-
Il n’est pas possible de savoir si les notes seraient différentes entre les FI et les FC
-
L’étendue de l’échelle de Lickert (0-6) ne permet pas de comparaison avec les résultats
des étudiants (0-4) et oblige à une analyse différente.
-
Le NPS n’a pas pu être calculé car l’échelle de Lickert n’a pas une étendue de 0 à 10.
-
Comme pour les étudiants :
o
Les notes sont améliorables.
Itelia_RA_Manager de proximité éditeur : Hélène Larmoire validateur : Henri v2 20112021
o
L’approche par thème est pertinente mais « l’expression libre » n’est pas
respectée (RNQ indic. 30). Cela ne permet pas l’amélioration de la satisfaction.
o
L’accès aux résultats des années précédentes permettrait de mettre en
perspective les résultats de l’année observée.
Évaluation des acquis pédagogiques
Points saillants
Assiduité des étudiants
Tous les étudiants, soit 86, sont venus au moins une fois en présentiel. Le taux d’absentéisme
est de 43%.
Le taux d’abandon est de 13%. Il correspond au taux de rupture de contrat d’alternance. Il s’agit
de 11 personnes qui ont arrêté après 3 jours de présentiel.
Six étudiants ont été absents au moins la moitié des jours en présentiel sans pour autant
abandonner la formation, soit 7% de l’effectif. Les causes ne sont pas connues au travers des
documents fournis (RNQ indic. 12).
Figure 5 Distribution des absences en fonction du nb de jours total d'absence (hors abandon)
Itelia_RA_Manager de proximité éditeur : Hélène Larmoire validateur : Henri v2 20112021
Ce qui permet de dégager 4 profils d’étudiants (cf. ci-dessous) :
-
« Assidu » étudiant qui est venu au moins 15 jours sur les 16 en présentiel
-
« Régulier » étudiant qui est venu entre 8 et 13 jours
-
« Fantôme » étudiant qui est venu entre 4 et 8 jours
-
« Décrocheur » étudiant qui n’est venu qu’une fois ou qui n’est plus revenu en formation
après
Figure 6 Répartition des étudiants par profil d'assiduité
Le nombre de jours de connexion et la fréquence de connexion ont été transmis de manière
individuelle. La formation avec OpenClassrooms durait 15 jours.
En moyenne, les étudiants se sont connectés 9,4 jours (médiane proche 9 et écart type faible
4). Ils se sont connectés en moyenne 1,7 fois (médiane proche 2 et écart type très faible 0,8).
Cette assiduité en présentiel reflète assez bien l’assiduité à distance. Ainsi, hormis 3 personnes
assidues en présentiel toutes se sont connectées au moins 9 fois mais le plus souvent 14 ou 15
fois à la plateforme d’OpenClassrooms ; inversement vrai.
Résultats aux évaluations
Pour ce qui est des évaluations en présentiel, il n’est pas donné la note maximale, ainsi que la
note considérée comme moyenne. Il n’a pas été possible de faire de calcul d’obtention du titre.
La note moyenne aux évaluations en présentiel, en excluant les personnes qui ont abandonné,
est de 6,2. Cela ne dit pas la cause lorsque l’étudiant a obtenu 0. Ce qui donne un taux de
participation (0 exclus) de 84% à l’évaluation de fin de module.
En réintégrant les étudiants qui ont abandonné la formation, la note descend à 5,6.
Itelia_RA_Manager de proximité éditeur : Hélène Larmoire validateur : Henri v2 20112021
Figure 7 Évolution de la note moyenne par module
La moyenne est représentative du groupe d’étudiants car la médiane est proche (6,5). Et la
dispersion des notes autour de la moyenne est assez faible (écart type 1,8).
Il n’a pas pu être analysé et évalué la qualité des évaluations.
Il n’est pas su si les entreprises évaluent également les étudiants.
Les indicateurs d’OpenClassrooms concernent les 2 promotions en formations initiale et
continue. Il n’a pas été possible de mener une analyse pour la seule formation initiale.
Après analyse pour dégager des profils d’étudiant, il est à noter qu’il y a une correspondance
entre l’assiduité et les résultats obtenus. Ainsi, les étudiants assidus sont ceux ayant obtenu les
meilleurs résultats hormis un apprenant.
Forces
Voici les points positifs qui ressortent de cette analyse :
-
Ce qui est calculable en présentiel : note moyenne par bloc de compétences (RNQ
indic. 11), taux d’abandon (RNQ indic. 2), de rupture de contrat d’alternance (code du
travail + RNQ indic. 11) et le taux d’absentéisme
-
Autour d’OpenClassrooms : homogénéité de comportement dans l’organisation de
l’apprentissage
-
L’évaluation certificative (évaluation 6) vérifie de manière transversale les compétences
de tous les blocs de compétences (France Compétences).
Itelia_RA_Manager de proximité éditeur : Hélène Larmoire validateur : Henri v2 20112021
Faiblesses
Voici les points d’amélioration qui ressortent de cette analyse :
-
Ce qui n’est pas calculable : taux de certification, de validation par bloc de
compétences et d’interruption en cours de formation (code du travail + RNQ indic. 11).
Ainsi, il n’est pas donné le résultat minimum à obtenir pour valider le titre et chaque bloc
et de note maximale.
-
Méconnaissance des causes d’abandon (code du travail) et d’absentéisme (RNQ indic.
12)
-
Il n’est pas possible de mesurer la progression car chaque module représente un bloc
de compétences et il n’y a pas d’évaluation par les maîtres d’apprentissage (Kirkpatrick
nv. 2 et 3).
-
Autour d’OpenClassrooms : méconnaissance des statistiques des étudiants
individuellement mais aussi en considérant le groupe promo en formation initiale, l’écart
type très faible quant à la fréquence de connexion est proche d’une aberration en
statistique. Se pose la contamination des données et de leur protection pendant le
transfert et leur stockage comme pour l’évaluation de la satisfaction.
-
Nb d’évaluations faible : 1 évaluation en fin de module pour valider un bloc de
compétence pour cette promotion, voire moins en fonction de l’année (selon le fichier
des modalités). La délivrance d’un titre requiert que l’apprenant puisse valider par bloc
de compétences (France Compétences). Si un bloc n’est pas sanctionné par une
évaluation sommative, alors la préconisation n’est pas respectée.
-
L’évaluation certificative ne peut être réalisée par une personne seule. Le jury doit être
une collégiale (France Compétences)
Itelia_RA_Manager de proximité éditeur : Hélène Larmoire validateur : Henri v2 20112021
Préconisations
Il s’agit dans cette partie de faire des préconisations pour les risques graves qui relèvent de la
réglementation : RNQ Qualiopi, le code du travail (loi 6111-8) et France Compétences (Titre au
RNCP).
Satisfaction
-
Améliorer la collecte des données des parties prenantes par l’ajout de questions
ouvertes de libre expression tant pour la satisfaction globale que pour les questions
thématiques, mais aussi pour la plateforme d’OpenClassrooms (RNQ indic. 30). Cela
permettra une analyse plus approfondie pour améliorer la satisfaction globale qui est
très faible avec un NPS de -27 (RNQ indic. 32).
-
Récupération annuelle des données liées à l’insertion professionnelle sur le site du
dispositif InserJeunes.
-
Ajout dans le fichier PDF grand public des modalités d’évaluation et/ou sur le site
Internet, les indicateurs des étudiants suivants a minima : nombre de stagiaires, taux de
satisfaction, taux d’insertion dans l’emploi, taux de poursuite des études, valeur ajoutée
de l’établissement (RNQ indic. 2 + code du travail).
-
La satisfaction de maîtres d’apprentissage et d’OpenClassrooms en tant que soustraitant n’a pas été collecté empêchant l’analyse (RNQ indic. 30 et 32).
Acquis pédagogiques
-
Augmenter à 6 de manière permanente le nombre d’évaluations sommatives pour
permettre une validation distincte de chaque bloc de compétences (France
Compétences + RNQ indic. 3 et 11).
-
L’évaluation certificative doit se faire avec au moins 2 personnes (France
Compétences)
-
Le contenu des évaluations n’est pas connu. S’il est sur le schéma de celui des
évaluations de la satisfaction, il se pourrait qu’il soit homogène. Or, les modalités
doivent être variées et le plus proche possible du terrain (France Compétences).
Itelia_RA_Manager de proximité éditeur : Hélène Larmoire validateur : Henri v2 20112021
Conclusions générales
Ce rapport devra être complété en temps voulu par l’analyse des évaluations à froid par les
étudiants.
Il montre des signaux forts positifs comme la satisfaction par thématique évaluée en fin de
module et le taux de réponse important des étudiants et des intervenants-formateurs.
Néanmoins, plusieurs risques graves liés à la réglementation ont été relevés et des points
d’amélioration moindre également. Ce sont pour les premiers qui sont prioritaires que des
préconisations ont été rédigées. Ils concernent tant les évaluations de la satisfaction que des
acquis pédagogiques.
Itelia_RA_Manager de proximité éditeur : Hélène Larmoire validateur : Henri v2 20112021
