El cicle de la formació

5. Implantació d’una cultura d’avaluació

L’avaluació és la peça clau del cicle formatiu; les dades que ens aporti ens diran si tots els esforços previs han tingut sentit. L’avaluació forma part del disseny de l’acció formativa. Com ja hem dit, a l’apartat del disseny i desenvolupament hi ha una avaluació centrada en l’acció formativa, que depèn del formador i que té diferents fases o moments (inicial, formativa o de procés, i sumativa o final). I també hi ha una altra avaluació que interessa més a l’organització i que té diferents nivells: satisfacció, aprenentatge, transferència, impacte…

No hauríem d’implementar la formació sense conèixer quina repercussió esperem en el funcionament de l’organització.

Cal, doncs, fer una valoració de tot el conjunt de la formació, d’ençà que es detecten mancances o oportunitats de millora fins que s’apliquen els nous coneixements al lloc de treball. Una definició d’avaluació podria ser aquesta: «Avaluar és mesurar i comparar per demostrar i replantejar». A continuació detallem el significat de cadascun d’aquests quatre termes:


Mesurar Identificar les dades que s’han de contrastar i triar els instruments que aplicarem.
Comparar Marcar un patró de referència amb el qual valorarem els resultats de la formació (cal definir un abans i un després).
Demostrar Comunicar que s’han assolit els objectius establerts per a la formació.
Replantejar Prendre decisions sobre la formació, per millorar, canviar, o esmenar el que s’ha fet.

És important demostrar que la formació no és una finalitat en si mateixa, sinó que constitueix un mitjà per fer més eficients les organitzacions, per millorar el rendiment de les persones en termes de productivitat, estalvi de temps, més bon servei, més seguretat…, en benefici de tota l’organització i dels clients o ciutadans.

Si no avaluem, no podrem demostrar el valor de la formació, justificar els pressupostos ni introduir canvis substancials en les polítiques de formació i de recursos humans.

COM S’HA D’IMPLANTAR UN PROJECTE D’AVALUACIÓ DE LA FORMACIÓ

Preguntes clau sobre l’avaluació

  • Qui avaluarà i amb quins recursos?
  • A qui s’avaluarà?
  • Quina tècnica o instrument es farà servir?
  • Quins ítems o indicadors s’utilitzaran?
  • Quins tipus d’escala s’utilitzarà?
  • Quins altres factors, al marge de l’acció formativa, poden incidir en els indicadors utilitzats?
  • Com podem controlar la influència d’aquests factors?
  • Quan i on tindrà lloc l’avaluació?
  • Quin és el resultat esperat?
  • A qui es comunicarà els resultats de l’avaluació?

Avantatges d’avaluar

Amb l’aplicació d’un projecte integral d’avaluació, el responsable de formació podrà:

  • Demostrar el benefici de la formació en termes tangibles (assolint els objectius establerts).
  • Demanar i obtenir pressupostos per a formació amb més facilitat. (No sempre gastant més, però sí més bé; es pot arribar a demostrar la rendibilitat de les accions formatives.)
  • Satisfer les necessitats dels empleats de l’organització i crear una bona predisposició cap a la formació. A més a més, podrà fer conscients els empleats del propi aprenentatge i de la pròpia millora professional.
  • Decidir la continuïtat o no d’accions o programes de formació. (Acabar amb allò que no funciona o és obsolet, i potenciar accions que donen resultats.)
  • Analitzar quins canals, modalitats i recursos són més idonis per a cada perfil de participants, així com més ben adaptats als continguts i la metodologia.
  • Seleccionar més bé els seus proveïdors de formació o formadors interns.
  • Oferir feedback als dissenyadors i impartidors de formació, per a una millora contínua.
  • Controlar la qualitat de tot el procés del cicle formatiu: detecció de necessitats, elaboració del disseny i impartició de l’acció formativa.
  • Identificar àrees de canvi i millora per a futurs plans de formació.
  • Treure a la llum problemàtiques que no es poden solucionar amb formació (o no totalment).
  • Saber com impacta la formació en diferents àmbits: el mateix participant, el seu departament, el funcionament global de l’organització, el servei als clients o ciutadania.
  • […].

5.1. Model d’avaluació de Kirpatrick

Hi ha diversos models d’avaluació de la formació a les organitzacions, plantejats amb diferents enfocaments i amb diferents metodologies. No obstant això, el model més estès és el de Donald Kirkpatrick. El model de Kirkpatrick ha estat revisat i ampliat per diversos especialistes, incorpora un nivell de retorn de la inversió i, com diu Pilar Pineda, un nivell de «coherència pedagògica».

El model de Kirkpatrick preveu tot el procés d’avaluació en quatre nivells seqüencials:

Nivell 1: Reacció/Satisfacció

  • La qüestió clau és: els participants estan satisfets de com s’ha desenvolupat l’acció formativa? S’han cobert les seves expectatives?
  • Què valorem: la reacció del participant a la impartició de l’acció formativa, en aspectes com l’estructura i el contingut del curs, l’actuació del formador, la logística, l’adequació de recursos i de mètodes didàctics, etc.

Nivell 2: Aprenentatge

  • La qüestió clau és: els participants han après el que s’havia previst? Han assolit els objectius formatius plantejats?
  • Què valorem: el grau d’assimilació de la matèria impartida i el grau d’adequació del plantejament de l’acció formativa als objectius que es pretenia assolir (per saber si el disseny formatiu era eficaç o no).

Nivell 3: Transferència (Conducta)

  • La qüestió clau és: els participants apliquen al lloc de treball el que han après durant la formació?
  • Què valorem: el canvi de conducta de la persona al seu lloc de treball un cop feta la formació; és a dir, en quina mesura la persona està posant en pràctica el que ha après en el seu acompliment professional.

Nivell 4: Impacte/Resultats

  • La qüestió clau és: quines millores s’han produït a l’empresa com a resultat de la formació?
  • Què valorem: l’impacte de la formació en termes de resultats d’un departament o de tota l’organització en general. En últim lloc, la formació hauria de repercutir en un millor servei al ciutadà.
EL PAPER DELS AGENTS IMPLICATS EN L’AVALUACIÓ

L’avaluació és un procés que afecta transversalment tota l’organització, tot i que hi ha figures que intervenen més activament en determinats moments.

En aquest quadre-resum podem veure la intervenció de cadascun d’ells en cada nivell:


  Qui dissenya l’avaluació ? Qui avalua? Qui és l’avaluat ? Què obtenim?
Nivell 1
Satisfacció
  • La unitat de formació.
  • El/La participant.
  • La unitat de formació.
  • El/La formador/a.
  • La percepció dels participants sobre l’acció formativa, tant d’aspectes metodològics com organitzatius.
Nivell 2
Aprenentatge
  • El/La formador/a.
  • El/La formador/a.
  • La unitat de formació.
  • El/La participant.
  • Proves del grau d’aprenentatge assolit per cada participant.
Nivell 3
Transferència
  • La unitat de formació.
  • El dept. del participant.
  • El dept. del participant.
  • El/La participant.
  • El/La participant.
  • Proves del grau d’aplicabilitat del que s’ha après al lloc de treball, així com de les dificultats o resistències que puguin haver sorgit.
Nivell 4
Impacte/Resultats
  • La unitat de formació.
  • El dept. del participant.
  • El dept. del participant.
  • Tots els implicats en el procés formatiu.
  • Dades sobre els millors resultats obtinguts per l’organització com a conseqüència de la transferència.

Aquest model és d’una complexitat i cost creixent: el nivell 1 és relativament fàcil i barat d’implementar; la dificultat i el cost augmenta en els nivells següents. Fins i tot hi ha un nivell 5 en què es pot mesurar la rendibilitat econòmica de les accions formatives; és l’anomenat ROI (retorn de la inversió).

Les avaluacions de nivell 3 i 4 queden molt restringides en funció dels objectius estratègics de l’organització i dels recursos disponibles.

Pel que fa al nivell plantejat per Pilar Pineda, avalua la coherència pedagògica del disseny d’una acció formativa concreta.

5.2. Tècniques i instruments de recollida de dades d’avaluació

Disposem de diverses tècniques i instruments de recollida de dades d’avaluació; alguns es poden aplicar a totes les fases o nivells i d’altres són més específics d’un nivell en particular.

A continuació, s’ofereix una llista bàsic de tècniques segons la seva adequació a cadascun dels nivells:


Nivell 1
Reacció/Satisfacció
Nivell 2
Aprenentatge
Nivell 3
Transferència
Nivell 4
Impacte/Resultats
  • Qüestionaris de satisfacció.
  • Contactes informals en pauses.
  • Comentaris al final de l’acció.
  • Qüestionaris diferits.
  • Entrevistes personals.
  • Entrevistes a persones de l’entorn professional dels participants.
  • Nivell de participació i qualitat de les intervencions.
  • Proves objectives pretest i posttest.
  • Qüestionaris de coneixements.
  • Simulacions.
  • Mostres de treball.
  • Entrevistes personals.
  • Estudi de casos.
  • Exposició oral o escrita.
  • Pla de millora personal.
  • Observació introspectiva.
  • Observació externa.
  • Reunions grupals.
  • Entrevistes personals.
  • Mostres de treball.
  • Grups de control.
  • Anàlisi de tendències.
  • Estimació de l’impacte d’altres factors.
  • Valoració dels participants i dels seus superiors.

El més habitual a les organitzacions és avaluar la reacció (nivell 1) mitjançant els qüestionaris de satisfacció. Un cop recollida i tabulada la informació, el/la responsable de formació hauria d’estudiar i modificar, si s’escau, aquests elements en particular:

Àmbit didàctic

  • Adequació dels objectius i continguts a les necessitats dels participants.
  • Adequació de la metodologia emprada en la impartició.
  • Funcionament del grup.
  • Competències del formador/a.
  • Qualitat dels materials didàctics.

Àmbit organitzatiu

  • Adequació de les instal·lacions (i de la plataforma tecnològica).
  • Funcionament dels recursos.
  • Horaris.
  • Descansos.
  • Gestió d’incidències.

Característiques dels principals instruments de recollida de dades

Els instruments per obtenir dades de fonts personals són limitats (ja els hem vist en tractar l’anàlisi de necessitats formatives); aquí fem una valoració dels punts forts i febles d’alguns d’aquests instruments.


  Punts forts Punts febles
Qüestionari
  • És un instrument força conegut i fàcil de fer servir.
  • És de disseny obert, amb la possibilitat d’incloure diversos formats.
  • S’hi poden recollir dades quantitatives i qualitatives.
  • Permet tabular i analitzar una gran quantitat d’informació.
  • L’avaluador/a ha de redactar les preguntes acuradament per tal d’aconseguir les dades que desitja.
  • Les respostes no es poden explicar extensament.
  • El percentatge de respostes és imprevisible.
Entrevista
  • Ofereix un feedback concret i immediat.
  • Les respostes acostumen a ser més interessants i amb més matisos que les dels qüestionaris.
  • Permet la interacció per aprofundir, si cal, en un punt clau.
  • És un mètode selectiu que permet triar qui ens ofereix la informació.
  • Comporta un cost més alt, en termes de preparació i implementació.
  • Per aconseguir «consolidar i compilar» respostes cal fer servir una entrevista estructurada.
Mostra de treball
  • És una informació ja disponible.
  • Les dades es poden quantificar.
  • Augmenta la responsabilitat del participant: «allò que es controla es fa».
  • Els registres poden ser incomplets.
  • No hi ha un contacte personal amb els participants.
Simulació
  • És especialment apta per valorar habilitats.
  • Acostuma a ser amena i no amenaçant (reprodueix la situació del lloc de treball, però no és el lloc de treball).
  • Cal una observació sistemàtica, correcció i pràctica. Cal establir-ne una evidència en aquest sentit.
Observació
  • Sovint és l’únic instrument que pot valorar si hi hagut transferència de conductes.
  • Es pot estructurar de manera que els participants no se sentin pressionats per aprendre a un ritme ràpid; afavoreix l’autoaprenentatge.
  • L’avaluador/a pot observar de diverses maneres: amb vídeos, diaris d’activitats i llistes de comprovació.
  • Algunes persones actuen de manera diferent quan saben que estan sent observades.
  • Requereix bastant de temps.
  • Pot contenir elements subjectius.
Proves objectives de coneixement (pretest i posttest)
  • El pretest pot aïllar el que necessitem per cobrir la mancança formativa i pot mostrar als participants el que els cal aprendre.
  • Pot donar moltes dades, i molt fiables.
  • El posttest es pot fer en diferents moments per mesurar la retenció i l’aplicació de coneixements.
  • L’avaluador/a pot valorar diversos conceptes: l’aprenentatge, els formadors i els mètodes d’impartició.
  • Cal dissenyar la prova abans de la formació.
  • Si no es fa bé, ens pot facilitar dades poc fidedignes.
  • Cost de preparació, implementació i revisió.

5.3. Valoració global de programes formatius

Avaluar la formació suposa comprovar que les necessitats estaven ben detectades, que el disseny formatiu era adequat, que la impartició ha produït aprenentatge i que les persones han pogut aplicar satisfactòriament el que han après al lloc de treball.

Per tant, avaluar és una exigència per a tota l’organització. Així doncs, plantejar un projecte d’avaluació (més enllà dels qüestionaris de satisfacció) implica:

1. Una formació triada «a la carta» (en contraposició a una formació feta «per prescripció») possiblement provocarà una bona reacció en els participants; però no assegura cap d’aquests dos factors:

  • Que allò que aprenen és el que realment necessiten en el seu lloc de treball.
  • Que aplicaran amb èxit la formació rebuda.

2. El procés d’avaluació no comença després de la impartició sinó en el mateix moment d’iniciar el cicle formatiu (amb l’anàlisi de necessitats): cal determinar des del primer moment quins són els resultats que volem aconseguir per determinar el buit de competències i planificar la formació en conseqüència. A partir d’aquí ja podrem avaluar totes les fases del cicle.

3. No servirà de res avaluar la formació si ja des del principi no teníem ben establerts els problemes de rendiment imputables a una manca de competències (coneixements, habilitats o actituds). Si no establim clarament la diferència entre un abans i un després de la formació, dur a terme un projecte d’avaluació serà inútil, perquè no tindrem referències (recordem l’element «comparar»).

4. Cal seguir un procés de treball ordenat:

  1. Selecció d’accions formatives a avaluar.
  2. Nivell d’avaluació per a cada acció formativa.
  3. Disseny de l’avaluació: eines, procediments i pla de comunicació dels resultats.
  4. Implementació de l’avaluació.
  5. Conclusions (informe final per al client intern).

5. Avaluar la formació no és aportar estadístiques del tipus: «tantes persones han assistit a formació, s’ha implementat el 10% de nous cursos, el nombre d’hores impartides puja a…, la satisfacció mitjana és del 7,4 sobre 10», etc. Això són indicadors quantitatius de l’activitat; no ens diu res sobre els seus efectes.

6. Si es decideix avaluar més d’un nivell, cal que comencem pel nivell 1. Si no es fa així, podem trobar resultats contradictoris o sense lògica aparent. Per exemple, una avaluació directa del nivell 3 (canvi de conducta), sense passar pels nivells inferiors, podria mostrar indicadors molt negatius, i s’obviarien els bons resultats en la reacció i l’aprenentatge.

DIRECTRIUS PER IMPLANTAR ELS NIVELLS D’AVALUACIÓ


Nivell 1
Reacció/Satisfacció
Nivell 2
Aprenentatge
Nivell 3
Transferència
Nivell 4
Impacte/Resultats
  • Determinar què es vol esbrinar.
  • Dissenyar un model que quantifiqui les reaccions.
  • Combinar respostes tancades i obertes.
  • Obtenir el màxim (100%) de respostes immediates.
  • Desenvolupar un estàndard de reaccions considerades acceptables.
  • Comparar les reaccions amb l’estàndard.
  • Determinar els coneixements, les habilitats i les actituds abans i després de la formació.
  • Utilitzar activitats diverses per mesurar coneixements i actituds.
  • Utilitzar una prova de rendiment per avaluar les habilitats.
  • Obtenir el màxim (100%) de respostes.
  • Comparar, si és possible, els resultats del grup que hagi rebut la formació amb un grup de control que no l’hagi rebuda.
  • Determinar la conducta abans i després de la formació (o apreciar les diferències un cop s’ha rebut la formació).
  • Deixar un marge de temps per consolidar el canvi de conducta (3 mesos).
  • Avaluar o entrevistar una o més d’una d’aquestes persones:
    • El participant.
    • El cap del participant.
    • El personal a càrrec del participant (si és el cas).
    • Tercers que observin la conducta del participant.
  • Obtenir el màxim de respostes o una mostra significativa.
  • Repetir l’avaluació en els moments adequats.
  • Utilitzar, quan sigui viable, un grup de control.
  • Considerar el cost de l’avaluació i els seus possibles beneficis.
  • Fer una avaluació abans i després de la formació.
  • Deixar un marge de temps perquè es produeixin els possibles resultats (6-12 mesos).
  • Repetir l’avaluació en els moments adequats.
  • Utilitzar, quan sigui viable, un grup de control.
  • Considerar el cost de l’avaluació i els seus possibles beneficis.

Pujar