Come misurare se la formazione AI entra nel lavoro

Il questionario di gradimento misura il corso. Non misura se martedì mattina una persona sa usare l'AI sul proprio compito, riconoscere un output sbagliato e fermarsi quando manca una fonte.

Per misurare il trasferimento della formazione AI servono 4 evidenze: un compito osservabile, una baseline, una prova con criteri uguali e un controllo dopo che il team è tornato al lavoro.

Prima separa 3 domande

Una valutazione può chiedere cose molto diverse.

1. Il corso è stato chiaro e utile per chi ha partecipato?
2. La persona sa eseguire il compito con il criterio insegnato?
3. Il processo produce un risultato migliore nel lavoro reale?

La prima domanda riguarda l'esperienza formativa. La seconda riguarda capacità e autonomia. La terza riguarda il processo e può dipendere da tool, dati, manager, carico, incentivi e policy.

Non mettere le 3 risposte nello stesso numero. Un voto alto al docente non prova una riduzione degli errori. Una prova superata in aula non garantisce uso stabile dopo 30 giorni.

Il test non è un obbligo universale dell'AI Act

La Commissione europea chiarisce che l'articolo 4 non impone di misurare la conoscenza AI di ogni dipendente e non richiede di garantire uno specifico livello individuale. Le misure vanno adattate a conoscenza, esperienza, formazione, sistema e contesto.

Quindi la scorecard descritta qui è una scelta di gestione. Serve a capire se il programma funziona e dove va corretto. Non è un certificato di conformità e non sostituisce la valutazione competente del caso.

Se il test può influire su performance, ruolo o rapporto di lavoro, HR, rappresentanze, privacy e funzioni competenti devono definire finalità, trasparenza, accessi e uso del dato prima della raccolta.

Scrivi un risultato di apprendimento osservabile

Capire i prompt è troppo vago. Preparare una bozza di risposta usando 3 fonti approvate, citare ogni claim e passare i casi dubbi all'owner si può osservare.

Un risultato di apprendimento completo contiene:

• persona o ruolo,
• compito,
• input ammessi,
• output richiesto,
• condizioni,
• criterio di qualità,
• errore bloccante,
• livello di autonomia,
• escalation.

DigComp 3.0 definisce i risultati di apprendimento come ciò che una persona conosce, comprende e sa fare alla fine di un processo di apprendimento. Il framework descrive anche la progressione usando domanda cognitiva, complessità del compito e autonomia.

Non serve copiare un framework intero. Puoi usare quelle 3 lenti per scrivere una prova aderente al ruolo.

Scegli 1 compito di riferimento

Il compito deve essere abbastanza frequente da poterlo rivedere dopo il corso. Deve avere fonti, criteri e una versione senza AI.

Esempi possibili:

Ruolo	Compito	Output	Errore bloccante
Marketing	bozza email da scheda approvata	testo con claim tracciati	dato inventato
Sales operations	sintesi di note autorizzate	campi strutturati e domande aperte	prezzo aggiunto
HR	riscrittura di una policy pubblica	testo fedele e leggibile	dato personale nel prompt
Event manager	prima matrice da un brief chiuso	requisiti, fonti, mancanze	disponibilità inventata

Le righe sono esempi. Non autorizzano l'uso dei dati e non descrivono processi MAIKER HUB.

Un compito enorme nasconde dove il criterio si rompe. Parti da un'unità che si chiude in 20 o 40 minuti e che un revisore competente può valutare.

Crea la baseline prima del corso

Usa lo stesso tipo di compito, la stessa quantità di input e la stessa rubrica. Non usare lo stesso testo identico nella prova successiva, perché misureresti memoria.

La baseline può registrare:

• tempo impiegato,
• campi corretti,
• claim senza fonte,
• errori bloccanti,
• correzioni del revisore,
• richieste di aiuto,
• decisioni di escalation,
• output accettato o respinto.

Tieni separato il dato di processo dal dato personale. Se basta sapere che 7 output su 10 hanno passato il gate, non conservare una classifica nominativa.

La mappatura delle competenze AI del team serve a scegliere gruppi e bisogni. Questa baseline è più stretta: fotografa 1 compito prima della formazione.

Fai la prova immediata

Entro la fine del percorso, assegna una variante del compito. Fornisci tool, fonti e policy che il team avrà davvero.

La prova deve includere almeno 1 caso normale e 1 caso che richiede di fermarsi. Se testi solo il percorso felice, non sai se la persona riconosce il limite.

Usa la stessa rubrica per tutti gli output dello stesso ruolo.

Criterio	0	1	2
Risposta	non chiude il compito	chiude con difetti	chiude nel formato richiesto
Fonti	assenti o inventate	parziali	complete e tracciate
Qualità	errore bloccante	correzione necessaria	passa il gate
Autonomia	non sa come procedere	procede con guida	procede e sa fermarsi
Dati	usa input vietati	dubbio gestito tardi	rispetta il perimetro
Escalation	non riconosce il caso	chiede aiuto senza contesto	passa il caso con motivo e fonte

Un totale può aiutare a leggere il campione. L'errore bloccante vince sul punteggio. Un 10/12 con dati vietati non è verde.

Controlla il trasferimento dopo 30 giorni

La prova immediata avviene in un ambiente protetto. Dopo 30 giorni guarda un campione di lavoro reale autorizzato o una simulazione costruita su casi chiusi.

Il controllo chiede:

1. il compito viene ancora usato?
2. la persona trova fonti e policy senza il docente?
3. il formato resta coerente?
4. gli errori bloccanti diminuiscono?
5. le escalation sono corrette?
6. il revisore corregge meno?
7. il workflow si è fermato per un problema di accessi, dati o tool?

La finestra di 30 giorni è un default operativo, non una regola universale. Per un compito mensile serve più tempo. Per un'attività quotidiana può bastare un primo controllo a 14 giorni e uno a 45.

Qui tocca guardare il lavoro vero. Se nessuno usa il workflow, il problema può essere il corso. Oppure il tool non ha accesso, la policy è confusa o il manager continua a chiedere il vecchio formato.

Separa capacità e condizioni di lavoro

Quando il trasferimento fallisce, non dare per scontato che manchi competenza.

Usa 4 cause possibili:

Causa	Evidenza	Azione
Conoscenza	errore sul criterio anche in simulazione	richiamo mirato
Pratica	prova verde, uso reale incerto	affiancamento e campioni
Processo	input, owner o gate mancanti	correggere il workflow
Sistema	accesso, prestazione o collegamento instabile	intervento tecnico o stop

Il corso può essere buono e il processo non pronto. Il processo può essere pronto e il compito insegnato male. La diagnosi cambia l'azione.

Misura qualità prima della velocità

Una riduzione del tempo non è positiva se aumenta correzioni o claim senza fonte.

Ordina le metriche così:

1. errori bloccanti,
2. qualità dell'output,
3. escalation corretta,
4. rilavorazioni,
5. autonomia,
6. tempo.

Il NIST Generative AI Profile è un riferimento tecnico volontario. Aiuta a trattare affidabilità e valutazione come parti del ciclo d'uso. Non assegna una rubrica al tuo team e non sostituisce i criteri del processo.

Usa una scorecard del trasferimento

Dimensione	Indicatore	Fonte	Gate
Adozione	compiti eseguiti col metodo	log aggregato	volume sufficiente
Qualità	output che passa al primo giro	review campione	nessun bloccante
Autonomia	compiti chiusi senza guida	osservazione o simulazione	ruolo coerente
Sicurezza	input vietati ed errori critici	QA	0 bloccanti
Escalation	casi passati all'owner corretto	registro casi	motivo presente
Mantenimento	esito dopo la finestra	secondo campione	criterio stabile

Ogni indicatore ha denominatore, finestra e owner. Il team è più autonomo non passa. 8 compiti su 10 chiusi senza guida nel campione del 5 settembre passa, con i limiti del campione dichiarati.

Non attribuire tutto al corso

Il report OECD 2026 osserva che i lavoratori formati dichiarano più spesso esiti positivi dall'adozione AI. È un segnale utile. Non dimostra che il corso sia l'unica causa.

Tra baseline e controllo possono cambiare modello, carico, dati, prompt, manager, composizione del team e difficoltà dei casi. Registra ogni differenza.

Per una valutazione interna prudente:

• usa compiti comparabili,
• mantieni la stessa rubrica,
• conserva un campione sufficiente,
• annota i cambi di contesto,
• cerca evidenze contrarie,
• evita ranking individuali non necessari,
• presenta il risultato come osservazione, non come causalità.

L'impatto economico richiede una valutazione separata. Non trasformare 12 minuti risparmiati in euro se volume, costo e qualità non sono stati definiti.

Un esempio ipotetico

Un team di 8 persone segue un workshop sulla sintesi di brief autorizzati. Prima del corso, 10 output su 16 passano il gate e 4 contengono almeno 1 requisito aggiunto senza fonte.

Nella prova immediata, 14 output su 16 passano e nessuno aggiunge requisiti. Dopo 30 giorni, il campione reale contiene 20 output: 15 passano al primo giro, 3 richiedono correzioni e 2 vengono correttamente fermati perché il brief è incompleto.

Il risultato non dice che il corso ha aumentato la produttività del 50%. Dice che, nel campione osservato, gli errori bloccanti sono spariti e il team ha usato l'escalation prevista. Il manager decide di estendere il metodo a un secondo gruppo, mantenendo il controllo.

I numeri sono inventati per spiegare la lettura. Non sono un benchmark.

Decidi cosa fare dai difetti

Esito	Decisione
Prova rossa	non estendere, correggere contenuto o prerequisiti
Prova verde, uso basso	rimuovere ostacoli di processo e manager
Uso alto, qualità gialla	affiancamento e QA più stretto
Qualità verde, autonomia bassa	pratica guidata su casi diversi
Tutto verde	estendere con lo stesso gate
Errore critico	sospendere il caso e fare review

La decisione deve indicare owner, data e criterio del controllo successivo. Senza una prossima azione, la scorecard diventa un report che nessuno usa.

Gli errori che falsano la misura

• usare soltanto il gradimento,
• testare memoria invece di un compito,
• cambiare rubrica tra prima e dopo,
• confrontare casi di difficoltà diversa,
• premiare la velocità con output peggiori,
• contare richieste di aiuto come fallimenti,
• ignorare accessi, dati e manager,
• attribuire al corso ogni differenza,
• raccogliere dettagli personali non necessari,
• usare il test come certificato AI Act.

Il primo passo

Scegli 1 compito già insegnato. Scrivi output, errore bloccante, livello di autonomia e 1 campione prima del corso. Se non puoi definire il gate, non puoi ancora misurare il trasferimento.

MAIKER HUB può costruire la prova dentro un workshop AI aziendale o un percorso di formazione AI per il team. La misura entra nel progetto prima dell'aula, non nel questionario finale.