I regolamenti comunitari per la gestione dei fondi strutturali europei e le complesse prassi di controllo e sorveglianza poste in atto dalla autorità di gestione nazionali dei Quadri Comunitari di Sostegno (QCS) fanno del monitoraggio e della valutazione due pilastri della corretta conduzione dei Programmi operativi.
Esiste ormai un sistema informatizzato di controllo che raccoglie ed elabora – sia a livello nazionale che comunitario – i dati di monitoraggio fisico (numero e articolazione degli interventi, numero e caratteristiche dei partecipanti, ecc.) e finanziario, consentendo, almeno in teoria, di disporre in tempo reale di tutti i dati quantitativi sino al livello dei singoli progetti. Parallelamente è previsto un sistema di valutazione qualitativa, affidato per ogni Programma, a specifiche strutture indipendenti che rispondono direttamente agli uffici della Commissione europea.
Il Programma operativo nazionale ?La scuola per lo sviluppo? – oltre a gestire gli adempimenti obbligatori sopra richiamati – ha sviluppato un programma autonomo di valutazione della qualità (AUDIT) dei processi di attuazione dei progetti autorizzati nell?ambito del Programma stesso, attraverso una metodologia di contatto diretto e di analisi partecipativa.
Questo approccio mira a sviluppare un esame sistematico dell?attuazione dei progetti in ogni istituzione scolastica coinvolta nel Programma, con il duplice obiettivo, da un lato, di verificare analiticamente la correttezza, adeguatezza e coerenza delle modalità attuative e, dall?altro, di orientare e promuovere il miglioramento complessivo dell?azione della scuola, identificando, in stretta collaborazione con gli attori (capi d?istituto, docenti, utenti), gli elementi di forza e quelli di criticità degli interventi, e individuando soluzioni efficaci, anche attraverso il confronto tra le diverse esperienze e la diffusione delle best practices, per adeguare sempre meglio gli esiti agli obiettivi.
L?azione di audit tende a superare la logica dei controlli puramente formali, utilizzando. le risultanze quantitative sia del sistema di monitoraggio del PON (indicatori di realizzazione) che del sistema di autovalutazione previsto nelle diverse configurazioni progettuali, per mettere a fuoco prioritariamente gli aspetti qualitativi del processo di attuazione dei progetti stessi e per sostenere – attraverso una rinegoziazione continua dei percorsi formativi all’interno della scuola – la coerente attuazione degli obiettivi generali e specifici posti dalla programmazione dei fondi strutturali europei.
L?audit permette, quindi, attraverso l?utilizzazione connessa delle modalità standard di valutazione quantitativa degli interventi e di quelle specifiche di intervento qualitativo, di identificarne i nodi problematici e di effettuare una riprogrammazione più mirata a livello di singoli progetti e di istituzioni attuatrici. E permette, nello stesso tempo, di governare più efficacemente il sistema, consentendo sia ai responsabili centrali del Programma operativo che ai responsabili diretti dell?attuazione dei progetti, di intervenire tempestivamente anche attraverso provvedimenti di miglioramento in itinere.
In una dimensione più ampia, e tenendo conto che l?attuazione del Programma ha, come vincolo sostanziale, la coerenza sia con gli obiettivi strategici dei Fondi strutturali che con quelli della programmazione nazionale per l?occupazione e per lo sviluppo economico, la metodologia dell?audit consente di rivolgere una più precisa e approfondita attenzione alla dimensione territoriale dell?attuazione del Programma stesso e della sua collocazione funzionale nel quadro programmatico generale di riferimento.
Questo non significa, ovviamente, che l?attività di audit ponga in secondo piano la specificità e individualità delle esperienze esaminate né la centralità della singola,istituzione attuatrice, ma che la qualità della singola istituzione rappresenta il punto di riferimento per una sintesi in grado di illuminare, anche a livello generale, il quadro delle realizzazioni positive e degli elementi di criticità.
La realizzazione delle procedure di valutazione attraverso l?audit ha richiesto, da un lato, il coinvolgimento di competenze di alto livello riguardo sia nell?ambito della valutazione, sie in quello della gestione del sistema scolastico, sia infine in quello degli interventi dei Fondi strutturali; e, dall?altro, un complesso impianto organizzativo in grado di garantire l?attuazione in loco degli interventi di valutazione per un campione significativo di progetti. . Essa è stata, quindi, direttamente organizzata dall?Autorità di gestione del Programma e affidata ad un gruppo di circa 40 ispettori tecnici del MIUR, reclutati sia fra quelli incardinati nell?Amministrazione centrale che fra quelli in servizio presso le Direzioni Scolastiche regionali di tutto il Paese.
Gli Ispettori – che in linea generale hanno già un?ampia esperienza circa le attività dei fondi strutturali europei – sono coinvolti in tutte le fasi del processo di valutazione, partecipando alla produzione e revisione degli strumenti di indagine; realizzando le visite in loco alle istituzioni scolastiche; restituendo all?Autorità di gestione, in seminari ad hoc, l?esperienza realizzata; diffondendo i risultati della valutazione in seminari di feed-back alle istituzioni scolastiche delle regioni interessate
L?attuazione dell?audit ha previsto il ricorso ad una griglia di valutazione predisposta, destinata a guidare il processo di valutazione partecipativa svolto in loco, a fissarne i risultati in modo omogeneo e riconoscibile e a consentire- in una fase successiva – la restituzione dei risultati a tutte le istanze coinvolte nel Programma.
La griglia di valutazione è composta da una sezione preliminare relativa alla qualità della struttura e dell’organizzazione dell?istituzione scolastica attuatrice, e da una o più sezioni distintamente rivolte all?analisi delle caratteristiche e della qualità dei singole aree progettuali nelle quali l?istituzione scolastica è coinvolta.
Per ognuna di tali aree viene individuato un certo numero di parametri e indicatori di qualità, e definita una soglia di accettabilità, che indica il livello minimo di qualità individuato, al di sotto del quale è necessario definire specifiche modalità di miglioramento con i responsabili dell?istituzione attuatrice.
Per una prima valutazione del livello di qualità raggiunto da ogni singolo Istituto rispetto a una specifica area, viene analizzata la presenza o l?assenza degli indicatori di qualità previsti in tale area. L?assenza di un indicatore viene valutata: 0, la presenza dell?indicatore: 1. Ciò consente di ottenere un punteggio (per sub-area, per area, o complessivo) che vale sia a livello qualitativo, permettendo di cogliere complessivamente la presenza o l?assenza degli indicatori previsti, sia a livello quali-quantitativo di comparazione interna, consentendo ? tramite un semplice calcolo – di produrre una sorta di prima misurazione della qualità come valore percentuale rispetto ad un massimo predefinito.
La caratteristica distintiva dell?approccio audit consiste tuttavia nel fatto che i criteri e le procedure dell?analisi sono esplicitati, che vengono condivisi con i soggetti “valutati” e che tutti gli elementi del sistema vengano presi in considerazione in modo partecipativo, sia attraverso il riesame comune della documentazione prodotta dall?istituzione attuatrice, che attraverso il colloquio diretto degli ispettori con i capi d?istituto, i coordinatori, i docenti e tutor, gli allievi, ecc.
In base alla griglia di valutazione e all?apporto di tutti i partecipanti all?audit, vengono identificati i punti di forza e gli elementi critici, sia delle singole aree progettuali che di tutto il complesso delle attività relative al PON Scuola, che consentono la stesura di un quadro di elementi suscettibili di modifica e miglioramento e di una parallelo quadro di elementi in grado di fornire suggerimenti di buone prassi.
Da un punto di vista operativo le procedure di attuazione dell?audit comportano:
– l?identificazione di un campione di scuole – che attualmente (2003) ha coinvolto circa il 45% delle istituzioni attuatici del PON Scuola – costituito in proporzione alle risorse destinate dal Programma alle singole regioni e alla distribuzione per provincia delle istituzioni scolastiche;
– l?invio – da parte dell?Autorità di gestione – di una nota preliminare di informazione ad ognuna delle istituzioni attuatrici, con l?indicazione di massima delle procedure previste e della documentazione da predisporre, e con la messa a disposizione della griglia di valutazione come strumento di riferimento per tali adempimenti;
– accordi diretti fra ispettori incaricati dell?audit e istituzioni, per definire calendario e modalità specifiche della visita in loco;
– visita in loco, della durata variabile da uno a tre giorni lavorativi, che comporta in linea di massima:
- l?esame di tutta la documentazione riguardante l?attuazione dei progetti (Verbali del Collegio di Docenti, del Consiglio di Istituto, dei Consigli di Classe, ecc.; P,O.F.; progetti PON Scuola e relativa documentazione; registri e documenti della contabilità dei progetti; strumenti didattici; strumenti di valutazione: test di ingresso, questionari per la rilevazione dei dati anagrafici, delle motivazioni e delle competenze degli allievi, ecc.; documentazione sulla frequenza, sull?utilizzazione dei laboratori e infrastrutture, e sugli esiti scolastici; strumenti di valutazione di processo: schede di autovalutazione dei progetti , questionari di gradimento, ecc.ecc.);
- l?incontro con i soggetti coinvolti (capo d?istituto e suoi collaboratori; Collegio dei Docenti; eventualmente, Consiglio d?Istituto; direttore servizi amministrativi; esperti e tutor dei gruppi operativi di progetto; figure di sistema, a livello didattico e di organizzazione; studenti; genitori; operatore psico-pedagogici, ecc.; personale ATA; ecc.);
- la visita delle strutture didattiche e logistiche (laboratori, biblioteche, servizi, ecc.)
- la compilazione condivisa della griglia di valutazione e del quadro delle indicazioni di qualità (punti forti; punti critici; situazioni da modificare; esempi di buone pratiche; ecc.).
L?attività di valutazione qualitativa, dopo essere stata sperimentata nelle fasi conclusive del precedente Programma operativo per la scuola (1994-1999), è stata sviluppata nel corso del presente Programma 2000-2006 ed è già stata oggetto di un primo rapporto di sintesi – presentato e discusso nella sessione di gennaio 2003 del Comitato di sorveglianza del Programma stesso e nel Seminario di riprogrammazione tenutosi nel successivo mese di febbraio – finalizzato .alla rilevazione dell?impatto degli interventi sull?organizzazione dell?offerta formativa degli istituti attuatori, attraverso l?esame sistematico delle modalità di progettazione e attuazione dei progetti nell?ambito delle singole Misure.
La valutazione, attuata in base alla verifica di una griglia di indicatori secondo la rilevazione della loro presenza o assenza – ha permesso di stabilire per ogni area progettuale un punteggio che offre una prima indicazione del livello qualitativo di attuazione. Questo tipo di valutazione ha imposto, altresì, una forte condivisione con tutti gli attori coinvolti nell?attuazione delle attività del PON, consentendo di individuare, per ogni linea di intervento, punti critici e risultati positivi, nonché eventuali buone prassi da diffondere nel sistema.
Il campione delle istituzioni attuative assunto per la valutazione copre ca. il 45% del totale delle scuole coinvolte nei progetti del PON Scuola , ed è stato definito prendendo in considerazione il numero delle scuole per Regione che partecipano al PON, la tipologia degli Istituti (3/5 tecnico-professionali e 1/5 classici e il restante 1/5 scuole medie ed elementari), la ripartizione territoriale per Province e il numero di progetti realizzati da ogni singolo istituto.
Attraverso l?esame analitico e partecipato di questo campione è stato possibile delineare un primo quadro di massima delle criticità emergenti e dei risultati positivi.
Il processo di audit ha consentito di calcolare, infatti, per ogni istituzione e per ogni area progettuale esaminata, un punteggio, che ha un puro valore indicativo, ma che costituisce un utile strumento per definire nel loro complesso i quadri dei punti di forza e delle situazioni critiche complessive. Al fine di individuare un possibile raccordo tra le performance delle istituzioni attuatrici, i punteggi generali ottenuti sono stati distinti in tre fasce: una medio-bassa, ( punteggio al disotto del 50% del punteggio massimo conseguibile) che corrisponde grosso modo al 10% del totale delle istituzioni esaminate; una medio-alta (istituzioni con punteggio compreso tra il 50% e l?80% del punteggio massimo); e una superiore (istituzioni con punteggio al di sopra del?80% del massimo, corrispondente grosso modo al 155 delle istituzioni valutate))conseguibile la dove sono collocati gli Istituti che hanno conseguito un punteggio al di sotto del 50% del punteggio.
I principali punti critici riscontrati nella fascia medio bassa possono essere identificati in:
- carenza nel disegno e nell?utilizzo dei sistemi di monitoraggio e valutazione;
- utilizzo poco efficace o scarso di docenti esterni, e carente raccordo tra docenti impegnati nei progetti PON e quelli che svolgono soltanto il lavoro curricolare;
- debole formalizzazione nella progettazione e gestione degli interventi
- limitato utilizzo delle tecnologie sia all?interno dell?Istituto che a servizio del territorio;
- scarsa analiticità delle certificazioni di profitto e conseguente scarsa riconoscibilità delle competenze acquisite.
Simmetricamente, i principali elementi di forza osservati nella fascia superiore possono essere identificati in:
- efficace coordinamento le diverse figure e funzioni coinvolte nella realizzazione dei progetti;
- alto livello di competenza dei docenti ed esperti esterni;
- integrazione tra attività finanziate dal PON e percorsi curriculari;
- adeguatezza e coerenza dell?analisi dei bisogni;
- utilizzazione multidisciplinare, anche in funzione del territorio, delle tecnologie acquisite;
- certificazione analitica delle competenze acquisite, anche da parte di organismi esterni
realizzazione di misure di accompagnamento; - significative modalità di informazione e di pubblicizzazione all?interno e all?esterno della scuola.
Il fatto che tanto le situazioni critiche delle istituzioni attuatrici più deboli quanto le caratteristiche positive di quelle più forti appaiano concernere sostanzialmente le stesse aree tematiche, rappresenta una conferma significativa della validità e utilità del sistema dell?audit, consentendo di intervenire con precisione e in modo orientato sui punti fondamentali delle future programmazioni.