Valutazione e Università

“Nel 2010 è stata istituita l’ANVUR (Agenzia Nazionale Valutazione Universitaria). l’Agenzia svolge la funzione di Agenzia nazionale sull’assicurazione della qualità, come previsto nell’ambito degli accordi europei in materia di istruzione superiore e di ricerca. Il sistema AVA (Autovalutazione, Valutazione periodica, Accreditamento), costituisce l’insieme delle attività dell’Agenzia in attuazione delle disposizioni della legge 20/12/2010, n. 240 e del decreto legislativo 27/01/2012, n. 19, che prevedono l’introduzione del sistema di accreditamento iniziale e periodico dei corsi di studio e delle sedi universitarie, della valutazione periodica della qualità, dell’efficienza e dei risultati conseguiti dagli atenei e il potenziamento del sistema di autovalutazione della qualità e dell’efficacia delle attività didattiche e di ricerca delle università. L’ANVUR ha il compito di fissare metodologie, criteri, parametri e indicatori per l’accreditamento e per la valutazione periodica. All’ANVUR spettano inoltre la verifica e il monitoraggio dei parametri e degli indicatori di accreditamento e valutazione periodica anche ai fini della ripartizione della quota premiale delle risorse annualmente assegnate alle università. Le università hanno iniziato ad applicare progressivamente il sistema integrato AVA a partire dal 2013, con l’emanazione del DM 47/2013 (modificato dal DM 1059/2013) che ne ha recepito le istanze promosse dall’ANVUR.”

“L’ANVUR, oltre a predisporre gli strumenti per la valutazione dell’attività didattica, ha implementato la valutazione della ricerca (VQR).La VQR si articola sulle 14 Aree disciplinari identificate dal Comitato Universitario Nazionale (CUN); per ogni area l’ANVUR ha costituito un Gruppo di Esperti della Valutazione (GEV) con il compito di valutare i prodotti della ricerca. Le valutazioni sono basate sul metodo della valutazione tra pari e, per gli articoli indicizzati nelle banche dati ISI e Scopus, sull’analisi bibliometrica. I soggetti valutati sono costituiti dai ricercatori (a tempo determinato ed indeterminato), assistenti, professori di prima e seconda fascia e dai ricercatori e tecnologi degli Enti di Ricerca. Sono presi in considerazione ai fini della VQR i prodotti di ricerca costituiti da: articoli su riviste; libri e capitoli di libri (se dotati di ISBN); edizioni critiche, traduzioni e commenti scientifici; brevetti; altri prodotti quali composizioni, disegni, performance, software, banche dati ….”

“Tra le competenze attribuite all’ANVUR dal decreto istitutivo DPR 76/2010 rientrano anche le funzioni di indirizzo e coordinamento delle attività di valutazione demandate ai Nuclei di Valutazione degli Atenei. Con la legge 240/2010 di riforma del sistema universitario, il Nucleo di Valutazione diventa l’organo di Ateneo responsabile della verifica della qualità della formazione e della ricerca e di tutte le funzioni di Organismo Indipendente di Valutazione (compiti in materia di ciclo della performance e trasparenza). Il rapporto con i Nuclei di Valutazione, già consolidato da anni dal Comitato Nazionale per la Valutazione del Sistema Universitario, si rinnova e si potenzia con l’ANVUR, che intende ottimizzare il loro ruolo di valutazione dei sistemi di Assicurazione della Qualità, individuando nella Relazione Annuale uno strumento completo per descrivere a che livello è giunto l’Ateneo nel processo di Assicurazione della Qualità (AQ).”

“Le norme contenute nel capo IV (potenziamento dell’autovalutazione) del D.Lgs 19/2012 prevedono per i Nuclei di Valutazione i seguenti compiti:

– supporto all’ANVUR per il monitoraggio sull’applicazione dei criteri e degli indicatori per la Valutazione Periodica;
– controllo annuale sull’applicazione dei criteri e degli indicatori per la Valutazione Periodica;
– verifica dell’adeguatezza del processo di Autovalutazione;
– sostegno al miglioramento delle metodologie interne per il raggiungimento di obiettivi strategici programmati ogni triennio dai singoli atenei nell’ambito di didattica, ricerca, organizzazione e performance individuali;
– verifica della rispondenza agli indicatori di Accreditamento Iniziale dei Corsi di Studio di nuova attivazione.
Il Nucleo, per le proprie attività, si avvale di dati provenienti da tutte le strutture accademiche e amministrative dell’Ateneo; si avvale, inoltre, del supporto dei Comitati di monitoraggio di Facoltà, nonché delle Commissioni paritetiche e del Presidio di qualità.”

“Il Presidio di Qualità della Sapienza, denominato Team Qualità (TQ) è stato avviato nel 2005 in modo autonomo al fine di avviare una progettazione e una gestione dei corsi secondo criteri finalizzati al perseguimento e al miglioramento continuo della qualità.

Il Team Qualità svolge un ruolo centrale nell’Assicurazione Qualità (AQ) di Ateneo così come previsto dal Sistema AVA.
In sintesi le linee di indirizzo del TQ sono:
• sensibilizzare i “decisori” (Rettore, Direttore Generale, Senato Accademico, Consiglio di Amministrazione) sul tema della Qualità;
• attivare gli “attori” (Presidi, Direttori di Dipartimento, Presidenti di CdS) sugli aspetti sostanziali e non formali dell’Assicurazione Qualità;
• realizzare una maggiore integrazione tra i diversi sistemi di pianificazione: l’Assicurazione Qualità è parte della gestione delle performance dell’Ateneo;
• consolidare il modello a rete che risulta di fondamentale importanza per corresponsabilizzare Facoltà e Dipartimenti nel presidiare il processo di Assicurazione Qualità, di autovalutazione, riesame e miglioramento dei Corsi di Studio;
• favorire il rafforzamento delle strutture di supporto al Team Qualità attraverso un percorso di crescita sui temi dell’Assicurazione Qualità.

Nel modello organizzativo dell’Assicurazione Qualità di Sapienza, i Comitati di Monitoraggio di Facoltà hanno un ruolo di supporto sia al Team Qualità sia al Nucleo di Valutazione, ai quali dovranno essere forniti dati e informazioni utili per l’Assicurazione Qualità e la Valutazione.

Ai Comitati di monitoraggio sono attribuiti i seguenti compiti:
• monitorare i processi di AQ, di autovalutazione, riesame e miglioramento dei Corsi di Studio a livello di Facoltà e di Dipartimenti di riferimento, con particolare attenzione alle problematiche gestite a livello di struttura di coordinamento e non delegate ai singoli Corsi di Studio;
• assicurare il corretto flusso informativo da e verso il Team Qualità, il Nucleo di Valutazione e le Commissioni Paritetiche docenti-studenti della Facoltà e dei Dipartimenti di riferimento;
• proporre al Team Qualità di Ateneo l’adozione di strumenti comuni per l’AQ e l’erogazione attività formative ai fini della loro applicazione;
• fornire supporto ai Corsi di Studio, ai loro referenti, alle Commissioni AQ dei Corsi di Studio e ai Direttori di Dipartimento afferenti alla Facoltà per le attività proprie dell’Assicurazione Qualità;
• consolidare a livello di Facoltà il modello a rete dell’Assicurazione Qualità Sapienza che risulta di fondamentale importanza per corresponsabilizzare Commissioni Qualità, Corsi di Studio e Dipartimenti nel presidiare il processo di Assicurazione Qualità e di autovalutazione;
• supportare i Corsi di Studio e i Dipartimenti per realizzare una maggiore integrazione tra i diversi sistemi di pianificazione a livello didattico: Offerta Formativa, Orario delle Lezioni, Gestione delle Aule, Calendarizzazione Esami di Profitto, ecc.”

“Gli Atenei sono finanziati con il Fondo di Finanziamento Ordinario (FFO) che fino allo scorso anno veniva erogato in base alla spesa storica, con alcuni vincoli e con una quota premiale che è legata ai risultati della Valutazione della Ricerca e della didattica secondo queste percentuali:

• 65% in base ai risultati conseguiti nella Valutazione della qualità della ricerca (VQR 2004 – 2010);
• 20% in base alla Valutazione delle politiche di reclutamento;
• 7% in base ai risultati della didattica con specifico riferimento alla componente internazionale;
• 8% in base ai risultati della didattica con specifico riferimento al numero di studenti regolari che hanno acquisito almeno 20 CFU.”

“L’Ateneo Sapienza ha sempre considerato la valutazione delle opinioni degli studenti una fase decisiva dell’Assicurazione della Qualità dei Corsi di Studio; il questionario costituisce lo strumento principale per valutare il grado di soddisfazione dello studente nei confronti della didattica.

La rilevazione sulle opinioni degli studenti è iniziata nel 1999 e nel corso degli anni ha subito diverse modifiche, dovute anche a Decreti legislativi.
Attualmente la raccolta delle opinioni degli studenti avviene attraverso l’utilizzo esclusivo dei questionari predisposti dall’Anvur secondo procedure approntate dai singoli Atenei per rendere obbligatoria, nei tempi previsti, la compilazione: la somministrazione dei questionari agli studenti frequentanti inizia quando si giunge ai 2/3 dell’insegnamento da valutare.
Il Team Qualità (TQ) è l’Organo di governo che, in attuazione del DM 47/2013 e a partire dall’anno accademico 2013‐14, ha preso in carico, rilevandola dal Nucleo di Valutazione, la gestione del processo di valutazione delle opinioni studenti tramite la procedura OPIS (Opinioni Studenti). Il TQ ha predisposto le Linee guida Sapienza sulla rilevazione opinioni studenti e docenti utile ai Comitati di Monitoraggio e alle Commissioni Paritetiche nel coordinamento dell’Opis.
Per quanto concerne la raccolta dei dati, questa avviene utilizzando i supporti informatici messi a disposizione da InfoSapienza: gli studenti sono invitati a compilare il questionario on-line quando si giunge ai 2/3 dell’insegnamento da valutare, accedendo alla propria pagina Infostud.
L’elaborazione dei dati e la distribuzione avvengono a livello centralizzato attraverso un Datawarehouse dedicato e l’applicazione di Google Drive.
La Governance di Ateneo incoraggia fortemente la rilevazione Opis attraverso ampia pubblicità sui siti web dei corsi di studio e segnalazioni dirette ai Presidenti di CdS, che sono invitati a discutere i risultati della rilevazione in sede di organo collegiale e con i rappresentati degli studenti.
Le finalità della Rilevazione Opis sono molteplici, in primis nella normativa vigente e nel sistema di valutazione e accreditamento adottato dall’ANVUR le opinioni degli studenti frequentanti mantengono grande rilevanza ai fini dell’accreditamento dei corsi di studio e come quota premiale del FFO da assegnare agli Atenei, inoltre essa costituisce una base informativa importante per il rapporto del Riesame (è un rapporto di Autovalutazione).
Il risultato delle Opinioni Studenti non ha effetti fissi sulla retribuzione del Docente, ma nel 2011-2013 a causa del blocco degli scatti triennali, il MIUR ha assegnato una quota agli Atenei per l’incentivazione dei Docenti, da attribuire al singolo Docente per un solo anno accademico. Ogni Ateno ha stabilito dei propri criteri per l’attribuzione; per Sapienza la graduatoria per ciascuna fascia e ruolo è redatta attribuendo i seguenti punteggi:
– fino a 45 punti per premialità ricerca scientifica;
– fino a 5 punti per coordinamento di unità operativa di progetto di ricerca;
– fino a 5 punti per cariche accademiche;
– fino a 40 punti per l’attività didattica, dichiarata dagli interessati e soggetta a controlli, valutata in relazione ai CFU/ore di didattica frontale. I CFU/ore sono poi rapportati al numero degli esami erogati, moltiplicando per un coefficiente – su una scala che va da 0,2 (da 1 a 20 esami) a 3,0 (da 300 esami in poi) – proporzionale al numero degli esami stessi”.

“Nei vari anni, il questionario che permette la valutazione della soddisfazione degli studenti ha subito varie modifiche, sia per quanto riguarda la somministrazione sia per la sua struttura che per le modalità di rilevazione. Il questionario ha visto variare il numero di domande da 34 nell’a.a. 2007-2008 a 12 domande nell’a.a. 2014-2015. Per quanto riguarda la tipologia di questionari inizialmente il questionario era cartaceo. Dall’a.a. 2011/2012 l’Ateneo, al fine di ottenere in tempo reale i dati e di effettuare in modo efficace il riesame del corso, ha adottato una nuova procedura di raccolta delle opinioni, denominata Opis On-line, che consente allo studente di compilare un questionario elettronico accedendo attraverso la piattaforma Infostud.

Il questionario cartaceo veniva distribuito in Aula dal Docente coordinatore del Corso, durante una lezione (generalmente nel mese di dicembre per il primo semestre e nel mese di maggio per il secondo semestre) ed elaborato attraverso un lettore ottico; tra le criticità del cartaceo abbiamo rilevato un problema tecnico derivante dal lettore ottico che perfora il questionario in corrispondenza del quadrato contraddistinto dalla lettera che indica la risposta prescelta e che trasferisce così le risposte su supporto elettronico. Se lo studente annerisce la casella uscendo dai bordi, il sistema interpreta la risposta come un “non risponde”, questo genera una percentuale di risposte “non risponde” elevata. Un’altra criticità, che permane a tutt’oggi, è la differenza tra Corsi di studio a frequenza obbligatoria e non; mediamente lo studente iscritto ad un corso non obbligatorio tende ad essere più soddisfatto dell’insegnamento rispetto allo studente che è iscritto ad un corso con frequenza obbligatoria.
Il passaggio al sistema on-line ha determinato nel primo anno di attivazione un crollo di oltre il 50% nel numero di questionari compilati, a tal fine sono state deliberate dagli Organi competenti delle strategie che hanno reso obbligatoria la compilazione. Lo studente per potersi prenotare all’esame è obbligato a rispondere prima al questionario, ovviamente se non lo ha compilato nei tempi suggeriti dalla Governance (compilazione ai 2/3 del corso).
I dati generati dalle opinioni studenti vengono trasferiti su un DataWarehouse centrale di Ateneo, elaborati e poi inviati ai singoli Docenti, al Presidente del Corso di Studi e ai Comitati di Monitoraggio.
Nel questionario è prevista la possibilità di risposta aperta per evidenziare, da parte dello studente, punti di forza e di debolezza del corso. Le risposte vengono “rielaborate” da apposite Commissioni, istituite all’interno di ciascun Corso di Studio, e discusse collegialmente in Consigli di Corso di Studio, per avviare percorsi di miglioramento della didattica.
I risultati delle opinioni Studenti vengono utilizzati dall’a.a. 2012/13 per la stesura del Rapporto di Riesame (RdR), che è parte integrante dell’Assicurazione della Qualità delle attività di formazione. Il RdR è un processo periodico e programmato che ha lo scopo di verificare l’adeguatezza degli obiettivi di apprendimento che il Corso di Studio si è proposto, la corrispondenza tra gli obiettivi e i risultati e l’efficacia del modo con cui il Corso è gestito. Include la ricerca delle cause di eventuali risultati insoddisfacenti, al fine di adottare tutti gli opportuni interventi di correzione e miglioramento. Il documento viene redatto annualmente al fine di tenere sotto controllo le attività di formazione, i loro strumenti, i servizi e le infrastrutture. Sulla base di quanto emerge dall’analisi dei dati quantitativi (ingresso nel Corso di Studio, regolarità del percorso di studio, uscita dal Corso di Studio e ingresso nel mercato del lavoro) e di indicatori da essi derivati, tenuto conto della loro evoluzione nel corso degli anni accademici precedenti, delle criticità osservate o segnalate sui singoli segmenti del percorso di studio e sul loro coordinamento nel corso dei periodi didattici, il Rapporto di Riesame annuale documenta, analizza e commenta:
a. gli effetti delle azioni correttive annunciate nei Rapporti di Riesame annuali precedenti;
b. i punti di forza e le aree da migliorare che emergono dall’analisi dell’anno accademico in esame;
c. gli interventi correttivi sugli elementi critici messi in evidenza, i cambiamenti ritenuti necessari in base a mutate condizioni e le azioni volte ad apportare miglioramenti.”