Capitolo 4 Analisi degli items della prova definitiva
4.1 Difficoltà degli items
La difficoltà degli items riportata corrisponde alla percentuale media di risposte corrette ad ogni item.
Il grafico seguente (4.1) indica la difficoltà degli items che sono rappresentati secondo il loro ordine di apparizione all’interno del fascicolo. Si può osservare come vi sia una tendenziale aumento della difficoltà degli items indicato dalla diminuzione della percentuale media di risposte corrette come ci si sarebbe potuto aspettare essendo gli items ordinati in ordine di difficoltà crescente.
Figura 4.1: Relazione tra il posizionamento dell’item nella prova e percentuale di risposte corrette
Nei grafici precedenti si è potuto osservare che l’item Qua13 risulta essere più facile rispetto alle attese.
Di seguito (4.1) l’item Qua13 sottoposto agli allievi.
\(~\)
Figura 4.2: Item della dimensione Qualificare che risulta più facile rispetto alle attese
Dopo attenta verifica è emerso che in fase di concezione del fascicolo l’item Qua13 è stato inserito in una posizione sbagliata all’interno del fascicolo definitivo.
4.2 Difficoltà generale della prova
La distribuzione dei risultati alla prova indica come il test fosse “relativamente facile” rispetto alle competenze degli allievi. Si può difatti osservare come i risultati ottenuti (percentuale di risposte corrette per allievo) si situino prevalentemente nella parte alta della distribuzione (cf. figura (4.3). Appare tuttavia come la prova sia sufficientemente discriminante tra gli allievi, difatti i risultati degli allievi coprono essenzialmente tutto lo spettro della distribuzione, dai risultati meno elevati sulla sinistra del grafico a quelli più elevati sulla sinistra. Inoltre appare come nessun allievo riesca rispondere correttamente a tutte le 84 domande e come nessun allievo risponda in modo errato a tutte le domande.
Figura 4.3: Distribuzione dei risultati alla prova
Nella parte inferiore del grafico 4.3 si trova un grafico di tipo boxplot (letteralmente diagramma a scatola) generalmente utilizzato per rappresentare la distribuzione di un insieme di dati e evidenziarne le caratteristiche principali. La scatola nel boxplot rappresenta il 50% centrale dei dati, dove la lunghezza della scatola indica la dispersione interquartile (IQR), che è la differenza tra il terzo e il primo quartile (Q3 - Q1). La linea interna della scatola rappresenta invece la mediana (Q2), che è il valore che divide in due parti uguali la distribuzione. Le linee invece rappresentano i baffi (Whiskers) che si estendono dalla scatola verso i valori minimi e massimi. In alcuni casi i boxplot presentano anche i valori anomali di una distribuzione (outliers) tramite dei punti (non sono presenti in questo caso).
4.3 Tipologia delle domande
Le 84 domande poste agli allievi si differenziano, oltre che rispetto al loro contenuto, in funzione della tipologia stessa della domanda. A tal proposito, la modalità di somministrazione informatizzata ha permesso la creazione di tre diverse tipologie di items: le domande aperte (open), le domande a scelta multipla (multiple choice) e le domande “con trascinamento di elementi” (drag and drop).
Le domande aperte prevedevano un quesito a cui l’allievo doveva rispondere inserendo manualmente un testo.
Le domande a scelta multipla prevedevano un quesito con alcune alternative di risposta, tra le quali l’allievo doveva indicare quella corretta.
Le domande con trascinamento di elementi (drag and drop) sono quelle più specifiche alla modalità di somministrazione informatizzata. Queste prevedono infatti la presenza di un elemento grafico (ad esempio una carta geografica) sulla quale occorre posizionare degli elementi dati (ad esempio delle immagini di città).
Nello specifico sono state usate 17 domande di tipo “Drag and Drop” (domande che richiedono di selezionare e spostare una lista di alternative di risposte in appositi spazi); 48 domande di tipo “Scelta Multipla”; 19 domande di tipo “Domanda Aperta”.
Ogni tipologia di domanda si caratterizza quindi per una sua difficoltà legata al contenuto disciplinare ma anche per una sua difficoltà intrinseca legata alle modalità di risposta.
4.3.1 Difficoltà degli items in funzione della tipologia della domanda
Nel grafico seguente 4.3 vengono visualizzate le “difficoltà” degli items in funzione della tipologia di domanda. Come si può osservare le domande di tipo “aperto” sembrino particolarmente rappresentate tra le domande “difficili” (sulla destra del grafico), mentre le domande ti tipo “drag & drop” sembrino concentrate sulla parte sinistra.
Al fine di valutare se esistessero delle differenze di difficoltà degli items in funzione della loro tipologia è stata realizzata un’analisi di varianza a un fattore (ANOVA1). Le analisi realizzate indicano non evidenziano delle differenze statisticamente significative alla soglia alpha = 5%.
Figura 4.4: Difficoltà degli items in funzione della loro tipologia
4.4 Confronto tra somministrazioni cartacee e informatiche
Come anticipato, all’incirca 150 allievi hanno realizzato la prova standardizzata di geografia utilizzando un supporto cartaceo. Se si considera la modalità di somministrazione della prova come caratteristica per confrontare gli allievi appare come i risultati ottenuti alla versione informatizzata siano leggermente (55%) più elevati rispetto alla versione cartacea della prova (60%) come si può osservare nel grafico 4.5.
Figura 4.5: Percentuale di risposte corrette in funzione della modalità di somministrazione
Di seguito verranno analizzati i dati al fine di valutare se:
la tipologia di supporto ha un impatto sulla facilità / difficoltà degli items
le eventuali differenze emerse possono essere ricondotte alla tipologia della domanda.
Figura 4.6: Percentuale di risposte corrette in funzione della modalità di somministrazione e della tipologia della domanda
Per facilitare le analisi e la loro interpretazione si è provveduto a calcolare un coefficiente che indica la differenza di difficoltà sottraendo la “facilità” dell’item informatizzato alla “facilità” dell’item cartaceo.
Per questo motivo, dei valori superiori a 0 indicano che l’item nella sua versione cartacea è più facile rispetto alla sua versione informatizzata e viceversa.
Figura 4.7: Percentuale di risposte corrette in funzione della modalità di somministrazione
Il grafico precedente (4.7) offre interessanti spunti di riflessione. Gli item che risultano più facili nella versione cartacea sono sopra alla linea rossa (che indica un coefficiente di differenza di difficoltà uguale a 0) e quelli che risultano più facili in formato elettronico sono al disotto, l’estensione della barra in un senso o nell’altro indica l’estensione della differenza di performance.
All’interno del grafico 4.7 gli items sono rappresentati in ordine crescente rispetto al coefficiente di differenza di difficoltà (e non in ordine di apparizione). La differenza di prestazione che si è rilevata tra gli item somministrati in forma cartacea e quelli in forma elettronica è limitata. I risultati alle due prove sono comparabili anche se la versione cartacea risulta lievemente più difficile (ritroviamo difatti un numero maggiore di items al di sotto della riga tratteggiata rossa). Tuttavia è interessante osservare come tra gli items che risultano più facili nel loro formato cartaceo appaiano prevalentement delle domande della tipologia “domande aperte” in colore blu sulla destra del grafico. Questo potrebbe essere dovuto alla maggior familiarità con la scrittura manuale degli allievi.
4.5 Tempo di risposta
Per gli allievi che hanno realizzato la prova utilizzando la piattaforma Moodle è stato possibile misurare il tempo di risposta misurato in secondi impiegato per rispondere alla prova di geografia. In media gli allievi hanno utilizzato 69 minuti (4141 secondi) per completare la prova.
Nel grafico seguente (4.8) è rappresentata la reazione tra il tempo impiegato ed i risultati alla prova. Evidenziando con due colori diversi i risultati “Bassi” (inferiori al valore mediano) e “Alti” (superiori al valore mediano) è possibile osservare come per la prima categoria (risultati “Bassi”) si possa mettere in evidenza una relazione positiva tra le due variabili, ad indicare che all’aumentare del tempo impiegato aumentano i risultati ottenuti. Questa relazione è però invertita se si considerano gli allievi che hanno ottenuto dei risultati “Alti”. Questo porta a sostenere che esista una soglia di tempo oltre la quale l’influenza non sia più positiva.
Figura 4.8: Percentuale di risposte corrette in funzione della modalità di somministrazione
l’ANOVA è una tecnica statistica utilizzata per valutare se ci sono differenze significative tra le medie di tre o più gruppi (livelli)↩︎