JOURNAL OF PERSONALITY ASSESSMENT
- VOL.74, N.1 / 2000
Interobserver Agreement, Intraobserver
Reliability, and the Rorschach Comprehensive System
Marvin W. Acklin, Claude J. McDowell II, Mark
S. Verschell, and Darryl Chan
|
Questo è un lavoro molto importante per tutti coloro che studiano
e applicano il test di Rorschach nella pratica clinica e nella ricerca.
Gli autori fanno parte dell'Hawaii Rorschach Research Group ed in questo
articolo presentano i dati sulla reliability delle sigle del Comprehensive
System (CS) di John Exner, il sistema Rorschach più diffuso nel
mondo e più rigoroso dal punto di vista psicometrico.
Psicometricamente, le sigle del Rorschach sono un modo per categorizzare
in simboli formali il comportamento verbale del soggetto sottoposto al
test. Le risposte al test possono essere considerate delle risposte aperte,
per cui l'osservatore ha il compito di trasformarle in codici sui quali
sarà poi possibile effettuare trasformazioni numeriche di calcolo.
Il CS è stato sviluppato per standardizzare le osservazioni (attraverso
la somministrazione) e le procedure di siglatura. Nonostante la rigorosa
standardizzazione e le prove psicometriche a cui è continuamente
sottoposto, il CS mostra alcune vulnerabilità proprie di ogni sistema
Rorschach: l'adeguatezza delle procedure di somministrazione, l’applicazione
dei criteri di siglatura a ciascuna singola risposta, la correttezza e
l'appropriatezza dell'Inchiesta, alcuni criteri di siglatura ambigui (come
la Texture che può essere siglata anche senza alcun esplicito riferimento
alle sfumature di chiaroscuro se il soggetto afferma che è un tappeto
peloso mentre strofina la tavola).
Questi problemi indeboliscono la reliability, definita come il grado
di accordo inter-osservatore (o intra-osservatore in tempi diversi) sul
comportamento osservato che indica la capacità dello strumento di
essere riproducibile ed esente da errore nell'osservazione. La reliability
inter-osservatore indica quanto due osservatori indipendenti sono intercambiabili
e viene espressa da alcuni indici statistici, come il proportion agreement
ed il coefficiente k. Il primo si definisce come il numero di volte in
cui due o più osservatori sono o meno d’accordo diviso per il numero
totale delle risposte. Il secondo come la differenza fra la proporzione
dell'accordo osservato meno la proporzione dell’accordo dovuto semplicemente
al caso, diviso per 1 meno i totali marginali di ciascun livello di siglatura.
Il coefficiente k fu introdotto in statistica da Cohen nel 1960 ed ha sostituito
la misura storica dell'accordo fra osservatori (la semplice percentuale
di volte in cui due osservatori erano o meno d’accordo in una valutazione)
poiché tiene conto del fatto che l'accordo può esser ottenuto
anche per caso, come il lancio della monetina (coin toss). Il k esprime
pertanto la proporzione di accordo fra due osservatori non dovuta al caso
e va da -1 (gli osservatori non sono mai d'accordo) a +1 (sono sempre d'accordo)
passando da 0 (l'accordo fra gli osservatori è identico a quello
ottenuto a caso).
Nel Rorschach, le cose si complicano ulteriormente. Qui si tratta di
considerare non solo se due osservatori concordano sull'assegnare o meno
una certa siglatura (cosa relativamente semplice se le risposte possibili
sono due e mutualmente esclusive, tipo si/no) ma anche tutte le possibili
fonti di errore di misurazione: siglare una risposta ad es. come M (movimento
umano) implica non siglare tutte le altre determinanti (e quindi quanto
sono d’accordo i due osservatori nel non siglare in modo diverso da M),
alcune sigle possono avere una bassa reliability perché la risposta
può essere codificabile con una siglatura leggermente diversa (ad
es. FC vs CF, per cui la FC potrebbe essere poco affidabile perché
uno dei due osservatori tende a siglare eccessivamente come CF), le sigle
risentono del fenomeno del c.d. base rate (quanto più un comportamento
tende ad essere pochissimo o moltissimo frequente, tanto più la
stima di reliability tende a diminuire: si considerino ad esempio alcune
sigle pochissimo frequenti come CONTAM o M no-form, per cui siglare o meno
le uniche 2-3 sigle di questo tipo in 10 protocolli cambia drasticamente
l’affidabilità di queste sigle). Questi problemi vengono in parte
evitati usando un altro coefficiente di affidabilità, l'Intra Class
Correlation (ICC), ossia la proporzione della varianza totale del rating
di un osservatore che è attribuibile alle possibili variazioni reali
del comportamento osservato (come negli esempi precedenti), espresso con
valori da 0 a 1, con 1 indicante l'accordo perfetto.
Tenendo conto di quanto appena detto, questo studio ha valutato la
reliability delle sigle del CS in 20 studenti universitari non-pazienti
ed in 20 pazienti psichiatrici ricoverati di pari età e condizione
sociodemografica (una review della reliability delle sigle del CS e del
Rorschach in generale, confrontate con la reliability di alcune misure
biomediche classiche è stata compiuta da Greg Meyer al XVI congresso
dell'International Rorschach Society di Amsterdam nel luglio 1999, il cui
resoconto è stato pubblicato in PSYCHOMEDIA al seguente indirizzo:
http://www.psychomedia.it/pm/training/giornate/irs-99.htm).
Per quanto riguarda la response-level reliability (affidabilità
relativa alla siglatura della singola risposta), ben il 77% delle scelte
dei due osservatori Rorschach per la siglatura delle risposte ha evidenziato
un livello di reliability eccellente (k>0.81) o sostanziale (0.61<k<0.81)
negli studenti universitari e l'88% nei pazienti psichiatrici. Per quanto
riguarda la protocol-level reliability (affidabilità relativa alla
siglatura dell’intero protocollo), livelli eccellenti o sostanziali di
ICC sono stati ottenuti nell'84% dei casi per gli studenti universitari
e nel 90% per i pazienti psichiatrici. Nel lavoro vengono fornite le tabelle
dei coefficienti di reliability di tutte le sigle del CS (Localizzazioni,
DQ, Determinanti, FQ, Pairs, Contenuti, Popolari, Z Score, Special Scores,
tutte le variabili dello Structural Summary) divise per studenti non-pazienti
e pazienti psichiatrici.
Il risultato complessivo finale del lavoro è che il CS ha dimostrato
una forte evidenza empirica di sostanziale affidabilità psicometrica
inter-osservatore per tutte le sue sigle, sia a livello della singola risposta
che nello Stuctural Summary dell'intero protocollo. Questo studio, quindi,
spinge ancora più decisamente verso l'applicazione del CS nella
somministrazione, siglatura e interpretazione del Rorschach. Questione
che in Italia diventa ancora più importante a causa della scarsa
conoscenza generale del CS da parte degli psicologi italiani, anche fra
coloro che usano abitualmente il Rorschach nella loro pratica clinica.
Marvin W: Acklin
850 West Hind Drive
Suite 203
Honolulu, HI 96281
USA
Phone: 808 373 3880
Fax: 808 373 1158
Email: acklin@hawaii.edu |
|