Alcuni scettici considerano il test delle macchie d’inchiostro di Rorschach una pseudoscienza, poiché diversi studi hanno suggerito che le conclusioni raggiunte dagli amministratori dei test a partire dagli anni 50 erano simili alla lettura a freddo. Nell’edizione del 1959 del Mental Measurement Yearbook, Lee Cronbach (ex presidente della Psychometric Society e dell’American Psychological Association) è citato in una recensione: “Il test ha ripetutamente fallito come predizione di criteri pratici. Non c’è nulla nella letteratura che incoraggi a fare affidamento sulle interpretazioni di Rorschach”. Inoltre, l’importante recensore Raymond J. McCall scrive (p. 154): “Sebbene decine di migliaia di test di Rorschach siano stati somministrati da centinaia di professionisti addestrati da allora (di una precedente revisione), e mentre molte relazioni con le dinamiche di personalità e il comportamento sono state ipotizzate, la stragrande maggioranza di queste relazioni non sono mai state convalidate empiricamente, nonostante la comparsa di più di 2.000 pubblicazioni sul test.” Una moratoria sul suo uso è stata chiesta nel 1999.
Un rapporto del 2003 di Wood e colleghi aveva opinioni più contrastanti: “Più di 50 anni di ricerca hanno confermato il verdetto finale di Lee J. Cronbach (1970): che alcuni punteggi di Rorschach, anche se sono tristemente al di sotto delle affermazioni fatte dai sostenitori, possiedono comunque ‘una validità superiore al caso’ (p. 636). Il suo valore come misura del disturbo del pensiero nella ricerca sulla schizofrenia è ben accettato. È anche usato regolarmente nella ricerca sulla dipendenza e, meno spesso, negli studi sull’ostilità e l’ansia. Inoltre, prove sostanziali giustificano l’uso del Rorschach come misura clinica dell’intelligenza e del disturbo del pensiero.”
Materiale del test
La premessa di base del test è che il significato oggettivo può essere estratto dalle risposte alle macchie di inchiostro che sono presumibilmente senza significato. I sostenitori del test delle macchie d’inchiostro di Rorschach credono che la risposta del soggetto ad uno stimolo ambiguo e senza significato possa fornire un’idea dei suoi processi di pensiero, ma non è chiaro come questo avvenga. Inoltre, ricerche recenti mostrano che le macchie non sono del tutto prive di significato, e che un paziente risponde tipicamente ad aspetti significativi e ambigui delle macchie. Reber (1985) descrive le macchie come semplicemente “… il veicolo per l’interazione …” tra cliente e terapeuta, concludendo che: “… l’utilità del Rorschach dipenderà dalla sensibilità, dall’empatia e dalla perspicacia del tester in modo totalmente indipendente dal Rorschach stesso. Un intenso dialogo sulla carta da parati o sul tappeto andrebbe altrettanto bene, purché entrambe le parti ci credano.”
Correlazioni illusorie e invisibili
Negli anni ’60, una ricerca degli psicologi Loren e Jean Chapman dimostrò che almeno una parte dell’apparente validità del Rorschach era dovuta a un’illusione. A quel tempo, i cinque segni più spesso interpretati come diagnostici dell’omosessualità erano 1) natiche e ani; 2) abbigliamento femminile; 3) organi sessuali maschili o femminili; 4) figure umane senza caratteristiche maschili o femminili; e 5) figure umane con caratteristiche sia maschili che femminili. I Chapman hanno intervistato 32 esperti tester sul loro uso del Rorschach per diagnosticare l’omosessualità. A quel tempo l’omosessualità era considerata una psicopatologia e il Rorschach era il test proiettivo più popolare. I tester riferivano che gli uomini omosessuali avevano mostrato i cinque segni più frequentemente degli uomini eterosessuali. Nonostante queste convinzioni, l’analisi dei risultati mostrò che gli uomini eterosessuali avevano la stessa probabilità di riportare questi segni, che erano quindi totalmente inefficaci per determinare l’omosessualità. I cinque segni, tuttavia, corrispondevano alle supposizioni degli studenti su quali immagini sarebbero state associate all’omosessualità.
I Chapman hanno studiato la fonte della falsa fiducia dei tester. In un esperimento, gli studenti hanno letto una pila di carte, ciascuna con una macchia di Rorschach, un segno e una coppia di “condizioni” (che potrebbero includere l’omosessualità). Le informazioni sulle carte erano fittizie, anche se ai soggetti è stato detto che provenivano da studi di casi di pazienti reali. Gli studenti riferirono che i cinque segni non validi erano associati all’omosessualità, anche se le carte erano state costruite in modo che non ci fosse alcuna associazione. I Chapman hanno ripetuto questo esperimento con un’altra serie di carte, in cui l’associazione era negativa; i cinque segni non sono mai stati riportati dagli omosessuali. Gli studenti riferirono ancora di aver visto una forte correlazione positiva. Questi esperimenti dimostrarono che i pregiudizi dei tester potevano portare a “vedere” relazioni inesistenti nei dati. I Chapman chiamarono questo fenomeno “correlazione illusoria” e da allora è stato dimostrato in molti altri contesti.
Un fenomeno correlato chiamato “correlazione invisibile” si applica quando le persone non vedono una forte associazione tra due eventi perché non corrisponde alle loro aspettative. Questo è stato trovato anche nelle interpretazioni dei clinici del Rorschach. Gli uomini omosessuali hanno maggiori probabilità di vedere un mostro sulla carta IV o una figura in parte animale e in parte umana nella carta V. Quasi tutti i clinici esperti nel sondaggio dei Chapman non hanno visto questi segni validi. I Chapman fecero un esperimento con false risposte Rorschach in cui questi segni validi erano sempre associati all’omosessualità. I soggetti hanno mancato queste associazioni perfette e hanno invece riferito che i segni non validi, come le natiche o l’abbigliamento femminile, erano indicatori migliori.
Nel 1992, lo psicologo Stuart Sutherland ha sostenuto che questi esperimenti artificiali sono più facili dell’uso reale del Rorschach, e quindi hanno probabilmente sottostimato gli errori a cui i tester sono suscettibili. Ha descritto la continua popolarità del Rorschach dopo la ricerca dei Chapman come un “esempio lampante di irrazionalità tra gli psicologi”.
Proiezione del tester
Alcuni critici sostengono che lo psicologo tester deve anche proiettare sui modelli. Un possibile esempio a volte attribuito al giudizio soggettivo dello psicologo è che le risposte sono codificate (tra molte altre cose), per la “Qualità della forma”: in sostanza, se la risposta del soggetto corrisponde a come la macchia appare effettivamente. Superficialmente questo potrebbe essere considerato un giudizio soggettivo, a seconda di come l’esaminatore ha interiorizzato le categorie coinvolte. Ma con il sistema di punteggio Exner, gran parte della soggettività è eliminata o ridotta dall’uso di tabelle di frequenza che indicano quanto spesso una particolare risposta è data dalla popolazione in generale. Un altro esempio è che la risposta “reggiseno” era considerata una risposta “sesso” dagli psicologi maschi, ma una risposta “abbigliamento” dalle femmine.Nel sistema di Exner, tuttavia, tale risposta è sempre codificata come “abbigliamento” a meno che non ci sia un chiaro riferimento sessuale nella risposta.
Si potrebbero usare terze parti per evitare questo problema, ma l’affidabilità inter-rater del Rorschach è stata messa in discussione. Cioè, in alcuni studi i punteggi ottenuti da due marcatori indipendenti non corrispondono con grande coerenza.Questa conclusione è stata messa in discussione in studi che utilizzano grandi campioni riportati nel 2002.
Validità
Quando interpretato come un test proiettivo, i risultati sono poco verificabili. Il sistema di punteggio Exner (noto anche come “Comprehensive System”) è stato pensato per affrontare questo problema, e ha quasi soppiantato molti sistemi di punteggio precedenti (e meno coerenti). Fa un uso pesante di quale fattore (ombreggiatura, colore, contorno, ecc.) della macchia d’inchiostro porta a ciascuno dei commenti della persona testata. I disaccordi sulla validità del test rimangono: mentre l’Exner proponeva un sistema di punteggio rigoroso, la latitudine rimaneva nell’interpretazione effettiva, e la scrittura del record del test da parte del clinico è ancora in parte soggettiva.Reber (1985) commenta “… non c’è essenzialmente alcuna prova che il test abbia anche un briciolo di validità.”
Nonostante, c’è una ricerca sostanziale che indica l’utilità della misura per alcuni punteggi. Diversi punteggi si correlano bene con l’intelligenza generale. Una di queste scale è R, il numero totale di risposte; questo rivela il discutibile effetto collaterale che le persone più intelligenti tendono ad essere elevate su molte scale di patologia, poiché molte scale non correggono per un R elevato: se un soggetto dà il doppio delle risposte complessive, è più probabile che alcune di queste sembrino “patologiche”. Sono correlate con l’intelligenza anche le scale per l’Attività Organizzativa, la Complessità, la Qualità della Forma e le risposte della Figura Umana. La stessa fonte riporta che la validità è stata dimostrata anche per rilevare condizioni come la schizofrenia e altri disturbi psicotici; disturbi del pensiero e disturbi della personalità (incluso il disturbo borderline di personalità). C’è qualche prova che la scala delle Verbalizzazioni Devianti si riferisce al disturbo bipolare. Gli autori concludono che “Altrimenti, il Comprehensive System non sembra avere una relazione coerente con disturbi o sintomi psicologici, caratteristiche di personalità, potenziale di violenza o problemi di salute come il cancro” (il cancro è menzionato perché una piccola minoranza di appassionati del Rorschach ha affermato che il test può predire il cancro.)
Affidabilità
Si pensa anche che l’affidabilità del test possa dipendere sostanzialmente dai dettagli della procedura di test, come il posto in cui il tester e il soggetto sono seduti, qualsiasi parola introduttiva, le risposte verbali e non verbali alle domande o ai commenti dei soggetti, e come le risposte vengono registrate. Exner ha pubblicato istruzioni dettagliate, ma Wood et al. citano molti casi giudiziari in cui queste non sono state seguite. Allo stesso modo, le procedure per la codifica delle risposte sono abbastanza ben specificate ma estremamente dispendiose in termini di tempo, lasciandole molto soggette allo stile dell’autore e all’editore per quanto riguarda la qualità delle istruzioni (come è stato notato con uno dei libri di testo di Bohm negli anni ’50), così come gli operatori clinici (che includono gli esaminatori) sono incoraggiati a tagliare gli angoli.
Anche le corti statunitensi hanno contestato il Rorschach. Jones contro Apfel (1997) ha dichiarato (citando da Attorney’s Textbook of Medicine) che il Rorschach “i risultati non soddisfano i requisiti di standardizzazione, affidabilità o validità dei test diagnostici clinici, e l’interpretazione è quindi spesso controversa”. In State ex rel H.H. (1999) dove sotto interrogatorio il Dr. Bogacki ha dichiarato sotto giuramento “molti psicologi non credono molto nella validità o nell’efficacia del test di Rorschach” e US v Battle (2001) ha stabilito che il Rorschach “non ha un sistema di punteggio oggettivo.”
Norme di popolazione
Un altro aspetto controverso del test sono le sue norme statistiche. Si pensava che il sistema di Exner possedesse punteggi normativi per varie popolazioni. Ma, a partire dalla metà degli anni ’90, altri hanno iniziato a cercare di replicare o aggiornare queste norme e hanno fallito. In particolare, le discrepanze sembravano concentrarsi sugli indici che misurano il narcisismo, il pensiero disordinato e il disagio nelle relazioni strette. Lilienfeld e colleghi, che sono critici nei confronti del Rorschach, hanno affermato che questo dimostra che il Rorschach tende a “sovrapatologizzare i normali”. Anche se i sostenitori del Rorschach, come Hibbard, suggeriscono che gli alti tassi di patologia rilevati dal Rorschach riflettono accuratamente la crescente psicopatologia nella società, il Rorschach identifica anche la metà di tutti i partecipanti al test come in possesso di “pensiero distorto”, un tasso di falsi positivi inspiegabile dalla ricerca attuale.
L’accusa di “iperpatologizzazione” è stata considerata anche da Meyer et al. (2007). Hanno presentato uno studio collaborativo internazionale di 4704 protocolli Rorschach, ottenuti in 21 campioni diversi, in 17 paesi diversi, con solo il 2% che ha mostrato elevazioni significative sull’indice di disturbo percettivo e di pensiero, il 12% elevato sugli indici di depressione e ipervigilanza e il 13% elevato sul sovraccarico di stress persistente – tutto in linea con le frequenze previste tra le popolazioni non pazienti.
Applicazioni
Il test è anche controverso a causa del suo uso comune nelle valutazioni ordinate dal tribunale. Questa controversia deriva, in parte, dalle limitazioni del Rorschach, senza dati aggiuntivi, nel fare diagnosi ufficiali dal Manuale Diagnostico e Statistico dei Disturbi Mentali (DSM-IV).Irving B. Weiner (co-sviluppatore con John Exner del sistema Comprehensive) ha dichiarato che il Rorschach “è una misura del funzionamento della personalità, e fornisce informazioni riguardanti gli aspetti della struttura della personalità e le dinamiche che rendono le persone il tipo di persone che sono. A volte tali informazioni sulle caratteristiche di personalità sono utili per arrivare a una diagnosi differenziale, se le diagnosi alternative che vengono prese in considerazione sono state ben concettualizzate rispetto a caratteristiche di personalità specifiche o determinanti”.Nella stragrande maggioranza dei casi, comunque, il test di Rorschach non è stato individuato, ma usato come uno dei tanti in una batteria di test, e nonostante le critiche all’uso del Rorschach nei tribunali, su 8.000 casi in cui gli psicologi forensi hanno usato la testimonianza basata sul Rorschach, l’adeguatezza dello strumento è stata contestata solo sei volte, e la testimonianza è stata giudicata inammissibile solo in uno di quei casi. Uno studio ha trovato che l’uso del test nei tribunali è aumentato di tre volte nel decennio tra il 1996 e il 2005, rispetto ai cinquant’anni precedenti. Altri però hanno trovato che il suo uso da parte degli psicologi forensi è diminuito.
Exner e altri hanno affermato che il test di Rorschach è in grado di rilevare la suicidalità.
Protezione degli elementi del test ed etica
Gli psicologi si oppongono alla pubblicazione del materiale dei test psicologici per la preoccupazione che le risposte di un paziente siano influenzate (“innescate”) dalla precedente esposizione. La Canadian Psychological Association prende la posizione che “la pubblicazione delle domande e delle risposte a qualsiasi test psicologico compromette la sua utilità” e chiede di “tenere i test psicologici fuori dal dominio pubblico”. La stessa dichiarazione cita il loro presidente che dice: “La preoccupazione del CPA non è con la pubblicazione delle carte e delle risposte al test di Rorschach per sé, per il quale c’è qualche controversia nella letteratura psicologica e disaccordo tra gli esperti, ma con la questione più ampia della pubblicazione e diffusione del contenuto dei test psicologici”.
Da un punto di vista legale, le immagini del test di Rorschach sono di dominio pubblico da molti anni nella maggior parte dei paesi, in particolare quelli con un termine di copyright fino a 70 anni post mortem auctoris. Sono nel pubblico dominio nella Svizzera natale di Hermann Rorschach dal 1992 (70 anni dopo la morte dell’autore, o 50 anni dopo la data limite del 1942), secondo la legge svizzera sul diritto d’autore. Sono anche nel pubblico dominio secondo la legge sul copyright degli Stati Uniti, dove tutte le opere pubblicate prima del 1923 sono considerate di pubblico dominio. Questo significa che le immagini di Rorschach possono essere utilizzate da chiunque per qualsiasi scopo. William Poundstone fu, forse, il primo a renderle pubbliche nel suo libro del 1983 Big Secrets, dove descrisse anche il metodo di somministrazione del test.
L’American Psychological Association (APA) ha un codice etico che sostiene “la libertà di indagine e di espressione” e che aiuta “il pubblico a sviluppare giudizi informati”. L’APA ha anche sollevato la preoccupazione che la diffusione dei materiali dei test possa imporre “un danno molto concreto al pubblico in generale”. Non ha preso una posizione sulla pubblicazione delle tavole di Rorschach, ma ha notato “ci sono un numero limitato di test psicologici standardizzati considerati appropriati per un determinato scopo”. Una dichiarazione pubblica della Società Psicologica Britannica esprime preoccupazioni simili sui test psicologici (senza menzionare alcun test per nome) e considera il “rilascio di materiali a individui non qualificati” come un uso improprio se è contro la volontà dell’editore del test.Nel suo libro del 1998 Ethics in Psychology, Gerald Koocher nota che alcuni credono che “ristampare copie delle tavole di Rorschach … ed elencare risposte comuni rappresenta un grave atto non etico” per gli psicologi ed è indicativo di “discutibile giudizio professionale”.Altre associazioni professionali, come l’Associazione Italiana di Psicoterapia Strategica, raccomandano che anche le informazioni sullo scopo del test o qualsiasi dettaglio della sua somministrazione dovrebbe essere tenuto lontano dal pubblico, anche se “barare” il test è ritenuto praticamente impossibile.
Il 9 settembre 2008, Hogrefe ha tentato di rivendicare il copyright sulle macchie di inchiostro Rorschach durante il deposito di una denuncia presso l’Organizzazione mondiale della proprietà intellettuale contro lo psicologo brasiliano Ney Limonge. Questi reclami sono stati negati. Ulteriori denunce sono state inviate ad altri due siti web che contenevano informazioni simili al test di Rorschach nel maggio 2009 dallo studio legale Schluep e Degen della Svizzera.
Gli psicologi hanno talvolta rifiutato di rivelare i test e i dati dei test ai tribunali quando gli è stato chiesto di farlo dalle parti citando ragioni etiche; si sostiene che tali rifiuti possono ostacolare la piena comprensione del processo da parte degli avvocati, e impedire il controesame degli esperti. Lo standard etico APA 1.23(b) afferma che lo psicologo ha la responsabilità di documentare i processi in modo dettagliato e di qualità adeguata per consentire un ragionevole controllo da parte del tribunale.
La controversia è nata nella comunità psicologica nel 2009 quando le tavole originali di Rorschach e i risultati della ricerca sulle interpretazioni sono stati pubblicati nell’articolo “Rorschach test” su Wikipedia. Hogrefe & Huber Publishing, una società tedesca che vende edizioni delle tavole, ha definito la pubblicazione “incredibilmente sconsiderata e persino cinica di Wikipedia” e ha detto che stava studiando la possibilità di azioni legali. A causa di questa controversia un filtro di modifica è stato temporaneamente istituito su Wikipedia per impedire la rimozione delle tavole.
James Heilman, un medico di pronto soccorso coinvolto nel dibattito, lo ha paragonato alla pubblicazione della tabella di test degli occhi: anche se le persone sono altrettanto libere di memorizzare la tabella degli occhi prima di un esame della vista, la sua utilità generale come strumento diagnostico per la vista non è diminuita. Per coloro che si oppongono all’esposizione, la pubblicazione delle macchie d’inchiostro è descritta come uno “sviluppo particolarmente doloroso”, date le decine di migliaia di ricerche che hanno, per molti anni, “cercato di collegare le risposte di un paziente a certe condizioni psicologiche”. La polemica sulla pubblicazione delle macchie d’inchiostro da parte di Wikipedia ha fatto sì che le macchie siano state pubblicate in altre sedi, come The Guardian e The Globe and Mail. Più tardi quell’anno due psicologi hanno presentato una denuncia contro Heilman con il consiglio di licenza medica di Saskatchewan, sostenendo che il suo caricamento delle immagini costituiva un comportamento non professionale. Nel 2012 sono stati pubblicati due articoli che mostrano le conseguenze della pubblicazione delle immagini su Wikipedia. Il primo ha studiato gli atteggiamenti negativi verso il test generati durante il dibattito Wikipedia-Rorschach, mentre il secondo ha suggerito che la lettura dell’articolo di Wikipedia potrebbe aiutare a falsificare “buoni” risultati nel test.
La pubblicazione delle immagini Rorschach è anche accolta con favore dai critici che considerano il test una pseudoscienza. Benjamin Radford, editore della rivista Skeptical Inquirer, ha dichiarato che il Rorschach “è rimasto in uso più per tradizione che per buone prove” ed era speranzoso che la pubblicazione del test potesse finalmente affrettare la sua fine.