Sommige sceptici beschouwen de Rorschach inktvlektest als pseudowetenschap, omdat verschillende studies hebben gesuggereerd dat de conclusies die sinds de jaren vijftig door testleiders zijn getrokken, verwant zijn aan “cold reading”. In de uitgave van 1959 van Mental Measurement Yearbook, wordt Lee Cronbach (voormalig voorzitter van de Psychometric Society en de American Psychological Association) geciteerd in een recensie: “De test heeft herhaaldelijk gefaald als een voorspelling van praktische criteria. Er is niets in de literatuur dat het vertrouwen in Rorschach interpretaties aanmoedigt.” Daarnaast schrijft major reviewer Raymond J. McCall (p. 154): “Hoewel tienduizenden Rorschach-tests zijn afgenomen door honderden getrainde professionals sinds die tijd (van een eerdere review), en hoewel vele relaties met persoonlijkheidsdynamiek en gedrag zijn verondersteld, is de overgrote meerderheid van deze relaties nooit empirisch gevalideerd, ondanks het verschijnen van meer dan 2000 publicaties over de test.” In 1999 werd opgeroepen tot een moratorium op het gebruik ervan.
Een rapport uit 2003 van Wood en collega’s had meer gemengde meningen: “Meer dan 50 jaar onderzoek heeft het eindoordeel van Lee J. Cronbach (1970) bevestigd: dat sommige Rorschach-scores, hoewel ze jammerlijk achterblijven bij de beweringen van de voorstanders, niettemin een ‘validiteit groter dan toeval’ bezitten (p. 636). De waarde van de Rorschach als maat voor de denkstoornis in het schizofrenie-onderzoek is algemeen aanvaard. Hij wordt ook regelmatig gebruikt in onderzoek naar afhankelijkheid, en, minder vaak, in studies naar vijandigheid en angst. Verder rechtvaardigt substantieel bewijs het gebruik van de Rorschach als een klinische maat voor intelligentie en denkstoornis.”
Testmateriaal
Het uitgangspunt van de test is dat objectieve betekenis kan worden ontleend aan reacties op inktvlekken die zogenaamd betekenisloos zijn. Aanhangers van de Rorschach inktvlektest geloven dat de reactie van de proefpersoon op een dubbelzinnige en betekenisloze stimulus inzicht kan verschaffen in zijn denkprocessen, maar het is niet duidelijk hoe dit gebeurt. Recent onderzoek toont aan dat de inktvlekjes niet volledig betekenisloos zijn, en dat een patiënt typisch reageert op zowel betekenisvolle als dubbelzinnige aspecten van de inktvlekjes. Reber (1985) beschrijft de blots als slechts “… het voertuig voor de interactie …” tussen cliënt en therapeut, en concludeert: “… het nut van de Rorschach zal afhangen van de gevoeligheid, empathie en inzichtelijkheid van de tester, geheel onafhankelijk van de Rorschach zelf. Een intense dialoog over het behang of het vloerkleed zou even goed werken, op voorwaarde dat beide partijen erin geloven.”
Illusoire en onzichtbare correlaties
In de jaren zestig toonde onderzoek van de psychologen Loren en Jean Chapman aan dat tenminste een deel van de schijnbare geldigheid van de Rorschach te wijten was aan een illusie. In die tijd waren de vijf tekenen die het vaakst werden geïnterpreteerd als diagnostisch voor homoseksualiteit: 1) billen en anussen; 2) vrouwelijke kleding; 3) mannelijke of vrouwelijke geslachtsorganen; 4) menselijke figuren zonder mannelijke of vrouwelijke gelaatstrekken; en 5) menselijke figuren met zowel mannelijke als vrouwelijke gelaatstrekken. De Chapmans ondervroegen 32 ervaren testers over hun gebruik van de Rorschach om homoseksualiteit te diagnosticeren. In die tijd werd homoseksualiteit beschouwd als een psychopathologie, en de Rorschach was de meest populaire projectieve test. De testers meldden dat homoseksuele mannen de vijf tekens vaker vertoonden dan heteroseksuele mannen. Ondanks deze overtuiging bleek uit analyse van de resultaten dat heteroseksuele mannen evenveel kans hadden om deze tekenen te rapporteren, die dus totaal ondoeltreffend waren om homoseksualiteit vast te stellen. De vijf tekens kwamen echter wel overeen met de gissingen die studenten maakten over welke beeldspraak geassocieerd zou worden met homoseksualiteit.
De Chapmans onderzochten de bron van het valse vertrouwen van de testers. In één experiment lazen de studenten een stapel kaarten door, elk met een Rorschach-vlek, een teken en een paar “voorwaarden” (die homoseksualiteit zouden kunnen omvatten). De informatie op de kaarten was fictief, hoewel de proefpersonen werd verteld dat deze afkomstig was van casestudies van echte patiënten. De studenten rapporteerden dat de vijf ongeldige tekens geassocieerd werden met homoseksualiteit, ook al waren de kaarten zo geconstrueerd dat er helemaal geen associatie was. De Chapmans herhaalden dit experiment met een andere set kaarten, waarbij de associatie negatief was; de vijf tekens werden nooit door homoseksuelen gerapporteerd. De studenten rapporteerden nog steeds een sterke positieve correlatie te zien. Deze experimenten toonden aan dat de vooroordelen van de testers ertoe konden leiden dat zij niet-bestaande verbanden in de gegevens “zagen”. De Chapmans noemden dit fenomeen “illusoire correlatie” en het is sindsdien aangetoond in vele andere contexten.
Een verwant fenomeen dat “onzichtbare correlatie” wordt genoemd, doet zich voor wanneer mensen een sterk verband tussen twee gebeurtenissen niet zien omdat het niet overeenkomt met hun verwachtingen. Dit werd ook gevonden in de interpretaties van de Rorschach door clinici. Homoseksuele mannen zien eerder een monster op kaart IV of een deels dierlijke, deels menselijke figuur op kaart V. Bijna alle ervaren clinici in het onderzoek van de Chapmans misten deze geldige tekens. De Chapmans deden een experiment met valse Rorschach antwoorden waarin deze geldige tekens altijd werden geassocieerd met homoseksualiteit. De proefpersonen misten deze perfecte associaties en meldden in plaats daarvan dat ongeldige tekens, zoals billen of vrouwelijke kleding, betere indicatoren waren.
In 1992 betoogde de psycholoog Stuart Sutherland dat deze kunstmatige experimenten gemakkelijker zijn dan het werkelijke gebruik van de Rorschach, en dat zij daarom waarschijnlijk de fouten onderschatten waartoe de testers vatbaar waren. Hij beschreef de blijvende populariteit van de Rorschach na het onderzoek van de Chapmans als een “flagrant voorbeeld van irrationaliteit onder psychologen”.
Testerprojectie
Sommige critici stellen dat de testende psycholoog ook moet projecteren op de patronen. Een mogelijk voorbeeld dat soms aan het subjectieve oordeel van de psycholoog wordt toegeschreven, is dat de antwoorden (naast vele andere dingen) worden gecodeerd voor “vormkwaliteit”: in essentie, of het antwoord van de proefpersoon past bij hoe de vlek er in werkelijkheid uitziet. Oppervlakkig gezien kan dit worden beschouwd als een subjectief oordeel, afhankelijk van hoe de onderzoeker zich de betrokken categorieën heeft eigen gemaakt. Maar met het Exner scoresysteem wordt veel van de subjectiviteit geëlimineerd of verminderd door het gebruik van frequentietabellen die aangeven hoe vaak een bepaald antwoord wordt gegeven door de bevolking in het algemeen. Een ander voorbeeld is dat de reactie “beha” door mannelijke psychologen werd beschouwd als een “sexe”-respons, maar door vrouwen als een “kleding”-respons.In het systeem van Exner wordt een dergelijke reactie echter altijd gecodeerd als “kleding”, tenzij er een duidelijke sexuele verwijzing in de reactie is.
Derde partijen zouden kunnen worden gebruikt om dit probleem te vermijden, maar de interbeoordelaarsbetrouwbaarheid van de Rorschach is in twijfel getrokken. Dat wil zeggen, in sommige studies komen de scores verkregen door twee onafhankelijke scorers niet met grote consistentie overeen. Deze conclusie werd betwist in studies met grote steekproeven die in 2002 werden gerapporteerd.
Validiteit
Wanneer geïnterpreteerd als een projectieve test, zijn de resultaten slecht verifieerbaar. Het Exner scoresysteem (ook bekend als het “Comprehensive System”) is bedoeld om dit aan te pakken, en heeft vele vroegere (en minder consistente) scoresystemen zo goed als verdrongen. Het maakt zwaar gebruik van welke factor (arcering, kleur, omtrek, enz.) van de inktvlek leidt tot elk van de opmerkingen van de geteste persoon. Er blijven meningsverschillen over de geldigheid van de test: terwijl de Exner een rigoureus scoresysteem voorstelde, bleef er speelruimte in de eigenlijke interpretatie, en de clinicus die het testverslag opschrijft is nog steeds gedeeltelijk subjectief.Reber (1985) merkt op “…er is in wezen geen enkel bewijs dat de test ook maar een greintje geldigheid heeft.”
Niettemin is er substantieel onderzoek dat wijst op het nut van de maat voor een paar scores. Verscheidene scores correleren goed met algemene intelligentie. Eén zo’n schaal is R, het totale aantal antwoorden; hieruit blijkt het bedenkelijke neveneffect dat intelligentere mensen de neiging hebben hoger te scoren op veel pathologische schalen, omdat veel schalen niet corrigeren voor een hoge R: als een proefpersoon in totaal twee keer zoveel antwoorden geeft, is het waarschijnlijker dat sommige daarvan “pathologisch” lijken. Dezelfde bron meldt dat de validiteit ook is aangetoond voor het opsporen van aandoeningen als schizofrenie en andere psychotische stoornissen; denkstoornissen; en persoonlijkheidsstoornissen (waaronder borderline persoonlijkheidsstoornis). Er is enig bewijs dat de Deviant Verbalizations schaal verband houdt met bipolaire stoornis. De auteurs concluderen: “Voor het overige lijkt het Comprehensive System geen consistente relatie te hebben met psychologische stoornissen of symptomen, persoonlijkheidskenmerken, potentieel voor geweld, of gezondheidsproblemen zoals kanker” (Kanker wordt genoemd omdat een kleine minderheid van Rorschach-enthousiastelingen heeft beweerd dat de test kanker kan voorspellen.)
Betrouwbaarheid
Ook wordt gedacht dat de betrouwbaarheid van de test aanzienlijk kan afhangen van details van de testprocedure, zoals de plaats waar de tester en de proefpersoon zitten, eventuele inleidende woorden, verbale en non-verbale reacties op vragen of opmerkingen van de proefpersonen, en de manier waarop de antwoorden worden geregistreerd. Exner heeft gedetailleerde instructies gepubliceerd, maar Wood et al. citeert vele rechtszaken waarin deze niet werden gevolgd. Ook de procedures voor het coderen van de reacties zijn redelijk goed gespecificeerd, maar uiterst tijdrovend, waardoor zij sterk onderhevig zijn aan de stijl van de auteur en de uitgever wat betreft de kwaliteit van de instructies (zoals werd opgemerkt bij een van Bohm’s leerboeken in de jaren 1950), alsmede aan aanmoediging van klinisch personeel (waaronder ook examinatoren zouden vallen) om de kantjes ervan af te lopen.
Amerikaanse rechtbanken hebben de Rorschach ook aangevochten. Jones v Apfel (1997) stelde (citerend uit Attorney’s Textbook of Medicine) dat Rorschach “resultaten niet voldoen aan de eisen van standaardisatie, betrouwbaarheid, of validiteit van klinische diagnostische tests, en de interpretatie is dus vaak controversieel”. In State ex rel H.H. (1999) waar onder kruisverhoor Dr. Bogacki onder ede verklaarde “veel psychologen geloven niet erg in de geldigheid of effectiviteit van de Rorschach test” en US v Battle (2001) oordeelde dat de Rorschach “geen objectief scoresysteem heeft.”
Bevolkingsnormen
Een ander controversieel aspect van de test zijn de statistische normen. Er werd gedacht dat het systeem van Exner normatieve scores voor verschillende bevolkingsgroepen bezat. Maar vanaf het midden van de jaren negentig probeerden anderen deze normen te repliceren of bij te werken, maar zij faalden. In het bijzonder leken discrepanties zich te concentreren op indices die narcisme, ongeordend denken en ongemak in hechte relaties meten. Lilienfeld en collega’s, die kritisch staan tegenover de Rorschach, hebben verklaard dat dit bewijst dat de Rorschach de neiging heeft “normalen te overpathologiseren”. Hoewel voorstanders van de Rorschach, zoals Hibbard, suggereren dat de hoge percentages pathologie die door de Rorschach worden gedetecteerd een accurate afspiegeling zijn van de toenemende psychopathologie in de samenleving, identificeert de Rorschach ook de helft van alle testpersonen als bezitters van “verwrongen denken”, een vals-positief percentage dat door het huidige onderzoek niet wordt verklaard.
De beschuldiging van “over-pathologiseren” is ook in overweging genomen door Meyer e.a. (2007). Zij presenteerden een internationale gezamenlijke studie van 4704 Rorschach protocollen, verkregen in 21 verschillende steekproeven, verspreid over 17 verschillende landen, waarbij slechts 2% significante verhogingen vertoonde op de index van perceptuele en denkstoornis, 12% verhoogde op indices van depressie en hyper-vigilantie en 13% verhoogde op aanhoudende stress overbelasting-alles in lijn met de verwachte frequenties onder niet-patiëntenpopulaties.
Toepassingen
De test is ook controversieel vanwege het veelvuldig gebruik ervan in gerechtelijk bevolen evaluaties. Deze controverse komt deels voort uit de beperkingen van de Rorschach, zonder aanvullende gegevens, bij het stellen van officiële diagnoses uit de Diagnostic and Statistical Manual of Mental Disorders (DSM-IV).Irving B. Weiner (mede-ontwikkelaar met John Exner van het Comprehensive system) heeft verklaard dat de Rorschach “een maat is voor persoonlijkheidsfunctioneren, en het geeft informatie over aspecten van persoonlijkheidsstructuur en -dynamiek die mensen maken tot het soort mensen dat ze zijn. Soms is dergelijke informatie over persoonlijkheidskenmerken nuttig om tot een differentiële diagnose te komen, indien de alternatieve diagnoses die worden overwogen goed zijn geconceptualiseerd met betrekking tot specifieke of bepalende persoonlijkheidskenmerken”.In de overgrote meerderheid van de gevallen werd de Rorschach test niet apart gebruikt, maar als één van de vele in een reeks testen, en ondanks de kritiek op het gebruik van de Rorschach in de rechtbanken, werd van de 8000 zaken waarin forensisch psychologen gebruik maakten van een op de Rorschach gebaseerde getuigenis, de geschiktheid van het instrument slechts zes keer betwist, en werd de getuigenis slechts in één van die gevallen ontoelaatbaar verklaard. Uit één studie is gebleken dat het gebruik van de test in rechtszaken in het decennium tussen 1996 en 2005 is verdrievoudigd in vergelijking met de vijftig jaar daarvoor. Anderen hebben echter ontdekt dat het gebruik door forensisch psychologen is afgenomen.
Exner en anderen hebben beweerd dat de Rorschach test in staat is om suïcidaliteit te detecteren.
Bescherming van testmateriaal en ethiek
Psychologen maken bezwaar tegen de publicatie van psychologisch testmateriaal uit bezorgdheid dat de testreacties van een patiënt beïnvloed (“primed”) zullen worden door eerdere blootstelling. De Canadian Psychological Association stelt zich op het standpunt dat “het publiceren van de vragen en antwoorden van een psychologische test de bruikbaarheid ervan in gevaar brengt” en roept op om “psychologische tests buiten het publieke domein te houden”. Dezelfde verklaring citeert hun voorzitter als hij zegt: “De CPA maakt zich geen zorgen over de publicatie van de kaarten en antwoorden van de Rorschach test op zich, waarover enige controverse bestaat in de psychologische literatuur en onenigheid onder deskundigen, maar over het grotere vraagstuk van de publicatie en verspreiding van de inhoud van psychologische tests”.
In juridisch opzicht behoren de afbeeldingen van de Rorschach test in de meeste landen al vele jaren tot het publieke domein, met name die landen waar het auteursrecht tot 70 jaar post mortem auctoris kan gelden. In Zwitserland, de geboorteland van Hermann Rorschach, behoren zij tot het publieke domein sinds 1992 (70 jaar na de dood van de auteur, of 50 jaar na de afsluitdatum 1942), volgens de Zwitserse auteurswet. Ze behoren ook tot het publieke domein volgens de auteurswetgeving van de Verenigde Staten, waar alle werken die vóór 1923 zijn gepubliceerd als publiek domein worden beschouwd. Dit betekent dat de Rorschach-beelden door iedereen voor elk doel mogen worden gebruikt. William Poundstone was wellicht de eerste die ze openbaar maakte in zijn boek Big Secrets uit 1983, waarin hij ook de methode beschreef voor het uitvoeren van de test.
De American Psychological Association (APA) heeft een ethische code die “vrijheid van onderzoek en meningsuiting” ondersteunt en “het publiek helpt bij het ontwikkelen van geïnformeerde oordelen”.Zij beweert dat haar doelen “het welzijn en de bescherming van de individuen en groepen waarmee psychologen werken” omvatten, en zij eist dat psychologen “redelijke inspanningen leveren om de integriteit en veiligheid van testmateriaal te handhaven”. De APA heeft ook haar bezorgdheid geuit over het feit dat de verspreiding van testmateriaal “zeer concrete schade aan het grote publiek” zou kunnen toebrengen. De APA heeft geen standpunt ingenomen over de publicatie van de Rorschach-platen, maar merkte op dat “er een beperkt aantal gestandaardiseerde psychologische tests is dat geschikt wordt geacht voor een bepaald doel”. In een openbare verklaring van de British Psychological Society wordt een soortgelijke bezorgdheid geuit over psychologische tests (zonder een test bij naam te noemen) en wordt het “vrijgeven van materiaal aan ongekwalificeerde personen” beschouwd als misbruik als het tegen de wensen van de uitgever van de test ingaat.In zijn boek Ethics in Psychology uit 1998, merkt Gerald Koocher op dat sommigen geloven dat “het herdrukken van kopieën van de Rorschach platen … en het vermelden van veel voorkomende antwoorden een ernstige onethische daad is” voor psychologen en een indicatie is van “twijfelachtig professioneel inzicht”.Andere beroepsverenigingen, zoals de Italiaanse Vereniging voor Strategische Psychotherapie, bevelen aan dat zelfs informatie over het doel van de test of enig detail van de uitvoering ervan voor het publiek geheim moet worden gehouden, ook al wordt “valsspelen” van de test praktisch onmogelijk geacht.
Op 9 september 2008 probeerde Hogrefe het auteursrecht op de Rorschach inktvlekken op te eisen tijdens het indienen van een klacht bij de World Intellectual Property Organization tegen de Braziliaanse psycholoog Ney Limonge. Deze klachten werden afgewezen. Verdere klachten werden in mei 2009 door advocatenkantoor Schluep en Degen uit Zwitserland gestuurd naar twee andere websites die informatie bevatten die vergelijkbaar is met de Rorschach test.
Psychologen hebben soms geweigerd om tests en testgegevens aan rechtbanken bekend te maken wanneer hen daarom door de partijen werd gevraagd, waarbij zij ethische redenen aanvoerden; aangevoerd wordt dat dergelijke weigeringen een volledig begrip van het proces door de advocaten in de weg kunnen staan, en kruisverhoren van de deskundigen kunnen belemmeren. APA ethische standaard 1.23(b) stelt dat de psycholoog de verantwoordelijkheid heeft om processen gedetailleerd en van voldoende kwaliteit te documenteren om een redelijk onderzoek door de rechtbank mogelijk te maken.
Er ontstond controverse in de psychologische gemeenschap in 2009 toen de originele Rorschach platen en onderzoeksresultaten over interpretaties werden gepubliceerd in het “Rorschach test” artikel op Wikipedia. Hogrefe & Huber Publishing, een Duits bedrijf dat edities van de platen verkoopt, noemde de publicatie “ongelofelijk roekeloos en zelfs cynisch van Wikipedia” en zei dat het de mogelijkheid van juridische stappen onderzocht. Als gevolg van deze controverse werd tijdelijk een bewerkingsfilter ingesteld op Wikipedia om de verwijdering van de platen te voorkomen.
James Heilman, een arts van de spoedeisende hulp die betrokken was bij het debat, vergeleek het met de publicatie van de oogtestkaart: hoewel mensen ook vrij zijn om de oogtestkaart uit het hoofd te leren vóór een oogtest, is het algemene nut ervan als diagnostisch hulpmiddel voor het gezichtsvermogen niet verminderd. Voor de tegenstanders van blootstelling wordt de publicatie van de inktvlekken beschreven als een “bijzonder pijnlijke ontwikkeling”, gezien de tienduizenden onderzoekspapers die gedurende vele jaren hebben “getracht de reacties van een patiënt in verband te brengen met bepaalde psychologische aandoeningen”. Controverse over Wikipedia’s publicatie van de inktvlekken heeft ertoe geleid dat de vlekken ook op andere plaatsen werden gepubliceerd, zoals in The Guardian en The Globe and Mail. Later dat jaar dienden twee psychologen een klacht in tegen Heilman bij de Medische Licentiecommissie van Saskatchewan, met als argument dat zijn uploaden van de afbeeldingen onprofessioneel gedrag vormde. In 2012 werden twee artikelen gepubliceerd waarin de gevolgen van de publicatie van de afbeeldingen in Wikipedia werden aangetoond. Het eerste bestudeerde de negatieve attitudes ten opzichte van de test die ontstonden tijdens het Wikipedia-Rorschach debat, terwijl het tweede suggereerde dat het lezen van het Wikipedia artikel kon helpen om “goede” resultaten in de test te faken.
Publicatie van de Rorschach afbeeldingen wordt ook toegejuicht door critici die de test als pseudowetenschap beschouwen. Benjamin Radford, redacteur van het tijdschrift Skeptical Inquirer, verklaarde dat de Rorschach “meer in gebruik is gebleven uit traditie dan uit goed bewijs” en hoopte dat publicatie van de test uiteindelijk de ondergang ervan zou kunnen bespoedigen.