Nogle skeptikere betragter Rorschach-blækplet-testen som pseudovidenskab, da flere undersøgelser har antydet, at de konklusioner, som testadministratorer har draget siden 1950’erne, ligner kold læsning. I 1959-udgaven af Mental Measurement Yearbook citeres Lee Cronbach (tidligere formand for Psychometric Society og American Psychological Association) i en anmeldelse: “Testen har gentagne gange fejlet som en forudsigelse af praktiske kriterier. Der er intet i litteraturen, der tilskynder til at stole på Rorschach-fortolkninger.” Desuden skriver den store anmelder Raymond J. McCall (s. 154): “Selv om titusindvis af Rorschach-tests er blevet administreret af hundredvis af uddannede fagfolk siden dengang (i en tidligere anmeldelse), og selv om mange sammenhænge med personlighedsdynamik og adfærd er blevet opstillet som hypoteser, er langt de fleste af disse sammenhænge aldrig blevet valideret empirisk, på trods af at der er udkommet mere end 2.000 publikationer om testen.” Der blev opfordret til et moratorium for dens anvendelse i 1999.
En rapport fra 2003 af Wood og kolleger havde mere blandede holdninger: “Mere end 50 års forskning har bekræftet Lee J. Cronbachs (1970) endelige dom: at nogle Rorschach-scoringer, selv om de falder sørgeligt langt fra de påstande, som fortalerne har fremsat, ikke desto mindre besidder en ‘validitet større end tilfældighederne’ (s. 636). Dens værdi som et mål for tankeforstyrrelser i skizofreniforskning er velkendt. Det anvendes også jævnligt i forskning om afhængighed og sjældnere i undersøgelser om fjendtlighed og angst. Desuden berettiger betydelige beviser brugen af Rorschach som et klinisk mål for intelligens og tankeforstyrrelser.”
Testmaterialer
Den grundlæggende præmis for testen er, at der kan uddrages objektiv betydning af svar på blækpletter, som angiveligt er meningsløse. Tilhængere af Rorschach-blækplet-testen mener, at forsøgspersonens reaktion på en tvetydig og meningsløs stimulus kan give indsigt i deres tankeprocesser, men det er ikke klart, hvordan dette sker. Nyere forskning viser også, at pletterne ikke er helt meningsløse, og at en patient typisk reagerer på både meningsfulde og tvetydige aspekter af pletterne. Reber (1985) beskriver blotsene som blot “… et middel til interaktion …” mellem klient og terapeut, og konkluderer: “… Rorschachens anvendelighed vil afhænge af testerens følsomhed, empati og indsigtsfuldhed helt uafhængigt af selve Rorschachen. En intens dialog om tapetet eller tæppet ville gøre det lige så godt, forudsat at begge parter tror på det.”
Illusoriske og usynlige sammenhænge
I 1960’erne viste forskning af psykologerne Loren og Jean Chapman, at i det mindste en del af Rorschachs tilsyneladende gyldighed skyldtes en illusion. På det tidspunkt var de fem tegn, der oftest blev fortolket som diagnostiske tegn på homoseksualitet, 1) balder og anus, 2) feminint tøj, 3) mandlige eller kvindelige kønsorganer, 4) menneskelige figurer uden mandlige eller kvindelige træk og 5) menneskelige figurer med både mandlige og kvindelige træk. Chapmans udspurgte 32 erfarne testere om deres brug af Rorschach til at diagnosticere homoseksualitet. På dette tidspunkt blev homoseksualitet betragtet som en psykopatologi, og Rorschach var den mest populære projektive test. Testerne rapporterede, at homoseksuelle mænd havde vist de fem tegn oftere end heteroseksuelle mænd. På trods af disse overbevisninger viste en analyse af resultaterne, at heteroseksuelle mænd var lige så tilbøjelige til at rapportere disse tegn, som derfor var helt ineffektive til at fastslå homoseksualitet. De fem tegn stemte dog overens med de gætterier, som de studerende havde lavet om, hvilke billeder der ville være forbundet med homoseksualitet.
Chapmans undersøgte kilden til testernes falske tillid. I et eksperiment læste eleverne en stak kort igennem, hver med et Rorschach-blot, et tegn og et par “betingelser” (som kunne omfatte homoseksualitet). Oplysningerne på kortene var fiktive, selv om forsøgspersonerne fik at vide, at de stammede fra casestudier af virkelige patienter. De studerende rapporterede, at de fem ugyldige tegn var forbundet med homoseksualitet, selv om kortene var blevet konstrueret, så der slet ikke var nogen forbindelse. Chapmans gentog dette eksperiment med et andet sæt kort, hvor associationen var negativ; de fem tegn blev aldrig rapporteret af homoseksuelle personer. De studerende rapporterede stadig, at de så en stærk positiv korrelation. Disse eksperimenter viste, at testernes fordomme kunne resultere i, at de kunne “se” ikke-eksisterende sammenhænge i dataene. Chapmans kaldte dette fænomen for “illusorisk korrelation”, og det er siden blevet påvist i mange andre sammenhænge.
Et beslægtet fænomen kaldet “usynlig korrelation” gælder, når folk undlader at se en stærk sammenhæng mellem to begivenheder, fordi den ikke stemmer overens med deres forventninger. Dette blev også fundet i klinikeres fortolkninger af Rorschach. Homoseksuelle mænd er mere tilbøjelige til at se et monster på kort IV eller en delvist dyrisk, delvist menneskelig figur på kort V. Næsten alle de erfarne klinikere i Chapmans’ undersøgelse overså disse gyldige tegn. Chapmans gennemførte et eksperiment med falske Rorschach-svar, hvor disse gyldige tegn altid blev associeret med homoseksualitet. Forsøgspersonerne overså disse perfekte associationer og rapporterede i stedet, at ugyldige tegn, såsom numse eller feminint tøj, var bedre indikatorer.
I 1992 argumenterede psykologen Stuart Sutherland, at disse kunstige eksperimenter er lettere end den virkelige brug af Rorschach, og at de derfor sandsynligvis undervurderede de fejl, som testerne var modtagelige for. Han beskrev den fortsatte popularitet af Rorschach efter Chapmans forskning som et “eklatant eksempel på irrationalitet blandt psykologer”.
Testerprojektion
Nogle kritikere hævder, at testpsykologen også skal projicere på mønstrene. Et muligt eksempel, der nogle gange tilskrives psykologens subjektive vurdering, er, at svarene kodes (blandt mange andre ting) for “formkvalitet”: i det væsentlige, om forsøgspersonens svar passer med, hvordan pletten faktisk ser ud. Overfladisk set kan dette betragtes som en subjektiv bedømmelse, afhængigt af, hvordan undersøgeren har internaliseret de involverede kategorier. Men med Exners scoringssystem elimineres eller reduceres en stor del af subjektiviteten ved hjælp af hyppighedstabeller, der angiver, hvor ofte et bestemt svar gives af befolkningen generelt. Et andet eksempel er, at svaret “bh” blev betragtet som et “sex”-svar af mandlige psykologer, men som et “beklædnings”-svar af kvinder, men i Exners system bliver et sådant svar altid kodet som “beklædning”, medmindre der er en klar seksuel reference i svaret.
Tredjemand kunne anvendes for at undgå dette problem, men der er blevet sat spørgsmålstegn ved Rorschachs interbedømmers pålidelighed. Det vil sige, at i nogle undersøgelser stemmer de scoringer, der opnås af to uafhængige scorere, ikke overens med stor konsistens. denne konklusion blev udfordret i undersøgelser med store stikprøver, der blev rapporteret i 2002.
Validitet
Når resultaterne fortolkes som en projektiv test, er de dårligt verificerbare. Exners scoringssystem (også kendt som “Comprehensive System”) skal afhjælpe dette og har stort set fortrængt mange tidligere (og mindre konsistente) scoringssystemer. Det gør stor brug af, hvilken faktor (skygge, farve, kontur osv.) på blækklatten der fører til hver af den testede persons kommentarer. Der er fortsat uenighed om testens validitet: mens Exner foreslog et stringent pointsystem, forblev der et spillerum i den faktiske fortolkning, og klinikerens opskrivning af testprotokollen er stadig delvist subjektiv. Reber (1985) kommenterer “… der er stort set ingen beviser overhovedet for, at testen har bare en skygge af validitet.”
Der er ikke desto mindre omfattende forskning, der indikerer foranstaltningens anvendelighed for nogle få scoringer. Flere scoringer korrelerer godt med generel intelligens. En af disse skalaer er R, det samlede antal svar; dette afslører den tvivlsomme bivirkning, at mere intelligente mennesker har en tendens til at være forhøjet på mange patologisk skalaer, da mange skalaer ikke korrigerer for højt R: hvis en forsøgsperson giver dobbelt så mange svar samlet set, er det mere sandsynligt, at nogle af disse vil virke “patologiske”. Skalaerne for organisatorisk aktivitet, kompleksitet, formkvalitet og svar på menneskelige figurer er også korreleret med intelligens. samme kilde rapporterer, at der også er vist validitet med hensyn til at påvise sådanne tilstande som skizofreni og andre psykotiske lidelser, tankeforstyrrelser og personlighedsforstyrrelser (herunder borderline-personlighedsforstyrrelse). Der er visse beviser for, at skalaen Deviant Verbalizations har forbindelse til bipolar lidelse. Forfatterne konkluderer, at “ellers synes det omfattende system ikke at have en konsekvent sammenhæng med psykologiske lidelser eller symptomer, personlighedskarakteristika, voldspotentiale eller sundhedsproblemer som kræft.” (Kræft nævnes, fordi et lille mindretal af Rorschach-entusiaster har hævdet, at testen kan forudsige kræft.)
Pålidelighed
Det menes også, at testens pålidelighed kan afhænge væsentligt af detaljer i testproceduren, f.eks. hvor testeren og forsøgspersonen sidder, eventuelle indledende ord, verbale og nonverbale svar på forsøgspersonernes spørgsmål eller kommentarer, og hvordan svarene registreres. Exner har offentliggjort detaljerede instruktioner, men Wood et al. nævner mange retssager, hvor disse ikke var blevet fulgt. Tilsvarende er procedurerne for kodning af svarene ret godt specificeret, men ekstremt tidskrævende, hvilket gør dem meget afhængige af forfatterens stil og udgiveren af kvaliteten af instruktionerne (som det blev bemærket med en af Bohms lærebøger i 1950’erne) samt af, at klinikpersonale (hvilket ville omfatte undersøgerne) opfordres til at skære hjørner.
Den amerikanske domstol har også udfordret Rorschach. Jones mod Apfel (1997) erklærede (med et citat fra Attorney’s Textbook of Medicine), at Rorschach “resultaterne ikke opfylder kravene til standardisering, pålidelighed eller validitet af kliniske diagnostiske tests, og fortolkningen er derfor ofte kontroversiel”. I State ex rel H.H. (1999), hvor dr. Bogacki under krydsforhør erklærede under ed, at “mange psykologer ikke tror meget på Rorschach-testens gyldighed eller effektivitet”, og US v Battle (2001) fastslog, at Rorschach “ikke har et objektivt pointsystem.”
Populationsnormer
Et andet kontroversielt aspekt af testen er dens statistiske normer. Exners system blev anset for at besidde normative scorer for forskellige populationer. Men fra midten af 1990’erne begyndte andre at forsøge at replikere eller opdatere disse normer, og det lykkedes ikke. Især syntes uoverensstemmelser at fokusere på indeks, der måler narcissisme, uordnet tænkning og ubehag i nære relationer. Lilienfeld og kolleger, som er kritiske over for Rorschach, har erklæret, at dette beviser, at Rorschach har en tendens til at “overpathologisere normale mennesker”. Selv om Rorschach-tilhængere, såsom Hibbard, antyder, at høje patologirater, der påvises af Rorschach, præcist afspejler den stigende psykopatologi i samfundet, identificerer Rorschach også halvdelen af alle testdeltagere som værende i besiddelse af “forvrænget tænkning”, en falsk positiv rate, der ikke forklares af den nuværende forskning.
Anklagen om “overpathologisering” er også blevet overvejet af Meyer et al. (2007). De præsenterede en international samarbejdsundersøgelse af 4704 Rorschach-protokoller, opnået i 21 forskellige prøver i 17 forskellige lande, hvor kun 2% viste signifikante forhøjelser på indekset for perceptuel og tankestørrelse, 12% forhøjet på indeks for depression og hyper-vigilance og 13% forhøjet på vedvarende stressoverbelastning – alt sammen i overensstemmelse med de forventede frekvenser blandt ikke-patientpopulationer.
Anvendelser
Testen er også kontroversiel på grund af dens almindelige anvendelse i retskrævede vurderinger. Denne kontrovers skyldes til dels, at Rorschach uden yderligere data er begrænset til at stille officielle diagnoser fra Diagnostic and Statistical Manual of Mental Disorders (DSM-IV).Irving B. Weiner (medudvikler sammen med John Exner af det omfattende system) har udtalt, at Rorschach “er et mål for personlighedsfunktion, og den giver oplysninger om aspekter af personlighedsstruktur og -dynamik, der gør folk til den slags mennesker, de er”. Nogle gange er sådanne oplysninger om personlighedskarakteristika nyttige for at nå frem til en differentialdiagnose, hvis de alternative diagnoser, der overvejes, er blevet godt konceptualiseret med hensyn til specifikke eller definerende personlighedskarakteristika”.I langt de fleste tilfælde blev Rorschach-testen i hvert fald ikke fremhævet, men brugt som en af flere i et batteri af tests, og på trods af kritikken af brugen af Rorschach i domstolene blev det ud af 8.000 sager, hvor retspsykologer brugte Rorschach-baserede vidneudsagn, kun seks gange anfægtet, om instrumentet var egnet, og vidneudsagnet blev kun i en af disse sager erklæret uantageligt i en enkelt af disse sager. En undersøgelse har vist, at brugen af testen ved domstolene er tredoblet i løbet af tiåret mellem 1996 og 2005 sammenlignet med de foregående 50 år. Andre har imidlertid fundet, at dens anvendelse af retspsykologer er faldet.
Exner og andre har hævdet, at Rorschach-testen er i stand til at afsløre selvmordstanker.
Beskyttelse af testemner og etik
Psykologer gør indsigelse mod offentliggørelse af psykologisk testmateriale af bekymring for, at en patients testresponser vil blive påvirket (“primet”) af tidligere eksponering. Den canadiske psykologforening har den holdning, at “offentliggørelse af spørgsmålene og svarene til enhver psykologisk test kompromitterer dens anvendelighed” og opfordrer til at “holde psykologiske tests ude af det offentlige område”. I samme udtalelse citeres deres formand for at sige: “CPA’s bekymring gælder ikke offentliggørelsen af kortene og svarene til Rorschach-testen i sig selv, som der er en vis kontrovers om i den psykologiske litteratur og uenighed blandt eksperter, men det større spørgsmål om offentliggørelse og udbredelse af psykologiske testers indhold”.
Fra et juridisk synspunkt har Rorschach-testbillederne været offentligt tilgængelige i mange år i de fleste lande, især i lande med en ophavsretlig beskyttelsestid på op til 70 år post mortem auctoris. De har været offentligt tilgængelige i Hermann Rorschachs hjemland Schweiz siden 1992 (70 år efter forfatterens død eller 50 år efter skæringsdatoen 1942) i henhold til den schweiziske ophavsretslovgivning. De er også offentligt tilgængelige i henhold til amerikansk ophavsretslovgivning, hvor alle værker, der er udgivet før 1923, anses for at være offentligt tilgængelige. Det betyder, at Rorschach-billederne kan bruges af alle til ethvert formål. William Poundstone var måske den første, der offentliggjorde dem i sin bog Big Secrets fra 1983, hvor han også beskrev metoden til at administrere testen.
Den amerikanske psykologforening (APA) har en etisk kodeks, der støtter “undersøgelses- og ytringsfrihed” og hjælper “offentligheden med at udvikle informerede vurderinger.” Den hævder, at dens mål omfatter “velfærd og beskyttelse af de personer og grupper, som psykologer arbejder med”, og den kræver, at psykologer “gør en rimelig indsats for at opretholde testmaterialets integritet og sikkerhed”. APA har også udtrykt bekymring for, at udbredelsen af testmaterialer kan påføre “meget konkret skade på offentligheden”. APA har ikke taget stilling til offentliggørelse af Rorschach-pladerne, men har bemærket, at “der er et begrænset antal standardiserede psykologiske test, der anses for at være egnede til et givet formål”. I en offentlig erklæring fra British Psychological Society udtrykkes lignende betænkeligheder ved psykologiske tests (uden at nævne nogen test ved navn) og mener, at “udlevering af materiale til ukvalificerede personer” er misbrug, hvis det er imod testudgiverens ønske. I sin bog Ethics in Psychology fra 1998 bemærker Gerald Koocher, at nogle mener, at “genoptryk af kopier af Rorschach-pladerne … og oplistning af almindelige svar repræsenterer en alvorlig uetisk handling” for psykologer og er tegn på “tvivlsom professionel dømmekraft”.Andre faglige sammenslutninger, såsom den italienske sammenslutning for strategisk psykoterapi, anbefaler, at selv oplysninger om formålet med testen eller detaljer om dens administration bør holdes fra offentligheden, selv om det anses for praktisk talt umuligt at “snyde” testen.
Den 9. september 2008 forsøgte Hogrefe at gøre krav på ophavsret til Rorschach-blækpletterne i forbindelse med indgivelse af en klage til Verdensorganisationen for Intellektuel Ejendomsret mod den brasilianske psykolog Ney Limonge. Disse klager blev afvist. Yderligere klager blev sendt til to andre websteder, der indeholdt oplysninger, der lignede Rorschach-testen, i maj 2009 af advokatfirmaet Schluep og Degen fra Schweiz.
Psykologer har undertiden nægtet at udlevere test og testdata til domstolene, når parterne har bedt om det med henvisning til etiske grunde; det hævdes, at sådanne afslag kan hindre advokaternes fulde forståelse af processen og vanskeliggøre krydsforhør af eksperterne. APA’s etiske standard 1.23(b) fastslår, at psykologen har et ansvar for at dokumentere processer i detaljer og af tilstrækkelig kvalitet til, at retten kan foretage en rimelig kontrol.
Der opstod en kontrovers i det psykologiske samfund i 2009, da de originale Rorschach-plader og forskningsresultater om fortolkninger blev offentliggjort i artiklen “Rorschach-test” på Wikipedia. Hogrefe & Huber Publishing, et tysk selskab, der sælger udgaver af pladerne, kaldte offentliggørelsen for “utrolig hensynsløs og endog kynisk af Wikipedia” og sagde, at det undersøgte muligheden for at anlægge sag. På grund af denne kontrovers blev der midlertidigt oprettet et redigeringsfilter på Wikipedia for at forhindre, at pladerne blev fjernet.
James Heilman, en akutlæge, der var involveret i debatten, sammenlignede den med offentliggørelsen af synsprøven: Selv om folk ligeledes frit kan lære synsprøven udenad før en synsprøve, er dens generelle anvendelighed som et diagnostisk værktøj for synet ikke blevet mindre. For modstanderne af eksponering beskrives offentliggørelsen af blækklatterne som en “særlig smertefuld udvikling” i betragtning af de titusindvis af forskningsartikler, som gennem mange år har “forsøgt at kæde en patients reaktioner sammen med visse psykologiske tilstande”. Kontroversen om Wikipedias offentliggørelse af blækklatterne har resulteret i, at blækklatterne er blevet offentliggjort andre steder, f.eks. i The Guardian og The Globe and Mail. Senere samme år indgav to psykologer en klage mod Heilman til Saskatchewan Medical Licensing Board med den begrundelse, at hans upload af billederne udgjorde uprofessionel opførsel. I 2012 blev der offentliggjort to artikler, der viste konsekvenserne af offentliggørelsen af billederne på Wikipedia. Den første undersøgte de negative holdninger til testen, der blev skabt under Wikipedia-Rorschach-debatten, mens den anden foreslog, at læsning af Wikipedia-artiklen kunne hjælpe med at forfalske “gode” resultater i testen.
Publiceringen af Rorschach-billederne er også blevet hilst velkommen af kritikere, der anser testen for at være pseudovidenskab. Benjamin Radford, redaktør af magasinet Skeptical Inquirer, udtalte, at Rorschach “er forblevet i brug mere af tradition end af gode beviser”, og han håbede, at offentliggørelsen af testen endelig kunne fremskynde dens død.