En del skeptiker anser att Rorschach-testet är pseudovetenskap, eftersom flera studier tyder på att de slutsatser som testadministratörer kommit fram till sedan 1950-talet liknar kallläsning. I 1959 års upplaga av Mental Measurement Yearbook citeras Lee Cronbach (tidigare ordförande för Psychometric Society och American Psychological Association) i en recension: ”Testet har upprepade gånger misslyckats med att förutsäga praktiska kriterier. Det finns inget i litteraturen som uppmuntrar till att förlita sig på Rorschach-tolkningar.” Dessutom skriver den stora recensenten Raymond J. McCall (s. 154): ”Även om tiotusentals Rorschach-tester har administrerats av hundratals utbildade yrkesmän sedan dess (i en tidigare recension), och även om många samband med personlighetsdynamik och beteende har antagits, har det stora flertalet av dessa samband aldrig validerats empiriskt, trots att det har förekommit mer än 2 000 publikationer om testet”. Ett moratorium för dess användning krävdes 1999.
En rapport från 2003 av Wood och kollegor hade mer blandade åsikter: ”Mer än 50 års forskning har bekräftat Lee J. Cronbachs (1970) slutliga dom: att vissa Rorschach-resultat, även om de inte når upp till de påståenden som förespråkarna gör, ändå har en ’validitet som är större än slumpen’ (s. 636). Dess värde som ett mått på tankestörningar inom schizofreniforskningen är väl accepterat. Det används också regelbundet i forskning om beroende och mer sällan i studier om fientlighet och ångest. Dessutom motiverar betydande bevis användningen av Rorschach som ett kliniskt mått på intelligens och tankestörningar.”
Testmaterial
Testets grundförutsättning är att objektiv mening kan utvinnas ur svaren på bläckfläckar som antas vara meningslösa. Anhängare av Rorschach bläckpricktestet anser att försökspersonens svar på ett tvetydigt och meningslöst stimulus kan ge en inblick i deras tankeprocesser, men det är inte klart hur detta sker. Nyare forskning visar också att prickarna inte är helt meningslösa och att en patient vanligtvis reagerar på både meningsfulla och tvetydiga aspekter av prickarna. Reber (1985) beskriver blottorna som endast ”… ett medel för interaktionen …” mellan klient och terapeut och drar följande slutsats: ”… användbarheten av Rorschach beror på testpersonens känslighet, empati och insiktsfullhet, helt oberoende av själva Rorschach. En intensiv dialog om tapeten eller mattan skulle fungera lika bra, förutsatt att båda parter tror på det.”
Illusoriska och osynliga korrelationer
På 1960-talet visade forskning av psykologerna Loren och Jean Chapman att åtminstone en del av Rorschachs skenbara validitet berodde på en illusion. Vid den tiden var de fem tecken som oftast tolkades som diagnostiska för homosexualitet 1) skinkor och anus, 2) kvinnliga kläder, 3) manliga eller kvinnliga könsorgan, 4) människofigurer utan manliga eller kvinnliga drag och 5) människofigurer med både manliga och kvinnliga drag. Chapmans undersökte 32 erfarna testare om deras användning av Rorschach för att diagnostisera homosexualitet. Vid denna tid betraktades homosexualitet som en psykopatologi och Rorschach var det mest populära projektiva testet. Testarna rapporterade att homosexuella män hade visat de fem tecknen oftare än heterosexuella män. Trots dessa föreställningar visade en analys av resultaten att heterosexuella män hade lika stor sannolikhet att rapportera dessa tecken, som därför var helt ineffektiva för att fastställa homosexualitet. De fem tecknen motsvarade dock de gissningar som eleverna gjorde om vilka bilder som skulle förknippas med homosexualitet.
Chapmans undersökte källan till testarnas falska självförtroende. I ett experiment läste eleverna igenom en stapel kort, var och en med en Rorschachfläck, ett tecken och ett par ”villkor” (som kunde inkludera homosexualitet). Informationen på korten var fiktiv, även om försökspersonerna fick veta att den kom från fallstudier av verkliga patienter. Studenterna rapporterade att de fem ogiltiga tecknen var förknippade med homosexualitet, trots att korten hade konstruerats så att det inte fanns någon association alls. Chapmans upprepade detta experiment med en annan uppsättning kort, där associationen var negativ; de fem tecknen rapporterades aldrig av homosexuella. Studenterna rapporterade fortfarande att de såg en stark positiv korrelation. Dessa experiment visade att testarnas fördomar kunde leda till att de ”såg” obefintliga samband i uppgifterna. Chapmans kallade detta fenomen för ”illusorisk korrelation” och det har sedan dess påvisats i många andra sammanhang.
Ett besläktat fenomen som kallas ”osynlig korrelation” gäller när människor misslyckas med att se ett starkt samband mellan två händelser eftersom det inte motsvarar deras förväntningar. Detta har också konstaterats i klinikers tolkningar av Rorschach. Homosexuella män är mer benägna att se ett monster på kort IV eller en delvis djurisk, delvis mänsklig figur på kort V. Nästan alla erfarna kliniker i Chapmans undersökning missade dessa giltiga tecken. Chapmans genomförde ett experiment med falska Rorschach-svar där dessa giltiga tecken alltid förknippades med homosexualitet. Försökspersonerna missade dessa perfekta associationer och rapporterade i stället att ogiltiga tecken, såsom skinkor eller feminina kläder, var bättre indikatorer.
1992 hävdade psykologen Stuart Sutherland att dessa konstgjorda experiment är enklare än den verkliga användningen av Rorschach, och därför underskattade de troligen de fel som testarna var mottagliga för. Han beskrev Rorschachs fortsatta popularitet efter Chapmans forskning som ett ”flagrant exempel på irrationalitet bland psykologer”.
Testerprojektion
En del kritiker hävdar att testpsykologen också måste projicera på mönstren. Ett möjligt exempel som ibland tillskrivs psykologens subjektiva bedömning är att svaren kodas (bland många andra saker) för ”formkvalitet”: i huvudsak om försökspersonens svar stämmer överens med hur fläckarna faktiskt ser ut. Ytligt sett kan detta betraktas som en subjektiv bedömning, beroende på hur examinatorn har internaliserat de berörda kategorierna. Men med Exners poängsättningssystem elimineras eller minskas en stor del av subjektiviteten genom användning av frekvenstabeller som anger hur ofta ett visst svar ges av befolkningen i allmänhet. Ett annat exempel är att svaret ”behå” ansågs vara ett ”sexuellt” svar av manliga psykologer, men ett ”klädsel”-svar av kvinnor. i Exners system kodas dock ett sådant svar alltid som ”klädsel” såvida det inte finns en tydlig sexuell referens i svaret.
Tredje part skulle kunna användas för att undvika detta problem, men Rorschachs interbedömarreliabilitet har ifrågasatts. Det vill säga, i vissa studier stämmer inte de poäng som erhålls av två oberoende poängsättare med stor samstämmighet. denna slutsats ifrågasattes i studier med stora urval som rapporterades 2002.
Validitet
När resultaten tolkas som ett projektivt test är de dåligt verifierbara. Exners poängsättningssystem (även känt som ”Comprehensive System”) är tänkt att åtgärda detta och har i stort sett ersatt många tidigare (och mindre konsekventa) poängsättningssystem. Det använder sig mycket av vilken faktor (skuggning, färg, kontur etc.) på bläckplumpen som leder till var och en av den testade personens kommentarer. Oenigheter om testets validitet kvarstår: medan Exner föreslog ett rigoröst poängsättningssystem, fanns det fortfarande utrymme för den faktiska tolkningen, och klinikerns nedskrivning av testprotokollet är fortfarande delvis subjektiv. Reber (1985) kommenterar ”… det finns i stort sett inga bevis överhuvudtaget för att testet har ens ett uns av validitet.”
Det finns dock omfattande forskning som tyder på att måttet är användbart för ett fåtal poäng. Flera poäng korrelerar väl med allmän intelligens. En sådan skala är R, det totala antalet svar; detta avslöjar den tvivelaktiga bieffekten att mer intelligenta personer tenderar att vara förhöjda på många patologiska skalor, eftersom många skalor inte korrigerar för högt R: om en försöksperson ger dubbelt så många svar totalt sett är det mer troligt att några av dessa kommer att verka ”patologiska”. Skalorna för organisatorisk aktivitet, komplexitet, formkvalitet och svar på mänskliga figurer är också korrelerade med intelligens. samma källa rapporterar att validitet också har visats för att upptäcka sådana tillstånd som schizofreni och andra psykotiska störningar, tankestörningar och personlighetsstörningar (inklusive borderline-personlighetsstörning). Det finns vissa bevis för att skalan Deviant Verbalizations har samband med bipolär sjukdom. Författarna drar slutsatsen att ”i övrigt verkar Comprehensive System inte ha något konsekvent samband med psykologiska störningar eller symtom, personlighetsegenskaper, våldspotential eller sådana hälsoproblem som cancer.” (Cancer nämns eftersom en liten minoritet av Rorschach-entusiaster har hävdat att testet kan förutsäga cancer.)
Trovärdighet
Det anses också att testets tillförlitlighet kan bero väsentligt på detaljer i testförfarandet, t.ex. var testaren och försökspersonen sitter, eventuella inledande ord, verbala och ickeverbala svar på försökspersonernas frågor eller kommentarer och hur svaren registreras. Exner har publicerat detaljerade instruktioner, men Wood et al. nämner många rättsfall där dessa inte hade följts. På samma sätt är förfarandena för kodning av svaren ganska väl specificerade men extremt tidskrävande, vilket gör att de i hög grad är beroende av författarens stil och förlagets kvalitet på instruktionerna (vilket noterades med en av Bohms läroböcker på 1950-talet) samt att klinikpersonal (vilket skulle inkludera undersökare) uppmuntras att göra avkall på detaljerna.
Det finns också domstolar i Förenta staterna som har ifrågasatt Rorschach. Jones mot Apfel (1997) konstaterade (med citat från Attorney’s Textbook of Medicine) att Rorschach ”resultaten inte uppfyller kraven på standardisering, tillförlitlighet eller validitet för kliniska diagnostiska tester, och tolkningen är därför ofta kontroversiell”. I State ex rel H.H. (1999), där dr Bogacki under korsförhör uppgav under ed att ”många psykologer inte tror särskilt mycket på Rorschach-testets giltighet eller effektivitet” och US v Battle (2001) slog fast att Rorschach ”inte har något objektivt poängsystem.”
Populationsnormer
En annan kontroversiell aspekt av testet är dess statistiska normer. Exners system ansågs besitta normativa poäng för olika populationer. Men med början i mitten av 1990-talet började andra försöka replikera eller uppdatera dessa normer och misslyckades. Särskilt tycktes avvikelserna fokusera på index som mäter narcissism, stört tänkande och obehag i nära relationer. Lilienfeld och kolleger, som är kritiska till Rorschach, har hävdat att detta bevisar att Rorschach tenderar att ”överpathologisera normala människor”. Även om Rorschach-förespråkare, såsom Hibbard, menar att höga nivåer av patologi som upptäcks av Rorschach exakt återspeglar den ökande psykopatologin i samhället, identifierar Rorschach också hälften av alla testdeltagare som besittandes ”förvrängt tänkande”, en falsk-positiv nivå som är oförklarlig i den nuvarande forskningen.
Acklagelsen om att ”överpathologisera” har också beaktats av Meyer m.fl. (2007). De presenterade en internationell samarbetsstudie av 4704 Rorschachprotokoll, erhållna i 21 olika prover, i 17 olika länder, där endast 2 % visade signifikanta förhöjningar på indexet för perceptuella och tankestörningar, 12 % förhöjda på index för depression och hyper-vigilans och 13 % förhöjda på ihållande stressöverbelastning – allt i linje med förväntade frekvenser bland icke-patientpopulationer.
Användningsområden
Testet är också kontroversiellt på grund av dess vanliga användning i domstolsbeställda utvärderingar. Denna kontrovers beror delvis på Rorschachs begränsningar, utan ytterligare data, när det gäller att ställa officiella diagnoser från Diagnostic and Statistical Manual of Mental Disorders (DSM-IV) Irving B. Weiner (medutvecklare tillsammans med John Exner av Comprehensive-systemet) har förklarat att Rorschach ”är ett mått på personlighetsfunktioner och ger information om aspekter av personlighetsstruktur och dynamik som gör människor till den typ av människor de är”. Ibland kan sådan information om personlighetsegenskaper vara till hjälp för att komma fram till en differentialdiagnos, om de alternativa diagnoser som övervägs har varit väl konceptualiserade med avseende på specifika eller definierande personlighetsegenskaper”.I de allra flesta fall, hur som helst, var Rorschach-testet inte utpekat utan användes som ett av flera i ett batteri av tester, och trots kritiken mot användningen av Rorschach i domstolarna ifrågasattes lämpligheten av instrumentet endast sex gånger av 8 000 fall där rättspsykologer använde sig av Rorschach-baserade vittnesmål, och vittnesmålet ansågs otillåtet i endast ett av dessa fall. En studie har visat att användningen av testet i domstolarna har ökat med tre gånger under decenniet mellan 1996 och 2005, jämfört med de föregående femtio åren. Andra har dock funnit att dess användning av rättspsykologer har minskat.
Exner och andra har hävdat att Rorschach-testet kan upptäcka självmordsbenägenhet.
Skydd av testmaterial och etik
Psykologer motsätter sig publicering av psykologiskt testmaterial på grund av oro för att patientens testresponser kommer att påverkas (”primed”) av tidigare exponering. Den kanadensiska psykologföreningen anser att om man publicerar frågorna och svaren till ett psykologiskt test så äventyrar man dess användbarhet och uppmanar till att hålla psykologiska tester utanför den offentliga sfären. I samma uttalande citeras deras ordförande som säger: ”CPA:s oro gäller inte publiceringen av korten och svaren på Rorschach-testet i sig, som det finns en viss kontrovers om i den psykologiska litteraturen och oenighet bland experter, utan den större frågan om publicering och spridning av innehållet i psykologiska tester”.
Från en juridisk synvinkel har bilderna från Rorschach-testet varit offentligrättsligt skyddade i många år i de flesta länder, i synnerhet i de länder där det finns upphovsrätt i upp till 70 år post mortem auctoris. De har varit allmänt tillgängliga i Hermann Rorschachs hemland Schweiz sedan 1992 (70 år efter författarens död, eller 50 år efter brytdatumet 1942), enligt schweizisk upphovsrättslag. De är också offentliga enligt USA:s upphovsrättslagstiftning, där alla verk som publicerades före 1923 anses vara offentliga. Detta innebär att Rorschachbilderna kan användas av vem som helst i vilket syfte som helst. William Poundstone var kanske först med att offentliggöra dem i sin bok Big Secrets från 1983, där han också beskrev metoden för att administrera testet.
American Psychological Association (APA) har en etisk kod som stöder ”friheten att undersöka och uttrycka sig” och att hjälpa ”allmänheten att utveckla välgrundade bedömningar”.
Det påstås att dess mål inkluderar ”välfärd och skydd för de individer och grupper som psykologer arbetar med”, och det krävs att psykologer ”gör rimliga ansträngningar för att upprätthålla integriteten och säkerheten hos testmaterial”. APA har också uttryckt farhågor om att spridningen av testmaterial kan medföra ”mycket konkret skada för allmänheten”. APA har inte tagit ställning till offentliggörandet av Rorschachplattorna, men konstaterar att ”det finns ett begränsat antal standardiserade psykologiska tester som anses lämpliga för ett visst syfte”. I ett offentligt uttalande från British Psychological Society uttrycks liknande farhågor om psykologiska tester (utan att nämna något test vid namn) och anser att ”utlämnande av material till okvalificerade personer” är missbruk om det går emot testutgivarens önskemål.I sin bok Ethics in Psychology från 1998 noterar Gerald Koocher att vissa anser att ”omtryckning av kopior av Rorschachplattorna … och uppräkning av vanliga svar utgör en allvarlig oetisk handling” för psykologer och är ett tecken på ”tvivelaktigt professionellt omdöme”.Andra yrkesföreningar, t.ex. den italienska föreningen för strategisk psykoterapi, rekommenderar att till och med information om testets syfte eller någon detalj om hur det administreras bör hållas borta från allmänheten, även om det anses vara praktiskt taget omöjligt att ”fuska” med testet.
Den 9 september 2008 försökte Hogrefe hävda upphovsrätt till Rorschach-bläckfläckarna i samband med att han lämnade in ett klagomål till Världsorganisationen för immateriell äganderätt mot den brasilianska psykologen Ney Limonge. Dessa klagomål avslogs. Ytterligare klagomål skickades till två andra webbplatser som innehöll information som liknade Rorschach-testet i maj 2009 av advokatfirman Schluep och Degen i Schweiz.
Psykologer har ibland vägrat att lämna ut tester och testdata till domstolar när de ombetts att göra det av parterna med hänvisning till etiska skäl; det hävdas att sådana vägranar kan hindra advokaternas fullständiga förståelse av processen och försvåra korsförhör av experterna. I APA:s etiska standard 1.23(b) anges att psykologen har ett ansvar för att dokumentera processer i detalj och av tillräcklig kvalitet för att möjliggöra en rimlig granskning av domstolen.
En kontrovers uppstod i det psykologiska samfundet 2009 när de ursprungliga Rorschachplattorna och forskningsresultat om tolkningar offentliggjordes i artikeln ”Rorschach test” på Wikipedia. Hogrefe & Huber Publishing, ett tyskt företag som säljer utgåvor av plåtarna, kallade publiceringen ”otroligt vårdslös och till och med cynisk från Wikipedias sida” och sade att man undersökte möjligheten till rättsliga åtgärder. På grund av denna kontrovers inrättades tillfälligt ett redigeringsfilter på Wikipedia för att förhindra att plattorna togs bort.
James Heilman, en akutläkare som deltog i debatten, jämförde den med publiceringen av ögonprovsdiagrammet: även om människor likaså kan memorera ögonprovsdiagrammet före ett ögonprov, har dess allmänna användbarhet som ett diagnostiskt verktyg för synen inte minskat. För dem som är motståndare till exponering beskrivs offentliggörandet av bläckplomberna som en ”särskilt smärtsam utveckling”, med tanke på de tiotusentals forskningsartiklar som under många år har ”försökt koppla en patients svar till vissa psykologiska tillstånd”. Kontroversen kring Wikipedias publicering av bläckplomberna har resulterat i att bläckplomberna har publicerats på andra ställen, till exempel The Guardian och The Globe and Mail. Senare samma år lämnade två psykologer in ett klagomål mot Heilman till Saskatchewans medicinska licensnämnd och hävdade att hans uppladdning av bilderna utgjorde ett oprofessionellt beteende. År 2012 publicerades två artiklar som visade konsekvenserna av publiceringen av bilderna på Wikipedia. Den första studerade negativa attityder till testet som genererades under Wikipedia-Rorschach-debatten, medan den andra föreslog att läsning av Wikipediaartikeln kunde hjälpa till att fejka ”bra” resultat i testet.
Publiceringen av Rorschach-bilderna välkomnas också av kritiker som anser att testet är en pseudovetenskap. Benjamin Radford, redaktör för tidskriften Skeptical Inquirer, konstaterade att Rorschach ”har förblivit i bruk mer på grund av tradition än på grund av goda bevis” och han var hoppfull om att publiceringen av testet äntligen skulle kunna påskynda dess död.