Někteří skeptici považují Rorschachův inkoustový test za pseudovědu, protože několik studií naznačilo, že závěry, k nimž správci testu od 50. let 20. století dospěli, se podobají čtení z chladu. Ve vydání ročenky Mental Measurement z roku 1959 je v recenzi citován Lee Cronbach (bývalý prezident Psychometrické společnosti a Americké psychologické asociace): „Test opakovaně selhal jako předpověď praktických kritérií. V literatuře není nic, co by vybízelo ke spoléhání se na interpretace Rorschachova testu.“ Kromě toho hlavní recenzent Raymond J. McCall píše (s. 154): „Ačkoli od té doby (předchozí recenze) byly stovkami vyškolených odborníků provedeny desítky tisíc Rorschachových testů a ačkoli byly vysloveny hypotézy o mnoha vztazích k dynamice osobnosti a chování, naprostá většina těchto vztahů nebyla nikdy empiricky ověřena, přestože se o testu objevilo více než 2 000 publikací“. V roce 1999 bylo požadováno moratorium na jeho používání.
Zpráva Wooda a jeho kolegů z roku 2003 měla smíšenější názory: „Více než 50 let výzkumu potvrdilo konečný verdikt Lee J. Cronbacha (1970): že některé výsledky Rorschachova testu sice žalostně zaostávají za tvrzeními jeho zastánců, nicméně mají ‚validitu vyšší než náhodnou‘ (s. 636). Jeho hodnota jako měřítka poruchy myšlení ve výzkumu schizofrenie je dobře přijímána. Pravidelně se používá také ve výzkumu závislostí a méně často ve studiích zaměřených na hostilitu a úzkost. Kromě toho podstatné důkazy ospravedlňují použití Rorschachova testu jako klinického měřítka inteligence a poruchy myšlení.“
Testové materiály
Základním předpokladem testu je, že z odpovědí na inkoustové skvrny, které jsou údajně bez významu, lze získat objektivní význam. Zastánci Rorschachova inkoustového testu věří, že reakce subjektu na nejednoznačný a nesmyslný podnět může poskytnout vhled do jeho myšlenkových procesů, ale není jasné, jak k tomu dochází. Také nedávný výzkum ukazuje, že skvrny nejsou zcela bezvýznamné a že pacient obvykle reaguje na smysluplné i nejednoznačné aspekty skvrn. Reber (1985) popisuje skvrny jako pouhý „… prostředek interakce …“ mezi klientem a terapeutem a dochází k závěru: „… užitečnost Rorschacha bude záviset na citlivosti, empatii a vhledu testujícího zcela nezávisle na Rorschachovi samotném. Intenzivní dialog o tapetách nebo koberci by se hodil stejně dobře za předpokladu, že si obě strany věří.“
Iluzivní a neviditelné korelace
V šedesátých letech 20. století výzkum psychologů Lorena a Jean Chapmanových ukázal, že přinejmenším část zdánlivé platnosti Rorschachova testu je způsobena iluzí. V té době bylo jako diagnostické znaky homosexuality nejčastěji interpretováno pět znaků: 1) hýždě a konečníky; 2) ženské oblečení; 3) mužské nebo ženské pohlavní orgány; 4) lidské postavy bez mužských nebo ženských rysů a 5) lidské postavy s mužskými i ženskými rysy. Chapmanovi provedli průzkum u 32 zkušených testerů, zda používají Rorschachův test k diagnostice homosexuality. V této době byla homosexualita považována za psychopatologii a Rorschach byl nejoblíbenějším projektivním testem. Testující uváděli, že homosexuální muži vykazovali pět znaků častěji než muži heterosexuální. Navzdory tomuto přesvědčení analýza výsledků ukázala, že heterosexuální muži uváděli tyto znaky stejně často, a proto byly pro určení homosexuality zcela neúčinné. Pět znaků však odpovídalo odhadům studentů o tom, které obrazy by mohly být spojeny s homosexualitou.
Capmanovi zkoumali zdroj falešné důvěry testujících. V jednom experimentu si studenti přečetli hromádku karet, z nichž každá obsahovala Rorschachovu skvrnu, znak a dvojici „podmínek“ (které mohly zahrnovat homosexualitu). Informace na kartičkách byly smyšlené, ačkoli pokusným osobám bylo řečeno, že pocházejí z případových studií skutečných pacientů. Studenti uváděli, že pět neplatných znaků bylo spojeno s homosexualitou, přestože karty byly sestaveny tak, že na nich žádná asociace nebyla. Chapmanovi tento experiment zopakovali s jinou sadou karet, u nichž byla asociace negativní; pět znaků homosexuálové nikdy neuváděli. Studenti přesto uváděli, že vidí silnou pozitivní korelaci. Tyto experimenty ukázaly, že předsudky testujících mohou vést k tomu, že v datech „vidí“ neexistující vztahy. Chapmanovi tento jev nazvali „iluzorní korelace“ a od té doby byl prokázán v mnoha dalších souvislostech.
Související jev zvaný „neviditelná korelace“ se uplatňuje, když lidé nevidí silnou souvislost mezi dvěma událostmi, protože neodpovídá jejich očekávání. Tento jev byl zjištěn i při interpretaci Rorschachova testu klinickými lékaři. Homosexuální muži častěji vidí příšeru na kartě IV nebo částečně zvířecí, částečně lidskou postavu na kartě V. Téměř všichni zkušení kliničtí lékaři v Chapmanově průzkumu tyto platné znaky přehlédli. Chapmansovi provedli experiment s falešnými Rorschachovými odpověďmi, ve kterém byly tyto platné znaky vždy spojeny s homosexualitou. Pokusné osoby tyto dokonalé asociace přehlédly a místo toho uváděly jako lepší ukazatele neplatné znaky, například hýždě nebo ženské oblečení.
V roce 1992 psycholog Stuart Sutherland tvrdil, že tyto umělé experimenty jsou jednodušší než reálné použití Rorschacha, a proto pravděpodobně podcenily chyby, ke kterým jsou testující náchylní. Pokračující popularitu Rorschacha po Chapmanových výzkumech označil za „do očí bijící příklad iracionality psychologů“.
Testerská projekce
Někteří kritici tvrdí, že do vzorů se musí promítat i testující psycholog. Možným příkladem, který se někdy připisuje subjektivnímu úsudku psychologa, je to, že odpovědi jsou kódovány (kromě mnoha jiných věcí) podle „kvality formy“: v podstatě podle toho, zda odpověď subjektu odpovídá tomu, jak skvrna skutečně vypadá. Povrchně by to mohlo být považováno za subjektivní úsudek v závislosti na tom, jak si zkoušející příslušné kategorie osvojil. V Exnerově systému bodování je však velká část subjektivity eliminována nebo omezena použitím tabulek četností, které udávají, jak často je určitá odpověď uvedena v populaci obecně. Dalším příkladem je, že odpověď „podprsenka“ byla mužskými psychology považována za odpověď „sex“, ale ženskými za odpověď „oblečení.“ V Exnerově systému je však taková odpověď vždy kódována jako „oblečení“, pokud není v odpovědi jasný sexuální odkaz.
Třetí strany by mohly být použity, aby se tomuto problému vyhnuly, ale spolehlivost Rorschachova systému mezi jednotlivými posuzovateli byla zpochybněna. To znamená, že v některých studiích se výsledky získané dvěma nezávislými hodnotiteli neshodují s velkou konzistencí. tento závěr byl zpochybněn ve studiích využívajících velké vzorky, které byly zveřejněny v roce 2002.
Validita
Při interpretaci jako projektivního testu jsou výsledky špatně ověřitelné. Exnerův skórovací systém (známý také jako „komplexní systém“) má tento problém řešit a zcela vytlačil mnoho dřívějších (a méně konzistentních) skórovacích systémů. Ve velké míře využívá toho, jaký faktor (stínování, barva, obrys atd.) inkoustové skvrny vede k jednotlivým komentářům testované osoby. Neshody ohledně validity testu přetrvávají: Exner sice navrhl přísný skórovací systém, ale ve vlastní interpretaci zůstala volnost a klinikův zápis do testového záznamu je stále částečně subjektivní. reber (1985) komentuje: „… v podstatě neexistuje žádný důkaz, že by test měl byť jen špetku validity.“
Přesto existuje rozsáhlý výzkum naznačující užitečnost tohoto opatření pro několik skóre. Několik skóre dobře koreluje s obecnou inteligencí. Jednou z takových škál je R, celkový počet odpovědí; to odhaluje sporný vedlejší efekt, že inteligentnější lidé mají tendenci být na mnoha patologických škálách zvýšeni, protože mnoho škál nekoriguje vysoké R: pokud subjekt uvede celkově dvakrát více odpovědí, je pravděpodobnější, že některé z nich se budou jevit jako „patologické“. S inteligencí korelují také škály pro organizační činnost, komplexnost, kvalitu formy a odpovědi na lidskou postavu. stejný zdroj uvádí, že validita byla prokázána také pro odhalování takových stavů, jako je schizofrenie a jiné psychotické poruchy; poruchy myšlení a poruchy osobnosti (včetně hraniční poruchy osobnosti). Existují určité důkazy, že škála Deviantní verbalizace souvisí s bipolární poruchou. Autoři uzavírají, že „jinak se nezdá, že by komplexní systém měl konzistentní vztah k psychickým poruchám nebo symptomům, osobnostním charakteristikám, potenciálu k násilí nebo takovým zdravotním problémům, jako je rakovina.“ (Rakovina je zmíněna proto, že malá menšina nadšenců Rorschacha tvrdí, že test dokáže předpovědět rakovinu.)
Spolehlivost
Má se také za to, že spolehlivost testu může podstatně záviset na detailech testovacího postupu, jako je místo, kde sedí testující a testovaný, případná úvodní slova, verbální a neverbální odpovědi na otázky nebo komentáře testovaných a způsob zaznamenávání odpovědí. Exner zveřejnil podrobné pokyny, ale Wood et al. uvádí mnoho soudních případů, kdy tyto pokyny nebyly dodrženy. Stejně tak postupy pro kódování odpovědí jsou poměrně dobře specifikovány, ale jsou nesmírně časově náročné, takže velmi závisí na stylu autora a vydavatele na kvalitě instrukcí (jak bylo zaznamenáno u jedné z Bohmových učebnic v 50. letech 20. století), stejně jako na tom, že pracovníci kliniky (což by zahrnovalo i examinátory) jsou povzbuzováni k tomu, aby šetřili.
Soudy ve Spojených státech napadly i Rorschacha. Ve věci Jones v. Apfel (1997) se uvádí (citace z Attorney’s Textbook of Medicine), že Rorschachovy „výsledky nesplňují požadavky standardizace, spolehlivosti nebo platnosti klinických diagnostických testů, a interpretace je proto často sporná“. Ve věci State ex rel H.H. (1999), kde při křížovém výslechu Dr. Bogacki pod přísahou uvedl, že „mnoho psychologů příliš nevěří v platnost nebo účinnost Rorschachova testu“, a ve věci US v. Battle (2001) rozhodl, že Rorschach „nemá objektivní skórovací systém.“
Populační normy
Dalším kontroverzním aspektem testu jsou jeho statistické normy. Předpokládalo se, že Exnerův systém disponuje normativními výsledky pro různé populace. Od poloviny 90. let 20. století se však ostatní začali pokoušet tyto normy replikovat nebo aktualizovat a neuspěli. Zdálo se, že nesrovnalosti se týkají zejména indexů měřících narcismus, neuspořádané myšlení a nepohodu v blízkých vztazích. Lilienfeld a jeho kolegové, kteří Rorschachův test kritizují, uvedli, že to dokazuje, že Rorschach má tendenci „nadměrně patologizovat normální lidi“. Ačkoli zastánci Rorschacha, jako například Hibbard, naznačují, že vysoká míra patologie zjištěná Rorschachem přesně odráží rostoucí psychopatologii ve společnosti, Rorschach také identifikuje polovinu všech účastníků testu jako osoby s „narušeným myšlením“, což je falešně pozitivní míra nevysvětlená současným výzkumem.
Obviněním z „přílišné patologizace“ se zabývali také Meyer et al (2007). Představili mezinárodní kolaborativní studii 4704 Rorschachových protokolů, získaných u 21 různých vzorků v 17 různých zemích, přičemž pouze 2 % vykazovala významné zvýšení indexu poruchy vnímání a myšlení, 12 % zvýšení indexů deprese a hyperaktivity a 13 % zvýšení indexu přetrvávajícího stresového přetížení – vše v souladu s očekávanými četnostmi u nepacientské populace.
Použití
Test je kontroverzní také kvůli svému častému používání v soudně nařízených hodnoceních. Tato kontroverze částečně pramení z omezení Rorschachova testu bez dalších údajů při stanovování oficiálních diagnóz z Diagnostického a statistického manuálu duševních poruch (DSM-IV). irving B. Weiner (spoluautor komplexního systému s Johnem Exnerem) uvedl, že Rorschach „je měřítkem fungování osobnosti a poskytuje informace týkající se aspektů struktury a dynamiky osobnosti, které dělají z lidí takové lidi, jací jsou. Někdy jsou tyto informace o osobnostních charakteristikách užitečné při stanovení diferenciální diagnózy, pokud jsou zvažované alternativní diagnózy dobře konceptualizovány s ohledem na specifické nebo určující osobnostní charakteristiky“.V naprosté většině případů každopádně nebyl Rorschachův test vyčleněn, ale byl použit jako jeden z několika v baterii testů, a navzdory kritice používání Rorschacha u soudů byla z 8 000 případů, v nichž forenzní psychologové použili svědectví založené na Rorschachovi, vhodnost tohoto nástroje zpochybněna pouze šestkrát a pouze v jednom z těchto případů bylo svědectví prohlášeno za nepřípustné. Jedna studie zjistila, že používání testu u soudů se v desetiletí mezi lety 1996 a 2005 zvýšilo třikrát ve srovnání s předchozími padesáti lety. Jiní však zjistili, že jeho používání forenzními psychology pokleslo.
Exner a další tvrdili, že Rorschachův test je schopen odhalit sebevražednost.
Ochrana testových položek a etika
Psychologové mají námitky proti zveřejňování materiálů psychologických testů z obavy, že pacientovy odpovědi v testu budou ovlivněny („primed“) předchozí expozicí. Kanadská psychologická asociace zastává stanovisko, že „zveřejňování otázek a odpovědí jakéhokoli psychologického testu ohrožuje jeho užitečnost“, a vyzývá k „udržení psychologických testů mimo veřejný prostor“. Ve stejném prohlášení je citován výrok jejich prezidenta: „Obavy CPA se netýkají zveřejnění karet a odpovědí Rorschachova testu jako takového, ohledně něhož existují v psychologické literatuře určité kontroverze a neshody mezi odborníky, ale širšího problému zveřejňování a šíření obsahu psychologických testů.“
Z právního hlediska jsou obrázky Rorschachových testů ve většině zemí již mnoho let veřejným majetkem, zejména v těch, kde platí autorská práva až 70 let post mortem auctoris. Podle švýcarského autorského zákona jsou v rodném Švýcarsku od roku 1992 (70 let po autorově smrti, resp. 50 let po mezním datu 1942) veřejně přístupné. Veřejnou doménou jsou také podle autorského práva Spojených států, kde jsou za veřejnou doménu považována všechna díla vydaná před rokem 1923. To znamená, že Rorschachovy obrazy může kdokoli použít k jakémukoli účelu. Snad jako první je zveřejnil William Poundstone ve své knize Big Secrets z roku 1983, kde také popsal metodu provádění testu.
Americká psychologická asociace (APA) má etický kodex, který podporuje „svobodu zkoumání a vyjadřování“ a pomoc „veřejnosti při vytváření informovaných úsudků.“ Tvrdí, že mezi její cíle patří „blaho a ochrana jednotlivců a skupin, s nimiž psychologové pracují“, a požaduje, aby psychologové „vynaložili přiměřené úsilí na zachování integrity a bezpečnosti testových materiálů“. APA rovněž vyjádřila obavy, že šíření testových materiálů by mohlo způsobit „zcela konkrétní újmu široké veřejnosti“. Ke zveřejňování Rorschachových desek nezaujala stanovisko, ale poznamenala, že „existuje omezený počet standardizovaných psychologických testů, které jsou považovány za vhodné pro daný účel“. Veřejné prohlášení Britské psychologické společnosti vyjadřuje podobné obavy ohledně psychologických testů (aniž by jmenovitě uvedla nějaký test) a považuje „uvolnění materiálů nekvalifikovaným osobám“ za zneužití, pokud je to proti vůli vydavatele testu. ve své knize Ethics in Psychology z roku 1998 Gerald Koocher uvádí, že někteří se domnívají, že „přetiskování kopií Rorschachových desek … a uvádění běžných odpovědí představuje pro psychology závažný neetický čin“ a svědčí o „pochybném profesionálním úsudku“.Jiné profesní asociace, například Italská asociace strategické psychoterapie, doporučují, aby ani informace o účelu testu nebo jakékoli podrobnosti o jeho provádění nebyly zveřejňovány, přestože „podvádění“ testu je považováno za prakticky nemožné.
Dne 9. září 2008 se Hogrefe pokusil uplatnit autorská práva na Rorschachovy inkoustové skvrny při podání stížnosti u Světové organizace duševního vlastnictví na brazilského psychologa Neye Limongeho. Tyto stížnosti byly zamítnuty. Další stížnosti na dvě další webové stránky, které obsahovaly informace podobné Rorschachovu testu, zaslala v květnu 2009 právní firma Schluep a Degen ze Švýcarska.
Psychologové někdy odmítají zveřejnit testy a údaje z testů soudům, když je o to strany požádají s odvoláním na etické důvody; tvrdí se, že takové odmítnutí může bránit plnému pochopení procesu ze strany advokátů a ztěžovat křížový výslech znalců. Etický standard APA 1.23(b) uvádí, že psycholog je povinen dokumentovat procesy podrobně a v odpovídající kvalitě, aby umožnil přiměřenou kontrolu ze strany soudu.
Kontroverze v psychologické komunitě nastala v roce 2009, kdy byly v článku „Rorschachův test“ na Wikipedii zveřejněny původní Rorschachovy desky a výsledky výzkumu jejich interpretace. Německá společnost Hogrefe & Huber Publishing, která prodává edice desek, označila toto zveřejnění za „neuvěřitelně bezohledné a dokonce cynické ze strany Wikipedie“ a uvedla, že zkoumá možnost právních kroků. Kvůli této kontroverzi byl na Wikipedii dočasně zaveden editační filtr, který měl zabránit odstranění desek.
James Heilman, lékař z pohotovosti, který se do debaty zapojil, ji přirovnal ke zveřejnění tabulky pro oční testy: ačkoli se lidé stejně tak mohou před očním testem naučit nazpaměť tabulku, její obecná užitečnost jako diagnostického nástroje pro zrak se nezmenšila. Pro odpůrce odhalení je zveřejnění inkoustových skvrn popsáno jako „obzvláště bolestný vývoj“ vzhledem k desítkám tisíc výzkumných prací, které se po mnoho let „snažily spojit reakce pacienta s určitými psychickými stavy“. Kontroverze ohledně zveřejnění inkoustových skvrn na Wikipedii vedly k tomu, že skvrny byly zveřejněny i na jiných místech, například v denících The Guardian a The Globe and Mail. Později téhož roku podali dva psychologové na Heilmana stížnost u Saskatchewanské lékařské licenční rady s odůvodněním, že jeho nahrání obrázků představuje neprofesionální chování. V roce 2012 byly zveřejněny dva články ukazující důsledky zveřejnění snímků ve Wikipedii. První z nich zkoumal negativní postoje k testu vyvolané během debaty o Wikipedii a Rorschachovi, zatímco druhý naznačoval, že čtení článku na Wikipedii může pomoci k falšování „dobrých“ výsledků v testu.
Zveřejnění Rorschachových obrázků vítají i kritici, kteří test považují za pseudovědu. Benjamin Radford, redaktor časopisu Skeptical Inquirer, prohlásil, že Rorschachův test „zůstal v užívání spíše z tradice než z dobrých důkazů“, a vyjádřil naději, že zveřejnění testu by mohlo konečně urychlit jeho zánik.