Niektórzy sceptycy uważają test plam atramentowych Rorschacha za pseudonaukę, ponieważ kilka badań sugerowało, że wnioski wyciągane przez administratorów testu od lat 50. były zbliżone do zimnego czytania. W wydaniu Mental Measurement Yearbook z 1959 roku, Lee Cronbach (były przewodniczący Towarzystwa Psychometrycznego i Amerykańskiego Towarzystwa Psychologicznego) jest cytowany w recenzji: „Test wielokrotnie zawodził jako predykcja praktycznych kryteriów. W literaturze nie ma nic, co zachęcałoby do polegania na interpretacjach Rorschacha.” Ponadto, główny recenzent Raymond J. McCall pisze (s. 154): „Chociaż dziesiątki tysięcy testów Rorschacha zostało przeprowadzonych przez setki wyszkolonych profesjonalistów od tamtego czasu (poprzedniego przeglądu), i chociaż wiele związków z dynamiką osobowości i zachowaniem zostało wysuniętych jako hipotezy, ogromna większość tych związków nigdy nie została potwierdzona empirycznie, pomimo pojawienia się ponad 2000 publikacji na temat testu.” Moratorium na jego stosowanie zostało wezwane w 1999 roku.
Raport Wooda i współpracowników z 2003 roku miał bardziej mieszane poglądy: „Ponad 50 lat badań potwierdziło ostateczny werdykt Lee J. Cronbacha (1970): że niektóre wyniki Rorschacha, choć nie spełniają oczekiwań zwolenników, posiadają jednak 'ważność większą niż szansa’ (s. 636). Jego wartość jako miary zaburzeń myślenia w badaniach nad schizofrenią jest dobrze akceptowana. Jest on również regularnie stosowany w badaniach nad uzależnieniem, a rzadziej w badaniach nad wrogością i lękiem. Ponadto, istotne dowody uzasadniają użycie Rorschacha jako klinicznej miary inteligencji i zaburzeń myślenia.”
Materiały testowe
Podstawowym założeniem testu jest to, że obiektywne znaczenie może być wydobyte z odpowiedzi na plamy atramentu, które są rzekomo bez znaczenia. Zwolennicy testu plam atramentowych Rorschacha wierzą, że reakcja podmiotu na dwuznaczny i bezsensowny bodziec może zapewnić wgląd w jego procesy myślowe, ale nie jest jasne, jak to się dzieje. Ponadto ostatnie badania pokazują, że plamy nie są całkowicie pozbawione znaczenia i że pacjent zazwyczaj reaguje zarówno na znaczące, jak i niejednoznaczne aspekty plam. Reber (1985) opisuje plamy jako jedynie „…nośnik interakcji…” pomiędzy klientem a terapeutą, konkludując: „…użyteczność Rorschacha będzie zależała od wrażliwości, empatii i wnikliwości badającego, zupełnie niezależnie od samego Rorschacha. Intensywny dialog o tapecie lub dywanie byłby równie dobry pod warunkiem, że obie strony wierzą.”
Iluzoryczne i niewidzialne korelacje
W latach sześćdziesiątych badania psychologów Lorena i Jean Chapmanów wykazały, że przynajmniej część pozornej ważności Rorschacha wynikała z iluzji. W tamtym czasie, pięć znaków najczęściej interpretowanych jako diagnostyczne dla homoseksualizmu to: 1) pośladki i odbyt; 2) kobiece ubrania; 3) męskie lub żeńskie organy płciowe; 4) postacie ludzkie bez cech męskich lub żeńskich; oraz 5) postacie ludzkie z cechami zarówno męskimi jak i żeńskimi. Chapmanowie przeprowadzili ankietę wśród 32 doświadczonych testerów na temat wykorzystania przez nich Rorschacha do diagnozowania homoseksualizmu. W tym czasie homoseksualizm był uważany za psychopatologię, a Rorschach był najbardziej popularnym testem projekcyjnym. Testerzy donosili, że homoseksualni mężczyźni wykazywali pięć znaków częściej niż heteroseksualni. Pomimo tych przekonań, analiza wyników wykazała, że heteroseksualni mężczyźni tak samo często zgłaszali te znaki, które były zatem całkowicie nieskuteczne w określaniu homoseksualizmu. Pięć znaków zgadzało się jednak z przypuszczeniami studentów na temat tego, jakie obrazy kojarzą się z homoseksualizmem.
Chapmanowie zbadali źródło fałszywej pewności testerów. W jednym z eksperymentów studenci czytali stos kart, z których każda zawierała plamę Rorschacha, znak i parę „warunków” (które mogły obejmować homoseksualizm). Informacje na kartach były fikcyjne, choć badanym powiedziano, że pochodzą ze studiów przypadków prawdziwych pacjentów. Studenci stwierdzili, że pięć nieważnych znaków kojarzy się z homoseksualizmem, mimo że karty były tak skonstruowane, że nie było żadnych skojarzeń. Chapmanowie powtórzyli ten eksperyment z innym zestawem kart, w którym skojarzenie było negatywne; te pięć znaków nigdy nie było zgłaszane przez homoseksualistów. Studenci nadal zgłaszali, że widzą silną pozytywną korelację. Eksperymenty te pokazały, że uprzedzenia testerów mogą powodować, że „widzą” oni nieistniejące związki w danych. Chapmanowie nazwali to zjawisko „iluzoryczną korelacją” i od tego czasu zostało ono zademonstrowane w wielu innych kontekstach.
Pokrewne zjawisko zwane „niewidzialną korelacją” dotyczy sytuacji, gdy ludzie nie dostrzegają silnego związku między dwoma zdarzeniami, ponieważ nie odpowiada on ich oczekiwaniom. Stwierdzono to również w interpretacjach Rorschacha dokonywanych przez klinicystów. Homoseksualni mężczyźni częściej widzą potwora na karcie IV lub postać pół-zwierzęcą, pół-ludzką na karcie V. Prawie wszyscy doświadczeni klinicyści w badaniu Chapmanów przeoczyli te ważne znaki. Chapmanowie przeprowadzili eksperyment z fałszywymi odpowiedziami Rorschacha, w którym te ważne znaki były zawsze kojarzone z homoseksualizmem. Osoby badane przeoczyły te doskonałe skojarzenia i zamiast tego zgłosiły, że nieważne znaki, takie jak pośladki lub kobiece ubrania, były lepszymi wskaźnikami.
W 1992 roku psycholog Stuart Sutherland argumentował, że te sztuczne eksperymenty są łatwiejsze niż rzeczywiste użycie Rorschacha i dlatego prawdopodobnie nie doszacowały błędów, na które testerzy byli podatni. Opisał on ciągłą popularność Rorschacha po badaniach Chapmanów jako „jaskrawy przykład irracjonalności wśród psychologów”.
Projekcja testera
Niektórzy krytycy twierdzą, że psycholog testujący musi również dokonywać projekcji na wzorce. Możliwym przykładem czasami przypisywanym subiektywnej ocenie psychologa jest to, że odpowiedzi są kodowane (wśród wielu innych rzeczy), dla „Jakości Formy”: w istocie, czy odpowiedź podmiotu pasuje do tego, jak plama faktycznie wygląda. Powierzchownie może to być uważane za subiektywny osąd, w zależności od tego, jak egzaminator zinternalizował zaangażowane kategorie. Ale z systemem punktacji Exnera, wiele z subiektywności jest wyeliminowane lub zmniejszone poprzez wykorzystanie tabel częstotliwości, które wskazują, jak często dana odpowiedź jest podana przez populację w ogóle. Innym przykładem jest to, że odpowiedź „biustonosz” została uznana za odpowiedź „seks” przez psychologów płci męskiej, ale „odzież” odpowiedź przez kobiety.W systemie Exnera, jednak taka odpowiedź jest zawsze kodowane jako „odzież”, chyba że istnieje wyraźne odniesienie seksualne w odpowiedzi.
Trzecie strony mogą być używane, aby uniknąć tego problemu, ale wiarygodność Rorschacha inter-rater został zakwestionowany. To znaczy, w niektórych badaniach wyniki uzyskane przez dwóch niezależnych oceniających nie pasują do siebie z dużą spójnością.
Ważność
Kiedy interpretuje się go jako test projekcyjny, wyniki są słabo weryfikowalne. System punktacji Exnera (znany również jako „Comprehensive System”) ma na celu rozwiązanie tego problemu i wyparł wiele wcześniejszych (i mniej spójnych) systemów punktacji. Wykorzystuje on w znacznym stopniu to, jaki czynnik (cieniowanie, kolor, kontur, itp.) inkblota prowadzi do każdego z komentarzy osoby badanej. Nie ma zgody co do ważności testu: podczas gdy Exner zaproponował rygorystyczny system punktacji, pozostała swoboda w rzeczywistej interpretacji, a zapisy klinicysty są nadal częściowo subiektywne.Reber (1985) komentuje „…nie ma zasadniczo żadnych dowodów na to, że test ma choćby krztynę ważności.”
Niemniej jednak, istnieją znaczące badania wskazujące na użyteczność środka dla kilku wyników. Kilka wyników dobrze koreluje z ogólną inteligencją. Jedną z takich skal jest R, całkowita liczba odpowiedzi; ujawnia to wątpliwy efekt uboczny, że bardziej inteligentni ludzie mają tendencję do bycia podwyższonymi na wielu skalach patologii, ponieważ wiele skal nie koryguje wysokiego R: jeśli podmiot daje dwa razy więcej odpowiedzi ogółem, jest bardziej prawdopodobne, że niektóre z nich będą wydawać się „patologiczne”. Z inteligencją skorelowane są również skale Aktywności Organizacyjnej, Złożoności, Jakości Formy i Odpowiedzi Postaci Ludzkiej.To samo źródło podaje, że wykazano również trafność w wykrywaniu takich stanów, jak schizofrenia i inne zaburzenia psychotyczne, zaburzenia myślenia i zaburzenia osobowości (w tym zaburzenia osobowości typu borderline). Istnieją pewne dowody na to, że skala Dewiacyjne Werbalizacje odnosi się do zaburzeń dwubiegunowych. Autorzy konkludują, że „Poza tym, Kompleksowy System nie wydaje się mieć spójnego związku z zaburzeniami psychologicznymi lub symptomami, cechami osobowości, potencjałem do przemocy lub takimi problemami zdrowotnymi jak rak”.(Rak jest wspomniany, ponieważ niewielka mniejszość entuzjastów Rorschacha twierdzi, że test może przewidzieć raka.)
Reliability
Uważa się również, że rzetelność testu może zależeć w znacznym stopniu od szczegółów procedury testowej, takich jak miejsce siedzenia testera i osoby badanej, wszelkie słowa wstępne, werbalne i niewerbalne odpowiedzi na pytania lub komentarze osób badanych oraz sposób, w jaki odpowiedzi są rejestrowane. Exner opublikował szczegółowe instrukcje, ale Wood et al. przytacza wiele spraw sądowych, w których nie były one przestrzegane. Podobnie, procedury kodowania odpowiedzi są dość dobrze określone, ale niezwykle czasochłonne, pozostawiając je bardzo zależne od stylu autora, a wydawca od jakości instrukcji (jak to zauważono w przypadku jednego z podręczników Bohma w latach 50-tych), jak również pracownicy klinik (w tym egzaminatorzy) są zachęcani do chodzenia na skróty.
Sądy Stanów Zjednoczonych również zakwestionowały Rorschacha. Jones przeciwko Apfel (1997) stwierdził (cytując z Attorney’s Textbook of Medicine), że wyniki Rorschacha „nie spełniają wymogów standaryzacji, wiarygodności lub ważności klinicznych testów diagnostycznych, a ich interpretacja jest często kontrowersyjna”. W State ex rel H.H. (1999), gdzie podczas przesłuchania krzyżowego dr Bogacki stwierdził pod przysięgą „wielu psychologów nie wierzy zbytnio w ważność lub skuteczność testu Rorschacha”, a US v Battle (2001) orzekł, że Rorschach „nie posiada obiektywnego systemu punktacji.”
Normy populacyjne
Innym kontrowersyjnym aspektem testu są jego normy statystyczne. System Exnera był uważany za posiadający normatywne wyniki dla różnych populacji. Ale, począwszy od połowy lat 90-tych, inni zaczęli próbować replikować lub aktualizować te normy i nie udało im się. W szczególności, rozbieżności zdawały się koncentrować na wskaźnikach mierzących narcyzm, nieuporządkowane myślenie i dyskomfort w bliskich związkach. Lilienfeld i współpracownicy, którzy są krytyczni wobec Rorschacha, stwierdzili, że dowodzi to, iż Rorschach ma tendencję do „nadmiernego patologizowania normalnych”. Chociaż zwolennicy Rorschacha, tacy jak Hibbard, sugerują, że wysokie wskaźniki patologii wykrywanej przez Rorschacha dokładnie odzwierciedlają rosnącą psychopatologię w społeczeństwie, Rorschach identyfikuje również połowę wszystkich osób wykonujących test jako posiadających „zniekształcone myślenie”, co jest wskaźnikiem fałszywie pozytywnym, niewyjaśnionym przez obecne badania.
Oskarżenie o „nadmierne patologizowanie” zostało również rozważone przez Meyera i wsp. Przedstawili oni międzynarodowe wspólne badanie 4704 protokołów Rorschacha, uzyskanych w 21 różnych próbkach, w 17 różnych krajach, w którym tylko 2% wykazało znaczące podwyższenie wskaźnika zaburzeń spostrzegania i myślenia, 12% podwyższenie wskaźników depresji i nadwrażliwości oraz 13% podwyższenie wskaźników przeciążenia uporczywym stresem – wszystko zgodnie z oczekiwanymi częstotliwościami w populacjach nie-pacjentów.
Zastosowania
Test jest również kontrowersyjny z powodu jego powszechnego stosowania w ocenach sądowych. Kontrowersje te wynikają, po części, z ograniczeń Rorschacha, przy braku dodatkowych danych, w stawianiu oficjalnych diagnoz z Diagnostycznego i Statystycznego Podręcznika Zaburzeń Psychicznych (DSM-IV).Irving B. Weiner (współtwórca wraz z Johnem Exnerem systemu Comprehensive) stwierdził, że Rorschach „jest miarą funkcjonowania osobowości i dostarcza informacji dotyczących aspektów struktury i dynamiki osobowości, które czynią ludzi takimi, jakimi są. Czasami taka informacja o cechach osobowości jest pomocna w postawieniu diagnozy różnicowej, jeśli alternatywne diagnozy, które są rozważane, zostały dobrze skonceptualizowane w odniesieniu do specyficznych lub definiujących cech osobowości”.W zdecydowanej większości przypadków test Rorschacha nie był wyróżniany, ale używany jako jeden z kilku w baterii testów, i pomimo krytyki użycia Rorschacha w sądach, na 8000 spraw, w których psychologowie sądowi używali zeznań opartych na Rorschachu, stosowność narzędzia została zakwestionowana tylko sześć razy, a zeznania zostały uznane za niedopuszczalne tylko w jednej z tych spraw. Jedno z badań wykazało, że wykorzystanie testu w sądach wzrosło trzykrotnie w ciągu dekady pomiędzy 1996 a 2005 rokiem, w porównaniu do poprzednich pięćdziesięciu lat. Inni jednak stwierdzili, że jego użycie przez psychologów sądowych zmniejszyło się.
Exner i inni twierdzili, że test Rorschacha jest w stanie wykryć samobójstwo.
Ochrona pozycji testowych i etyka
Psychologowie sprzeciwiają się publikacji materiałów do testów psychologicznych z obawy, że odpowiedzi testowe pacjenta będą pod wpływem („primed”) wcześniejszej ekspozycji. Kanadyjskie Stowarzyszenie Psychologiczne zajmuje stanowisko, że „publikowanie pytań i odpowiedzi do każdego testu psychologicznego zmniejsza jego użyteczność” i wzywa do „utrzymywania testów psychologicznych poza domeną publiczną”. To samo oświadczenie cytuje ich prezesa, który powiedział: „CPA nie jest zaniepokojone publikacją kart i odpowiedzi do testu Rorschacha per se, co do których istnieją pewne kontrowersje w literaturze psychologicznej i brak zgody wśród ekspertów, ale szerszą kwestią publikacji i rozpowszechniania treści testów psychologicznych”.
Z prawnego punktu widzenia, obrazy testu Rorschacha są w domenie publicznej od wielu lat w większości krajów, szczególnie tych, w których okres obowiązywania praw autorskich wynosi do 70 lat post mortem auctoris. W rodzinnej Szwajcarii Hermanna Rorschacha znajdują się one w domenie publicznej od 1992 r. (70 lat po śmierci autora lub 50 lat po dacie granicznej 1942 r.), zgodnie ze szwajcarskim prawem autorskim. Są one również w domenie publicznej zgodnie z prawem autorskim Stanów Zjednoczonych, gdzie wszystkie prace opublikowane przed 1923 rokiem są uważane za znajdujące się w domenie publicznej. Oznacza to, że obrazy Rorschacha mogą być wykorzystywane przez każdego w dowolnym celu. William Poundstone był, być może, pierwszym, który je upublicznił w swojej książce Big Secrets z 1983 roku, gdzie opisał również metodę podawania testu.
Amerykańskie Stowarzyszenie Psychologiczne (APA) posiada kodeks etyczny, który wspiera „wolność dociekania i wyrażania opinii” oraz pomoc „społeczeństwu w rozwijaniu świadomych osądów”.Twierdzi, że jego cele obejmują „dobro i ochronę jednostek i grup, z którymi pracują psycholodzy”, i wymaga, aby psycholodzy „podejmowali rozsądne wysiłki w celu utrzymania integralności i bezpieczeństwa materiałów testowych”. APA wyraziła również obawy, że rozpowszechnianie materiałów testowych może spowodować „bardzo konkretne szkody dla ogółu społeczeństwa”. Nie zajęła ona stanowiska w sprawie publikacji tablic Rorschacha, ale zauważyła, że „istnieje ograniczona liczba standaryzowanych testów psychologicznych uznawanych za odpowiednie do danego celu”. Publiczne oświadczenie Brytyjskiego Towarzystwa Psychologicznego wyraża podobne obawy dotyczące testów psychologicznych (nie wymieniając żadnego testu z nazwy) i uważa „udostępnianie materiałów niewykwalifikowanym osobom” za nadużycie, jeśli jest to sprzeczne z życzeniem wydawcy testu.W książce Ethics in Psychology z 1998 roku Gerald Koocher zauważa, że niektórzy uważają, iż „przedrukowywanie kopii tablic Rorschacha (…) i wypisywanie typowych odpowiedzi stanowi poważny czyn nieetyczny” dla psychologów i wskazuje na „wątpliwy osąd zawodowy”.Inne stowarzyszenia zawodowe, takie jak Włoskie Stowarzyszenie Psychoterapii Strategicznej, zalecają, aby nawet informacje o celu testu lub jakikolwiek szczegół jego podawania były trzymane z dala od opinii publicznej, nawet jeśli „oszukiwanie” testu jest praktycznie niemożliwe.
W dniu 9 września 2008 roku, Hogrefe próbował rościć sobie prawa autorskie do plam atramentowych Rorschacha podczas składania skargi do Światowej Organizacji Własności Intelektualnej przeciwko brazylijskiemu psychologowi Ney Limonge. Skargi te zostały odrzucone. Dalsze skargi zostały wysłane do dwóch innych stron internetowych, które zawierały informacje podobne do testu Rorschacha w maju 2009 roku przez firmę prawną Schluep and Degen ze Szwajcarii.
Psychologowie czasami odmawiali ujawnienia testów i danych testowych sądom, gdy strony prosiły o to, powołując się na względy etyczne; argumentuje się, że takie odmowy mogą utrudniać pełne zrozumienie procesu przez adwokatów i utrudniać krzyżowe przesłuchanie ekspertów. Standard etyczny APA 1.23(b) stwierdza, że psycholog ma obowiązek dokumentowania procesów w sposób szczegółowy i odpowiedniej jakości, aby umożliwić rozsądną kontrolę przez sąd.
Kontrowersje w społeczności psychologicznej pojawiły się w 2009 roku, kiedy oryginalne tablice Rorschacha i wyniki badań nad interpretacjami zostały opublikowane w artykule „Test Rorschacha” na Wikipedii. Hogrefe & Huber Publishing, niemiecka firma sprzedająca wydania tablic, nazwała publikację „niewiarygodnie lekkomyślnym, a nawet cynicznym zachowaniem Wikipedii” i oświadczyła, że bada możliwość podjęcia kroków prawnych. Z powodu tej kontrowersji w Wikipedii tymczasowo wprowadzono filtr edycji, aby zapobiec usunięciu płyt.
James Heilman, lekarz pogotowia ratunkowego zaangażowany w debatę, porównał ją do publikacji karty badania wzroku: chociaż ludzie są również wolni od zapamiętywania karty przed badaniem wzroku, jej ogólna użyteczność jako narzędzia diagnostycznego dla wzroku nie zmniejszyła się. Dla osób sprzeciwiających się demaskowaniu, publikacja inkblotów jest opisana jako „szczególnie bolesne wydarzenie”, biorąc pod uwagę dziesiątki tysięcy prac badawczych, które przez wiele lat „próbowały powiązać reakcje pacjenta z określonymi warunkami psychologicznymi”. Kontrowersje związane z publikacją atramentowych plam w Wikipedii spowodowały, że plamy zostały opublikowane w innych miejscach, takich jak The Guardian i The Globe and Mail. Jeszcze w tym samym roku dwóch psychologów złożyło skargę na Heilmana do komisji ds. licencji medycznych w Saskatchewan, twierdząc, że zamieszczenie przez niego zdjęć stanowiło nieprofesjonalne zachowanie. W 2012 roku ukazały się dwa artykuły pokazujące konsekwencje publikacji zdjęć w Wikipedii. Pierwszy z nich badał negatywne postawy wobec testu powstałe podczas debaty Wikipedia-Rorschach, podczas gdy drugi sugerował, że przeczytanie artykułu w Wikipedii może pomóc w sfałszowaniu „dobrych” wyników w teście.
Publikacja obrazów Rorschacha jest również mile widziana przez krytyków, którzy uważają test za pseudonaukę. Benjamin Radford, redaktor magazynu Skeptical Inquirer, stwierdził, że Rorschach „pozostał w użyciu bardziej z tradycji niż z dobrych dowodów” i miał nadzieję, że publikacja testu może w końcu przyspieszyć jego upadek.
.