Einige Skeptiker halten den Rorschach-Tintenklecks-Test für Pseudowissenschaft, da mehrere Studien darauf hindeuten, dass die von den Testleitern seit den 1950er Jahren gezogenen Schlussfolgerungen dem Cold Reading ähneln. In der Ausgabe 1959 des Mental Measurement Yearbook wird Lee Cronbach (ehemaliger Präsident der Psychometric Society und der American Psychological Association) in einer Rezension zitiert: „Der Test hat als Vorhersage praktischer Kriterien wiederholt versagt. Es gibt nichts in der Literatur, was dazu ermutigen würde, sich auf Rorschach-Interpretationen zu verlassen“. Darüber hinaus schreibt der Hauptkritiker Raymond J. McCall (S. 154): „Obwohl seit dieser Zeit (einer früheren Überprüfung) Zehntausende von Rorschach-Tests von Hunderten von geschulten Fachleuten durchgeführt wurden und obwohl viele Beziehungen zur Persönlichkeitsdynamik und zum Verhalten hypothetisch angenommen wurden, ist die überwiegende Mehrheit dieser Beziehungen nie empirisch validiert worden, trotz des Erscheinens von mehr als 2.000 Veröffentlichungen über den Test.“ 1999 wurde ein Moratorium für die Verwendung des Tests gefordert.
Ein Bericht von Wood und Kollegen aus dem Jahr 2003 hatte eine gemischtere Meinung: „Mehr als 50 Jahre Forschung haben Lee J. Cronbachs (1970) abschließendes Urteil bestätigt: dass einige Rorschach-Ergebnisse, auch wenn sie bedauerlicherweise hinter den Behauptungen der Befürworter zurückbleiben, nichtsdestotrotz eine „höhere Validität als der Zufall“ besitzen (S. 636). Sein Wert als Maß für Denkstörungen in der Schizophrenieforschung ist allgemein anerkannt. Er wird auch regelmäßig in der Abhängigkeitsforschung und seltener in Studien über Feindseligkeit und Angst verwendet. Darüber hinaus rechtfertigen umfangreiche Beweise die Verwendung des Rorschach-Tests als klinisches Maß für Intelligenz und Denkstörungen.“
Testmaterialien
Die Grundannahme des Tests ist, dass aus den Antworten auf vermeintlich bedeutungslose Tintenkleckse eine objektive Bedeutung abgeleitet werden kann. Die Befürworter des Rorschach-Tintenklecks-Tests glauben, dass die Reaktion der Testperson auf einen mehrdeutigen und bedeutungslosen Stimulus Aufschluss über ihre Denkprozesse geben kann, aber es ist nicht klar, wie dies geschieht. Neuere Forschungen zeigen auch, dass die Flecken nicht völlig bedeutungslos sind und dass ein Patient in der Regel sowohl auf bedeutungsvolle als auch auf mehrdeutige Aspekte der Flecken reagiert. Reber (1985) beschreibt die Blots lediglich als „… das Vehikel für die Interaktion …“ zwischen Klient und Therapeut und kommt zu dem Schluss: „… der Nutzen des Rorschachs hängt von der Sensibilität, dem Einfühlungsvermögen und der Einsichtsfähigkeit des Testers ab, völlig unabhängig vom Rorschach selbst. Ein intensiver Dialog über die Tapete oder den Teppich würde genauso gut funktionieren, vorausgesetzt, beide Parteien glauben daran.“
Illusorische und unsichtbare Korrelationen
In den 1960er Jahren zeigten die Psychologen Loren und Jean Chapman, dass zumindest ein Teil der scheinbaren Gültigkeit des Rorschach auf einer Illusion beruht. Damals waren die fünf Zeichen, die am häufigsten als Diagnose für Homosexualität interpretiert wurden, 1) Gesäß und Anus, 2) weibliche Kleidung, 3) männliche oder weibliche Geschlechtsorgane, 4) menschliche Figuren ohne männliche oder weibliche Merkmale und 5) menschliche Figuren mit männlichen und weiblichen Merkmalen. Die Chapmans befragten 32 erfahrene Testpersonen zu ihrer Verwendung des Rorschach-Tests zur Diagnose von Homosexualität. Zu dieser Zeit wurde Homosexualität als Psychopathologie angesehen, und der Rorschach war der beliebteste projektive Test. Die Tester berichteten, dass homosexuelle Männer die fünf Zeichen häufiger aufwiesen als heterosexuelle Männer. Trotz dieser Überzeugung zeigte die Analyse der Ergebnisse, dass heterosexuelle Männer diese Zeichen ebenso häufig angaben, so dass sie für die Feststellung von Homosexualität völlig untauglich waren. Die fünf Zeichen stimmten jedoch mit den Vermutungen der Studenten darüber überein, welche Bilder mit Homosexualität assoziiert werden würden.
Die Chapmans untersuchten die Quelle des falschen Vertrauens der Tester. In einem Experiment lasen die Studenten einen Stapel von Karten durch, auf denen jeweils ein Rorschach-Fleck, ein Zeichen und ein Paar „Bedingungen“ (zu denen auch Homosexualität gehören könnte) abgebildet waren. Die Informationen auf den Karten waren fiktiv, obwohl den Versuchspersonen gesagt wurde, sie stammten aus Fallstudien von echten Patienten. Die Studenten berichteten, dass die fünf ungültigen Zeichen mit Homosexualität assoziiert wurden, obwohl die Karten so konstruiert waren, dass es überhaupt keine Assoziation gab. Die Chapmans wiederholten dieses Experiment mit einem anderen Kartensatz, bei dem die Assoziation negativ war; die fünf Zeichen wurden nie von Homosexuellen berichtet. Die Studenten berichteten immer noch, dass sie eine starke positive Korrelation sahen. Diese Experimente zeigten, dass die Vorurteile der Testpersonen dazu führen können, dass sie in den Daten nicht vorhandene Beziehungen „sehen“. Die Chapmans nannten dieses Phänomen „illusorische Korrelation“, und es wurde seither in vielen anderen Zusammenhängen nachgewiesen.
Ein verwandtes Phänomen, das als „unsichtbare Korrelation“ bezeichnet wird, tritt auf, wenn Menschen einen starken Zusammenhang zwischen zwei Ereignissen nicht sehen, weil er nicht ihren Erwartungen entspricht. Dies wurde auch bei der Interpretation des Rorschach-Tests durch Kliniker festgestellt. Homosexuelle Männer sehen mit größerer Wahrscheinlichkeit ein Monster auf Karte IV oder eine halb tierische, halb menschliche Figur auf Karte V. Fast alle erfahrenen Kliniker in der Chapmans-Umfrage übersahen diese gültigen Zeichen. Die Chapmans führten ein Experiment mit gefälschten Rorschach-Antworten durch, bei dem diese gültigen Zeichen immer mit Homosexualität assoziiert wurden. Die Probanden übersahen diese perfekten Assoziationen und berichteten stattdessen, dass ungültige Zeichen, wie Gesäß oder weibliche Kleidung, bessere Indikatoren waren.
Im Jahr 1992 argumentierte der Psychologe Stuart Sutherland, dass diese künstlichen Experimente einfacher sind als die reale Anwendung des Rorschach-Tests und daher wahrscheinlich die Fehler unterschätzt wurden, für die die Tester anfällig sind. Er bezeichnete die anhaltende Beliebtheit des Rorschach nach den Forschungen der Chapmans als ein „eklatantes Beispiel für die Irrationalität der Psychologen“.
Projektion der Tester
Einige Kritiker argumentieren, dass der testende Psychologe auch auf die Muster projizieren muss. Ein mögliches Beispiel, das manchmal dem subjektiven Urteil des Psychologen zugeschrieben wird, ist, dass die Antworten (neben vielen anderen Dingen) für die „Formqualität“ kodiert werden: im Wesentlichen, ob die Antwort des Probanden dazu passt, wie der Fleck tatsächlich aussieht. Oberflächlich betrachtet könnte dies als subjektives Urteil angesehen werden, je nachdem, wie der Prüfer die betreffenden Kategorien verinnerlicht hat. Mit dem Exner-Bewertungssystem wird jedoch ein Großteil der Subjektivität durch die Verwendung von Häufigkeitstabellen, die angeben, wie häufig eine bestimmte Antwort von der Bevölkerung im Allgemeinen gegeben wird, eliminiert oder reduziert. Ein weiteres Beispiel ist, dass die Antwort „BH“ von männlichen Psychologen als „Sex“-Antwort, von weiblichen jedoch als „Kleidung“-Antwort angesehen wurde. In Exners System wird eine solche Antwort jedoch immer als „Kleidung“ kodiert, es sei denn, es gibt einen eindeutigen sexuellen Bezug in der Antwort.
Dritte könnten eingesetzt werden, um dieses Problem zu vermeiden, aber die Inter-Rater-Reliabilität des Rorschach-Tests ist in Frage gestellt worden. Diese Schlussfolgerung wurde in Studien mit großen Stichproben, über die 2002 berichtet wurde, in Frage gestellt.
Gültigkeit
Wenn er als projektiver Test interpretiert wird, sind die Ergebnisse schlecht überprüfbar. Das Exner-Bewertungssystem (auch als „Comprehensive System“ bekannt) soll hier Abhilfe schaffen und hat viele frühere (und weniger konsistente) Bewertungssysteme fast vollständig verdrängt. Dabei wird in hohem Maße berücksichtigt, welcher Faktor (Schattierung, Farbe, Kontur usw.) des Tintenkleckses zu den einzelnen Kommentaren des Probanden führt. Über die Validität des Tests gibt es nach wie vor Meinungsverschiedenheiten: Während Exner ein strenges Bewertungssystem vorschlug, blieb bei der tatsächlichen Interpretation ein gewisser Spielraum, und die Niederschrift des Testprotokolls durch den Kliniker ist nach wie vor teilweise subjektiv.
Reber (1985) kommentiert: „… es gibt im Wesentlichen keinerlei Beweise dafür, dass der Test auch nur ein Fünkchen Validität besitzt.“
Dennoch gibt es umfangreiche Forschungsergebnisse, die auf die Nützlichkeit des Maßes für einige wenige Werte hinweisen. Mehrere Werte korrelieren gut mit der allgemeinen Intelligenz. Eine dieser Skalen ist R, die Gesamtzahl der Antworten; hier zeigt sich der fragwürdige Nebeneffekt, dass intelligentere Menschen bei vielen Pathologieskalen zu höheren Werten neigen, da viele Skalen hohe R nicht korrigieren: Wenn eine Person insgesamt doppelt so viele Antworten gibt, ist es wahrscheinlicher, dass einige davon „pathologisch“ erscheinen. Ebenfalls mit der Intelligenz korreliert sind die Skalen für Organisatorische Aktivität, Komplexität, Formqualität und Antworten auf menschliche Figuren. In derselben Quelle wird berichtet, dass die Validität auch für die Erkennung von Erkrankungen wie Schizophrenie und anderen psychotischen Störungen, Denkstörungen und Persönlichkeitsstörungen (einschließlich Borderline-Persönlichkeitsstörung) nachgewiesen wurde. Es gibt einige Hinweise darauf, dass die Skala „Abweichende Verbalisierungen“ mit der bipolaren Störung zusammenhängt. Die Autoren kommen zu dem Schluss, dass „das Comprehensive System ansonsten keine konsistente Beziehung zu psychologischen Störungen oder Symptomen, Persönlichkeitsmerkmalen, Gewaltpotenzial oder Gesundheitsproblemen wie Krebs zu haben scheint“. (Krebs wird erwähnt, weil eine kleine Minderheit von Rorschach-Enthusiasten behauptet hat, der Test könne Krebs vorhersagen.)
Zuverlässigkeit
Es wird auch angenommen, dass die Zuverlässigkeit des Tests wesentlich von Details des Testverfahrens abhängen kann, wie z. B. davon, wo der Tester und die Testperson sitzen, von einleitenden Worten, von verbalen und nonverbalen Reaktionen auf Fragen oder Kommentare der Testpersonen und davon, wie die Antworten aufgezeichnet werden. Exner hat detaillierte Anweisungen veröffentlicht, aber Wood et al. zitieren viele Gerichtsfälle, in denen diese nicht befolgt wurden. Auch die Verfahren zur Kodierung der Antworten sind recht gut spezifiziert, aber extrem zeitaufwendig, so dass sie stark vom Stil des Autors und des Verlags abhängen (wie bei einem Lehrbuch von Bohm in den 50er Jahren festgestellt wurde) und das Klinikpersonal (einschließlich der Prüfer) dazu ermutigt wird, Abstriche zu machen.
Gerichte in den Vereinigten Staaten haben auch den Rorschach-Test in Frage gestellt. Jones gegen Apfel (1997) erklärte (mit einem Zitat aus dem Attorney’s Textbook of Medicine), dass die Rorschach-Ergebnisse „nicht den Anforderungen an Standardisierung, Zuverlässigkeit oder Gültigkeit klinischer Diagnosetests entsprechen und die Interpretation daher oft umstritten ist“. In der Rechtssache State ex rel H.H. (1999), in der Dr. Bogacki im Kreuzverhör unter Eid erklärte, dass „viele Psychologen nicht viel von der Gültigkeit oder Wirksamkeit des Rorschach-Tests halten“, und in der Rechtssache US v Battle (2001) wurde entschieden, dass der Rorschach-Test „kein objektives Bewertungssystem hat.“
Populationsnormen
Ein weiterer umstrittener Aspekt des Tests sind seine statistischen Normen. Man ging davon aus, dass Exners System über normative Werte für verschiedene Populationen verfügt. Ab Mitte der 1990er Jahre versuchten andere, diese Normen zu replizieren oder zu aktualisieren, was jedoch nicht gelang. Insbesondere schienen sich die Diskrepanzen auf die Indizes zur Messung von Narzissmus, gestörtem Denken und Unbehagen in engen Beziehungen zu konzentrieren. Lilienfeld und Kollegen, die dem Rorschach kritisch gegenüberstehen, erklärten, dies beweise, dass der Rorschach dazu neige, „Normale zu überpathologisieren“. Obwohl Rorschach-Befürworter wie Hibbard behaupten, dass die hohen Raten von Pathologie, die durch den Rorschach festgestellt werden, die zunehmende Psychopathologie in der Gesellschaft genau widerspiegeln, identifiziert der Rorschach auch die Hälfte aller Testteilnehmer als „verzerrtes Denken“, eine Falsch-Positiv-Rate, die durch die aktuelle Forschung nicht erklärt werden kann.
Der Vorwurf der „Über-Pathologisierung“ wurde auch von Meyer et al. (2007) berücksichtigt. Sie stellten eine internationale Gemeinschaftsstudie mit 4704 Rorschach-Protokollen vor, die in 21 verschiedenen Stichproben in 17 verschiedenen Ländern erhoben wurden. Nur 2 % zeigten signifikante Erhöhungen auf dem Index für Wahrnehmungs- und Denkstörungen, 12 % Erhöhungen auf den Indizes für Depression und Hypervigilanz und 13 % Erhöhungen auf anhaltende Stressüberlastung – alles im Einklang mit den erwarteten Häufigkeiten in nicht-patientenbezogenen Populationen.
Anwendungen
Der Test ist auch wegen seiner häufigen Verwendung in gerichtlich angeordneten Bewertungen umstritten. Diese Kontroverse rührt zum Teil von den Einschränkungen her, die der Rorschach ohne zusätzliche Daten bei der Erstellung offizieller Diagnosen aus dem Diagnostischen und Statistischen Handbuch Psychischer Störungen (DSM-IV) mit sich bringt.Irving B. Weiner (Mitentwickler des umfassenden Systems zusammen mit John Exner) hat erklärt, dass der Rorschach „ein Maß für das Funktionieren der Persönlichkeit ist und Informationen über Aspekte der Persönlichkeitsstruktur und -dynamik liefert, die Menschen zu der Art von Menschen machen, die sie sind. Manchmal sind solche Informationen über Persönlichkeitsmerkmale hilfreich, um zu einer Differenzialdiagnose zu gelangen, wenn die in Frage kommenden alternativen Diagnosen im Hinblick auf spezifische oder definierende Persönlichkeitsmerkmale gut konzeptualisiert wurden“.In der überwiegenden Mehrheit der Fälle wurde der Rorschach-Test ohnehin nicht einzeln, sondern als einer von mehreren in einer Testbatterie verwendet, und trotz der Kritik an der Verwendung des Rorschach-Tests vor Gericht wurde die Eignung des Instruments in nur sechs von 8 000 Fällen, in denen forensische Psychologen Rorschach-basierte Zeugenaussagen verwendeten, angefochten, und die Aussage wurde nur in einem dieser Fälle für unzulässig erklärt. Eine Studie hat ergeben, dass die Verwendung des Tests vor Gericht in den zehn Jahren zwischen 1996 und 2005 im Vergleich zu den vorangegangenen fünfzig Jahren um das Dreifache gestiegen ist. Andere haben jedoch festgestellt, dass seine Verwendung durch forensische Psychologen zurückgegangen ist.
Exner und andere haben behauptet, dass der Rorschach-Test in der Lage ist, Suizidalität zu erkennen.
Schutz von Testobjekten und Ethik
Psychologen lehnen die Veröffentlichung von psychologischem Testmaterial ab, weil sie befürchten, dass die Testantworten eines Patienten durch frühere Exposition beeinflusst („grundiert“) werden. Die Canadian Psychological Association vertritt den Standpunkt, dass „die Veröffentlichung der Fragen und Antworten eines psychologischen Tests dessen Nützlichkeit beeinträchtigt“ und fordert, „psychologische Tests aus der Öffentlichkeit herauszuhalten.“ In derselben Erklärung wird ihr Präsident mit den Worten zitiert: „Das Anliegen der CPA ist nicht die Veröffentlichung der Karten und Antworten des Rorschach-Tests an sich, die in der psychologischen Literatur umstritten ist und über die sich die Experten nicht einig sind, sondern die allgemeine Frage der Veröffentlichung und Verbreitung des Inhalts psychologischer Tests“.
Aus rechtlicher Sicht sind die Bilder des Rorschach-Tests in den meisten Ländern seit vielen Jahren gemeinfrei, insbesondere in den Ländern, in denen das Urheberrecht bis zu 70 Jahre post mortem auctoris gilt. In der Schweiz, dem Heimatland von Hermann Rorschach, sind sie seit 1992 gemeinfrei (70 Jahre nach dem Tod des Autors bzw. 50 Jahre nach dem Stichtag 1942), wie es das Schweizer Urheberrecht vorsieht. Sie sind auch nach dem US-amerikanischen Urheberrechtsgesetz gemeinfrei, da alle vor 1923 veröffentlichten Werke als gemeinfrei gelten. Dies bedeutet, dass die Rorschach-Bilder von jedermann für jeden Zweck verwendet werden können. William Poundstone war vielleicht der erste, der sie in seinem 1983 erschienenen Buch „Big Secrets“ veröffentlichte, in dem er auch die Methode zur Durchführung des Tests beschrieb.
Die American Psychological Association (APA) hat einen Ethikkodex, der die „Freiheit der Forschung und der Meinungsäußerung“ unterstützt und „der Öffentlichkeit hilft, sich ein fundiertes Urteil zu bilden“, und behauptet, dass zu ihren Zielen „das Wohlergehen und der Schutz von Einzelpersonen und Gruppen, mit denen Psychologen arbeiten“, gehören, und verlangt, dass Psychologen „angemessene Anstrengungen unternehmen, um die Integrität und Sicherheit von Testmaterialien zu wahren“. Die APA hat auch Bedenken geäußert, dass die Verbreitung von Testmaterialien der Allgemeinheit „sehr konkreten Schaden zufügen“ könnte. Sie hat sich nicht zur Veröffentlichung der Rorschach-Tafeln geäußert, stellt aber fest, dass „es eine begrenzte Anzahl standardisierter psychologischer Tests gibt, die für einen bestimmten Zweck als geeignet angesehen werden“. In einer öffentlichen Erklärung der British Psychological Society werden ähnliche Bedenken in Bezug auf psychologische Tests geäußert (ohne einen Test namentlich zu erwähnen), und sie betrachtet die „Freigabe von Materialien an unqualifizierte Personen“ als Missbrauch, wenn dies gegen den Willen des Testherausgebers geschieht. 1998 stellt Gerald Koocher in seinem Buch Ethics in Psychology fest, dass einige der Meinung sind, dass „der Nachdruck von Kopien der Rorschach-Tafeln … und die Auflistung allgemeiner Antworten eine ernsthafte unethische Handlung“ für Psychologen darstellt und auf ein „fragwürdiges berufliches Urteilsvermögen“ hinweist.Andere Berufsverbände, wie z. B. der italienische Verband für strategische Psychotherapie, empfehlen, dass sogar Informationen über den Zweck des Tests oder Einzelheiten seiner Durchführung von der Öffentlichkeit ferngehalten werden sollten, obwohl ein „Schummeln“ des Tests als praktisch unmöglich gilt.
Am 9. September 2008 versuchte Hogrefe, das Urheberrecht an den Rorschach-Tintenklecksen zu beanspruchen, als er bei der Weltorganisation für geistiges Eigentum eine Beschwerde gegen den brasilianischen Psychologen Ney Limonge einreichte. Diese Beschwerden wurden zurückgewiesen. Weitere Beschwerden wurden im Mai 2009 von der Schweizer Anwaltskanzlei Schluep und Degen an zwei andere Websites geschickt, die dem Rorschach-Test ähnliche Informationen enthielten.
Psychologen haben sich manchmal geweigert, Tests und Testdaten an Gerichte weiterzugeben, wenn sie von den Parteien unter Berufung auf ethische Gründe darum gebeten wurden; es wird argumentiert, dass solche Weigerungen das vollständige Verständnis des Prozesses durch die Anwälte behindern und das Kreuzverhör der Experten erschweren können. Die APA-Ethiknorm 1.23(b) besagt, dass der Psychologe dafür verantwortlich ist, Prozesse detailliert und in angemessener Qualität zu dokumentieren, um eine angemessene Überprüfung durch das Gericht zu ermöglichen.
In der psychologischen Gemeinschaft kam es 2009 zu einer Kontroverse, als die ursprünglichen Rorschach-Tafeln und Forschungsergebnisse zu den Interpretationen in dem Artikel „Rorschach-Test“ auf Wikipedia veröffentlicht wurden. Der Hogrefe & Huber Verlag, ein deutsches Unternehmen, das Ausgaben der Tafeln verkauft, nannte die Veröffentlichung „unglaublich rücksichtslos und sogar zynisch gegenüber Wikipedia“ und sagte, dass es die Möglichkeit rechtlicher Schritte prüfe. Aufgrund dieser Kontroverse wurde auf Wikipedia vorübergehend ein Bearbeitungsfilter eingerichtet, um die Entfernung der Tafeln zu verhindern.
James Heilman, ein in die Debatte involvierter Arzt der Notaufnahme, verglich die Veröffentlichung mit der Sehprobentafel: Obwohl es den Menschen ebenfalls freisteht, die Sehtafel vor einem Sehtest auswendig zu lernen, hat ihre allgemeine Nützlichkeit als Diagnoseinstrument für das Sehvermögen nicht abgenommen. Für die Gegner der Bloßstellung ist die Veröffentlichung der Tintenkleckse eine „besonders schmerzhafte Entwicklung“ angesichts der Zehntausenden von Forschungsarbeiten, die über viele Jahre hinweg „versucht haben, die Reaktionen eines Patienten mit bestimmten psychologischen Bedingungen in Verbindung zu bringen“. Die Kontroverse über die Veröffentlichung der Tintenkleckse bei Wikipedia hat dazu geführt, dass die Kleckse auch an anderen Stellen veröffentlicht wurden, z. B. in The Guardian und The Globe and Mail. Später im selben Jahr reichten zwei Psychologen bei der Ärztekammer von Saskatchewan eine Beschwerde gegen Heilman ein, weil sie der Meinung waren, dass das Hochladen der Bilder ein unprofessionelles Verhalten darstelle. Im Jahr 2012 wurden zwei Artikel veröffentlicht, die die Folgen der Veröffentlichung der Bilder in Wikipedia aufzeigten. Der erste untersuchte die negative Einstellung gegenüber dem Test, die während der Wikipedia-Rorschach-Debatte entstanden war, während der zweite nahelegte, dass das Lesen des Wikipedia-Artikels dazu beitragen könnte, „gute“ Ergebnisse im Test vorzutäuschen.
Die Veröffentlichung der Rorschach-Bilder wird auch von Kritikern begrüßt, die den Test als Pseudowissenschaft betrachten. Benjamin Radford, Herausgeber des Magazins Skeptical Inquirer, erklärte, dass der Rorschach-Test „eher aus Tradition als aufgrund guter Beweise in Gebrauch geblieben ist“ und hofft, dass die Veröffentlichung des Tests schließlich sein Ende beschleunigen könnte.