Algunos escépticos consideran que el test de la mancha de tinta de Rorschach es una pseudociencia, ya que varios estudios sugieren que las conclusiones a las que llegaron los administradores del test desde la década de 1950 eran similares a la lectura en frío. En la edición de 1959 del Mental Measurement Yearbook, se cita a Lee Cronbach (antiguo presidente de la Psychometric Society y de la American Psychological Association) en una reseña: «El test ha fracasado repetidamente como predicción de criterios prácticos. No hay nada en la literatura que anime a confiar en las interpretaciones de Rorschach». Además, el importante revisor Raymond J. McCall escribe (p. 154): «Aunque decenas de miles de tests de Rorschach han sido administrados por cientos de profesionales entrenados desde aquella época (de una revisión anterior), y aunque se han hipotetizado muchas relaciones con la dinámica de la personalidad y el comportamiento, la gran mayoría de estas relaciones nunca han sido validadas empíricamente, a pesar de la aparición de más de 2.000 publicaciones sobre el test.» En 1999 se pidió una moratoria sobre su uso.
Un informe de 2003 de Wood y sus colegas tenía opiniones más encontradas: «Más de 50 años de investigación han confirmado el veredicto final de Lee J. Cronbach (1970): que algunas puntuaciones de Rorschach, aunque están lamentablemente por debajo de las afirmaciones de sus defensores, poseen sin embargo «una validez superior al azar» (p. 636). Su valor como medida del trastorno del pensamiento en la investigación de la esquizofrenia está bien aceptado. También se utiliza regularmente en la investigación sobre la dependencia y, con menos frecuencia, en los estudios sobre la hostilidad y la ansiedad. Además, hay pruebas sustanciales que justifican el uso del Rorschach como medida clínica de la inteligencia y del trastorno del pensamiento»
Materiales del test
La premisa básica del test es que se puede extraer un significado objetivo de las respuestas a las manchas de tinta que supuestamente carecen de significado. Los partidarios del test de la mancha de tinta de Rorschach creen que la respuesta del sujeto a un estímulo ambiguo y sin sentido puede proporcionar información sobre sus procesos de pensamiento, pero no está claro cómo ocurre esto. Además, investigaciones recientes demuestran que las manchas no carecen totalmente de sentido y que el paciente suele responder tanto a los aspectos significativos como a los ambiguos de las manchas. Reber (1985) describe las manchas como un mero «.. vehículo para la interacción..» entre el cliente y el terapeuta, concluyendo: «.. la utilidad del Rorschach dependerá de la sensibilidad, la empatía y la perspicacia del terapeuta con total independencia del propio Rorschach. Un diálogo intenso sobre el papel pintado o la alfombra serviría igualmente, siempre que ambas partes creyeran».
Correlaciones ilusorias e invisibles
En la década de 1960, las investigaciones de los psicólogos Loren y Jean Chapman demostraron que al menos parte de la aparente validez del Rorschach se debía a una ilusión. En aquella época, los cinco signos más interpretados como diagnóstico de homosexualidad eran: 1) nalgas y anos; 2) ropa femenina; 3) órganos sexuales masculinos o femeninos; 4) figuras humanas sin rasgos masculinos o femeninos; y 5) figuras humanas con rasgos masculinos y femeninos. Los Chapman encuestaron a 32 probadores experimentados sobre su uso del Rorschach para diagnosticar la homosexualidad. En esta época la homosexualidad se consideraba una psicopatología, y el Rorschach era el test proyectivo más popular. Los examinadores informaron de que los hombres homosexuales mostraban los cinco signos con más frecuencia que los heterosexuales. A pesar de estas creencias, el análisis de los resultados mostró que los hombres heterosexuales tenían la misma probabilidad de informar sobre estos signos, que por lo tanto eran totalmente ineficaces para determinar la homosexualidad. Sin embargo, los cinco signos coincidían con las conjeturas que hacían los estudiantes sobre las imágenes que se asociarían con la homosexualidad.
Los Chapman investigaron el origen de la falsa confianza de los examinadores. En un experimento, los estudiantes leyeron una pila de tarjetas, cada una con una mancha de Rorschach, un signo y un par de «condiciones» (que podían incluir la homosexualidad). La información de las tarjetas era ficticia, aunque se dijo a los sujetos que procedía de estudios de casos de pacientes reales. Los estudiantes informaron de que los cinco signos inválidos se asociaban con la homosexualidad, aunque las tarjetas se habían construido de forma que no había ninguna asociación. Los Chapman repitieron este experimento con otro conjunto de tarjetas, en el que la asociación era negativa; los cinco signos nunca fueron reportados por los homosexuales. Los estudiantes seguían diciendo que veían una fuerte correlación positiva. Estos experimentos demostraron que los prejuicios de los evaluadores podían hacer que «vieran» relaciones inexistentes en los datos. Los Chapman llamaron a este fenómeno «correlación ilusoria» y desde entonces se ha demostrado en muchos otros contextos.
Un fenómeno relacionado llamado «correlación invisible» se aplica cuando las personas no ven una fuerte asociación entre dos eventos porque no coincide con sus expectativas. Esto también se encontró en las interpretaciones de los clínicos del Rorschach. Los hombres homosexuales son más propensos a ver un monstruo en la tarjeta IV o una figura en parte animal y en parte humana en la tarjeta V. Casi todos los clínicos experimentados en la encuesta de Chapmans no vieron estos signos válidos. Los Chapman realizaron un experimento con respuestas falsas de Rorschach en las que estos signos válidos se asociaban siempre con la homosexualidad. Los sujetos pasaron por alto estas asociaciones perfectas y, en cambio, informaron de que los signos no válidos, como las nalgas o la ropa femenina, eran mejores indicadores.
En 1992, el psicólogo Stuart Sutherland argumentó que estos experimentos artificiales son más fáciles que el uso del Rorschach en el mundo real y, por tanto, probablemente subestimaron los errores a los que eran susceptibles los examinadores. Describió la continua popularidad del Rorschach después de la investigación de los Chapman como un «ejemplo flagrante de irracionalidad entre los psicólogos».
Proyección de los probadores
Algunos críticos argumentan que el psicólogo que realiza las pruebas también debe proyectarse en los patrones. Un posible ejemplo que a veces se atribuye al juicio subjetivo del psicólogo es que las respuestas se codifican (entre otras muchas cosas), por la «Calidad de la forma»: en esencia, si la respuesta del sujeto encaja con el aspecto real de la mancha. Superficialmente, esto podría considerarse un juicio subjetivo, dependiendo de cómo el examinador haya interiorizado las categorías implicadas. Pero con el sistema de puntuación de Exner, gran parte de la subjetividad se elimina o se reduce mediante el uso de tablas de frecuencia que indican la frecuencia con la que la población en general da una respuesta concreta. Otro ejemplo es que la respuesta «sujetador» era considerada una respuesta «sexual» por los psicólogos masculinos, pero una respuesta «ropa» por las mujeres.En el sistema de Exner, sin embargo, dicha respuesta siempre se codifica como «ropa» a menos que haya una clara referencia sexual en la respuesta.
Podrían utilizarse terceras personas para evitar este problema, pero la fiabilidad entre evaluadores del Rorschach ha sido cuestionada. Es decir, en algunos estudios las puntuaciones obtenidas por dos calificadores independientes no coinciden con gran consistencia.Esta conclusión fue cuestionada en estudios que utilizaron grandes muestras reportados en 2002.
Validez
Cuando se interpreta como una prueba proyectiva, los resultados son poco verificables. El sistema de puntuación de Exner (también conocido como «Sistema Integral») pretende solucionar este problema, y prácticamente ha desplazado a muchos sistemas de puntuación anteriores (y menos consistentes). Utiliza en gran medida qué factor (sombreado, color, contorno, etc.) de la mancha de tinta conduce a cada uno de los comentarios de la persona examinada. Siguen existiendo desacuerdos sobre la validez de la prueba: mientras que el Exner propuso un sistema de puntuación riguroso, la latitud se mantuvo en la interpretación real, y la redacción del registro de la prueba por parte del clínico sigue siendo en parte subjetiva.Reber (1985) comenta «… no hay esencialmente ninguna evidencia de que la prueba tenga siquiera una pizca de validez».
Sin embargo, hay una investigación sustancial que indica la utilidad de la medida para unas pocas puntuaciones. Varias puntuaciones se correlacionan bien con la inteligencia general. Una de ellas es la R, el número total de respuestas; esto revela el cuestionable efecto secundario de que las personas más inteligentes tienden a ser elevadas en muchas escalas de patología, ya que muchas escalas no corrigen la R alta: si un sujeto da el doble de respuestas en general, es más probable que algunas de ellas parezcan «patológicas». También se correlacionan con la inteligencia las escalas de Actividad Organizativa, Complejidad, Calidad de la Forma y Respuestas de la Figura Humana.La misma fuente informa de que también se ha demostrado su validez para detectar afecciones como la esquizofrenia y otros trastornos psicóticos; trastornos del pensamiento y trastornos de la personalidad (incluido el trastorno límite de la personalidad). Hay algunas pruebas de que la escala de Verbalizaciones Desviadas se relaciona con el trastorno bipolar. Los autores concluyen que «por lo demás, el Sistema Comprehensivo no parece tener una relación consistente con los trastornos o síntomas psicológicos, las características de la personalidad, el potencial de violencia o problemas de salud como el cáncer». (Se menciona el cáncer porque una pequeña minoría de entusiastas del Rorschach ha afirmado que el test puede predecir el cáncer.)
Fiabilidad
También se cree que la fiabilidad del test puede depender sustancialmente de los detalles del procedimiento de la prueba, como el lugar en el que se sientan el examinador y el sujeto, las palabras introductorias, las respuestas verbales y no verbales a las preguntas o comentarios de los sujetos y la forma de registrar las respuestas. Exner ha publicado instrucciones detalladas, pero Wood et al. cita muchos casos judiciales en los que no se han seguido. Del mismo modo, los procedimientos de codificación de las respuestas están bastante bien especificados, pero consumen mucho tiempo, por lo que están muy sujetos al estilo del autor y del editor en cuanto a la calidad de las instrucciones (como se observó con uno de los libros de texto de Bohm en la década de 1950), así como a que los trabajadores de la clínica (lo que incluiría a los examinadores) se vean alentados a tomar atajos.
Los tribunales de Estados Unidos también han cuestionado el Rorschach. Jones v Apfel (1997) declaró (citando el libro de texto de medicina de Attorney) que los «resultados del Rorschach no cumplen los requisitos de estandarización, fiabilidad o validez de las pruebas de diagnóstico clínico, por lo que su interpretación suele ser controvertida». En State ex rel H.H. (1999) donde bajo interrogatorio el Dr. Bogacki declaró bajo juramento «muchos psicólogos no creen mucho en la validez o eficacia del test de Rorschach» y US v Battle (2001) dictaminó que el Rorschach «no tiene un sistema de puntuación objetivo».»
Normas de población
Otro aspecto controvertido de la prueba son sus normas estadísticas. Se pensaba que el sistema de Exner poseía puntuaciones normativas para varias poblaciones. Pero, a partir de mediados de la década de 1990, otros empezaron a intentar replicar o actualizar estas normas y fracasaron. En particular, las discrepancias parecían centrarse en los índices que medían el narcisismo, el pensamiento desordenado y el malestar en las relaciones cercanas. Lilienfeld y sus colegas, que son críticos con el Rorschach, han afirmado que esto demuestra que el Rorschach tiende a «sobrepatologizar a los normales». Aunque los defensores del Rorschach, como Hibbard, sugieren que las altas tasas de patología detectadas por el Rorschach reflejan con precisión el aumento de la psicopatología en la sociedad, el Rorschach también identifica a la mitad de las personas que realizan el test como poseedoras de un «pensamiento distorsionado», una tasa de falsos positivos no explicada por la investigación actual.
La acusación de «sobrepatologización» también ha sido considerada por Meyer et al. (2007). Presentaron un estudio colaborativo internacional de 4704 protocolos de Rorschach, obtenidos en 21 muestras diferentes, a lo largo de 17 países distintos, con sólo un 2% que mostraba elevaciones significativas en el índice de trastorno perceptivo y del pensamiento, un 12% elevado en los índices de depresión e hipervigilancia y un 13% elevado en la sobrecarga de estrés persistente, todo ello en consonancia con las frecuencias esperadas entre las poblaciones que no son pacientes.
Aplicaciones
La prueba también es controvertida debido a su uso común en las evaluaciones ordenadas por los tribunales. Esta controversia proviene, en parte, de las limitaciones del Rorschach, sin datos adicionales, a la hora de realizar diagnósticos oficiales del Manual Diagnóstico y Estadístico de los Trastornos Mentales (DSM-IV).Irving B. Weiner (codesarrollador con John Exner del sistema Comprehensive) ha declarado que el Rorschach «es una medida del funcionamiento de la personalidad, y proporciona información relativa a los aspectos de la estructura y la dinámica de la personalidad que hacen que las personas sean el tipo de personas que son. A veces esta información sobre las características de la personalidad es útil para llegar a un diagnóstico diferencial, si los diagnósticos alternativos que se están considerando han sido bien conceptualizados con respecto a las características específicas o definitorias de la personalidad».De todos modos, en la gran mayoría de los casos, el test de Rorschach no fue señalado, sino que se utilizó como uno de los varios de una batería de pruebas, y a pesar de las críticas al uso del Rorschach en los tribunales, de los 8.000 casos en los que los psicólogos forenses utilizaron el testimonio basado en el Rorschach, la idoneidad del instrumento sólo fue cuestionada en seis ocasiones, y el testimonio fue declarado inadmisible en sólo uno de esos casos. Un estudio ha descubierto que el uso de la prueba en los tribunales se ha triplicado en la década comprendida entre 1996 y 2005, en comparación con los cincuenta años anteriores. Sin embargo, otros han descubierto que su uso por parte de los psicólogos forenses ha disminuido.
Exner y otros han afirmado que el test de Rorschach es capaz de detectar la suicidalidad.
Protección de los elementos del test y ética
Los psicólogos se oponen a la publicación del material de los test psicológicos por la preocupación de que las respuestas de un paciente al test se vean influidas («cebadas») por una exposición previa. La Asociación Canadiense de Psicología adopta la postura de que «la publicación de las preguntas y respuestas de cualquier prueba psicológica compromete su utilidad» y pide «mantener las pruebas psicológicas fuera del dominio público.» En la misma declaración se cita a su presidente diciendo: «La preocupación de la CPA no es la publicación de las tarjetas y las respuestas del test de Rorschach en sí, para lo cual existe cierta controversia en la literatura psicológica y desacuerdo entre los expertos, sino la cuestión más amplia de la publicación y la difusión del contenido de los tests psicológicos».
Desde un punto de vista legal, las imágenes del test de Rorschach son de dominio público desde hace muchos años en la mayoría de los países, en particular los que tienen un plazo de copyright de hasta 70 años post mortem auctoris. Son de dominio público en la Suiza natal de Hermann Rorschach desde 1992 (70 años después de la muerte del autor, o 50 años después de la fecha límite de 1942), según la ley suiza de derechos de autor. También son de dominio público según la ley de derechos de autor de Estados Unidos, donde todas las obras publicadas antes de 1923 se consideran de dominio público. Esto significa que las imágenes de Rorschach pueden ser utilizadas por cualquiera para cualquier propósito. William Poundstone fue, quizás, el primero en hacerlas públicas en su libro de 1983 Big Secrets, donde también describía el método de administración del test.
La Asociación Americana de Psicología (APA) tiene un código ético que apoya «la libertad de indagación y expresión» y la ayuda «al público en el desarrollo de juicios informados».Afirma que sus objetivos incluyen «el bienestar y la protección de los individuos y grupos con los que trabajan los psicólogos», y exige que los psicólogos «hagan esfuerzos razonables para mantener la integridad y la seguridad de los materiales del test». La APA también ha expresado su preocupación por el hecho de que la difusión de los materiales de los tests pueda suponer «un daño muy concreto para el público en general». No se ha pronunciado sobre la publicación de las láminas de Rorschach, pero ha señalado que «hay un número limitado de pruebas psicológicas estandarizadas que se consideran adecuadas para un fin determinado». Una declaración pública de la Sociedad Británica de Psicología expresa una preocupación similar sobre los tests psicológicos (sin mencionar ningún test por su nombre) y considera que la «divulgación de materiales a personas no cualificadas» es un uso indebido si va en contra de los deseos del editor del test.En su libro de 1998 Ethics in Psychology, Gerald Koocher señala que algunos creen que «la reimpresión de copias de las láminas de Rorschach… y la elaboración de una lista de respuestas comunes representa un acto poco ético grave» para los psicólogos y es indicativo de un «juicio profesional cuestionable».Otras asociaciones profesionales, como la Asociación Italiana de Psicoterapia Estratégica, recomiendan que incluso la información sobre el propósito del test o cualquier detalle de su administración se mantenga alejada del público, a pesar de que «engañar» el test se considera prácticamente imposible.
El 9 de septiembre de 2008, Hogrefe intentó reclamar derechos de autor sobre las manchas de tinta de Rorschach durante la presentación de una denuncia ante la Organización Mundial de la Propiedad Intelectual contra el psicólogo brasileño Ney Limonge. Estas denuncias fueron denegadas. En mayo de 2009, el bufete de abogados Schluep y Degen, de Suiza, envió otras quejas a otros dos sitios web que contenían información similar a la del test de Rorschach.
Los psicólogos se han negado en ocasiones a revelar las pruebas y los datos de las mismas a los tribunales cuando se lo han pedido las partes alegando razones éticas; se argumenta que tales negativas pueden dificultar la plena comprensión del proceso por parte de los abogados e impedir el contrainterrogatorio de los expertos. La norma ética 1.23(b) de la APA establece que el psicólogo tiene la responsabilidad de documentar los procesos en detalle y con la calidad adecuada para permitir un escrutinio razonable por parte del tribunal.
La controversia se desató en la comunidad psicológica en 2009 cuando se publicaron las láminas originales de Rorschach y los resultados de la investigación sobre las interpretaciones en el artículo «Rorschach test» en Wikipedia. Hogrefe &Huber Publishing, una empresa alemana que vende ediciones de las láminas, calificó la publicación de «increíblemente imprudente e incluso cínica de Wikipedia» y dijo que estaba investigando la posibilidad de emprender acciones legales. Debido a esta controversia, se estableció temporalmente un filtro de edición en Wikipedia para impedir la retirada de las láminas.
James Heilman, un médico de urgencias implicado en el debate, lo comparó con la publicación de la tabla de la prueba ocular: aunque la gente es igualmente libre de memorizar la tabla ocular antes de una prueba ocular, su utilidad general como herramienta de diagnóstico de la vista no ha disminuido. Para los que se oponen a la exposición, la publicación de las manchas de tinta se describe como un «hecho especialmente doloroso», dadas las decenas de miles de trabajos de investigación que, a lo largo de muchos años, «han intentado relacionar las respuestas de un paciente con determinadas condiciones psicológicas». La controversia sobre la publicación de las manchas de tinta en Wikipedia hizo que las manchas se publicaran en otros lugares, como The Guardian y The Globe and Mail. Ese mismo año, dos psicólogos presentaron una queja contra Heilman ante la junta de licencias médicas de Saskatchewan, argumentando que su subida de las imágenes constituía un comportamiento poco profesional. En 2012 se publicaron dos artículos que mostraban las consecuencias de la publicación de las imágenes en Wikipedia. El primero estudiaba las actitudes negativas hacia el test generadas durante el debate Wikipedia-Rorschach, mientras que el segundo sugería que la lectura del artículo de Wikipedia podía ayudar a falsear los «buenos» resultados en el test.
La publicación de las imágenes de Rorschach también es bienvenida por los críticos que consideran que el test es una pseudociencia. Benjamin Radford, editor de la revista Skeptical Inquirer, declaró que el Rorschach «se ha mantenido en uso más por tradición que por buenas pruebas» y se mostró esperanzado de que la publicación del test pudiera finalmente acelerar su desaparición.