Alguns céticos consideram a pseudociência do teste de Rorschach inkblot, pois vários estudos sugeriram que as conclusões alcançadas pelos administradores do teste desde os anos 50 eram semelhantes à leitura a frio. Na edição de 1959 do Mental Measurement Yearbook, Lee Cronbach (ex-presidente da Psychometric Society e da American Psychological Association) é citado em uma revisão: “O teste tem falhado repetidamente como uma previsão de critérios práticos. Não há nada na literatura que encoraje a confiança nas interpretações de Rorschach”. Além disso, o revisor principal Raymond J. McCall escreve (p. 154): “Embora dezenas de milhares de testes de Rorschach tenham sido administrados por centenas de profissionais treinados desde aquele tempo (de uma revisão anterior), e embora muitas relações com dinâmicas e comportamentos de personalidade tenham sido hipotéticas, a grande maioria dessas relações nunca foi validada empiricamente, apesar do aparecimento de mais de 2.000 publicações sobre o teste”. Uma moratória sobre seu uso foi solicitada em 1999.
Um relatório de 2003 de Wood e colegas tinha visões mais mistas: “Mais de 50 anos de pesquisa confirmaram o veredicto final de Lee J. Cronbach (1970): que algumas pontuações de Rorschach, embora ficando muito aquém das afirmações feitas pelos proponentes, possuem “validade maior que o acaso” (p. 636). Seu valor como medida de transtorno do pensamento na pesquisa da esquizofrenia é bem aceito. Também é usado regularmente em pesquisas sobre dependência e, menos frequentemente, em estudos sobre hostilidade e ansiedade. Além disso, evidências substanciais justificam o uso do Rorschach como medida clínica de inteligência e transtorno do pensamento”
Materiais do teste
A premissa básica do teste é que o significado objetivo pode ser extraído de respostas a manchas de tinta que são supostamente sem sentido. Os apoiadores do teste Rorschach inkblot acreditam que a resposta do sujeito a um estímulo ambíguo e sem sentido pode fornecer uma visão dos seus processos de pensamento, mas não é claro como isso ocorre. Além disso, pesquisas recentes mostram que as manchas não são totalmente sem sentido, e que um paciente normalmente responde a aspectos significativos e ambíguos das manchas. Reber (1985) descreve os blots como meramente “… o veículo para a interação…” entre cliente e terapeuta, concluindo: “… a utilidade do Rorschach dependerá da sensibilidade, empatia e perspicácia do testador, totalmente independente do próprio Rorschach. Um diálogo intenso sobre o papel de parede ou o tapete também faria, desde que ambas as partes acreditassem”
Correlações ilusórias e invisíveis
Nos anos 60, pesquisas dos psicólogos Loren e Jean Chapman mostraram que pelo menos parte da aparente validade do Rorschach era devida a uma ilusão. Naquela época, os cinco sinais mais frequentemente interpretados como diagnóstico de homossexualidade eram 1) nádegas e ânus; 2) vestuário feminino; 3) órgãos sexuais masculinos ou femininos; 4) figuras humanas sem características masculinas ou femininas; e 5) figuras humanas com características masculinas e femininas. Os Chapmans pesquisaram 32 testadores experientes sobre seu uso do Rorschach para diagnosticar a homossexualidade. Nessa época a homossexualidade era considerada como uma psicopatologia, e o Rorschach era o teste projetivo mais popular. Os testadores relataram que os homens homossexuais tinham mostrado os cinco sinais com mais frequência do que os homens heterossexuais. Apesar destas crenças, a análise dos resultados mostrou que os homens heterossexuais tinham a mesma probabilidade de relatar estes sinais, que por isso eram totalmente ineficazes para determinar a homossexualidade. Os cinco sinais, no entanto, corresponderam às suposições dos estudantes sobre quais imagens estariam associadas à homossexualidade.
Os Chapmans investigaram a fonte da falsa confiança dos testadores. Em uma experiência, os estudantes leram uma pilha de cartas, cada uma com uma mancha de Rorschach, um sinal e um par de “condições” (que podem incluir homossexualidade). As informações nos cartões eram fictícias, embora os sujeitos tivessem sido informados de estudos de casos de pacientes reais. Os alunos relataram que os cinco sinais inválidos estavam associados à homossexualidade, embora os cartões tivessem sido construídos para que não houvesse associação alguma. Os Chapmans repetiram esta experiência com outro conjunto de cartões, em que a associação era negativa; os cinco sinais nunca foram relatados por homossexuais. Os estudantes ainda relataram ter visto uma forte correlação positiva. Estes experimentos mostraram que os preconceitos dos testadores poderiam resultar em “ver” relações inexistentes nos dados. Os Chapmans chamaram este fenómeno de “correlação ilusória” e desde então tem sido demonstrado em muitos outros contextos.
Um fenómeno relacionado chamado “correlação invisível” aplica-se quando as pessoas não conseguem ver uma forte associação entre dois eventos porque não corresponde às suas expectativas. Isto também foi encontrado nas interpretações dos clínicos sobre o Rorschach. Os homens homossexuais são mais propensos a ver um monstro no Cartão IV ou uma figura part-animal e part-humana no Cartão V. Quase todos os clínicos experientes na pesquisa de Chapmans perderam esses sinais válidos. Os Chapmans fizeram uma experiência com respostas falsas de Rorschach em que estes sinais válidos estavam sempre associados à homossexualidade. Os sujeitos perderam essas associações perfeitas e, em vez disso, relataram que sinais inválidos, como nádegas ou roupas femininas, eram melhores indicadores.
Em 1992, o psicólogo Stuart Sutherland argumentou que esses experimentos artificiais são mais fáceis do que o uso do Rorschach no mundo real e, portanto, provavelmente subestimaram os erros aos quais os testadores eram suscetíveis. Ele descreveu a popularidade contínua do Rorschach após a pesquisa de Chapmans como um “exemplo gritante de irracionalidade entre psicólogos”.
Projeção do testador
Alguns críticos argumentam que o psicólogo dos testes também deve se projetar sobre os padrões. Um possível exemplo às vezes atribuído ao julgamento subjetivo do psicólogo é que as respostas são codificadas (entre muitas outras coisas), para “Qualidade da Forma”: em essência, se a resposta do sujeito se encaixa com a aparência real da mancha. Superficialmente, isto pode ser considerado um julgamento subjetivo, dependendo de como o examinador interiorizou as categorias envolvidas. Mas com o sistema Exner de pontuação, grande parte da subjetividade é eliminada ou reduzida pelo uso de tabelas de freqüência que indicam a freqüência com que uma determinada resposta é dada pela população em geral. Outro exemplo é que a resposta “soutien” foi considerada uma resposta “sexual” pelos psicólogos masculinos, mas uma resposta “vestuário” pelas mulheres. No sistema de Exner, no entanto, tal resposta é sempre codificada como “vestuário”, a menos que haja uma referência sexual clara na resposta.
Terceiras partes poderiam ser usadas para evitar este problema, mas a confiabilidade entre os examinadores de Rorschach tem sido questionada. Isto é, em alguns estudos as notas obtidas por dois avaliadores independentes não correspondem com grande consistência. Esta conclusão foi contestada em estudos que utilizaram grandes amostras relatadas em 2002.
Validade
Quando interpretada como um teste projetivo, os resultados são pouco verificáveis. O sistema de pontuação Exner (também conhecido como “Sistema Abrangente”) destina-se a abordar esta questão, e tem praticamente deslocado muitos sistemas de pontuação anteriores (e menos consistentes). Ele faz pesado uso de qual fator (sombreamento, cor, contorno, etc.) da mancha de tinta leva a cada um dos comentários da pessoa testada. As discordâncias sobre a validade do teste permanecem: enquanto o Exner propôs um sistema rigoroso de pontuação, a latitude permaneceu na interpretação real, e a redação do registro do teste pelo médico ainda é parcialmente subjetiva.Reber (1985) comenta “… não há essencialmente nenhuma evidência de que o teste tenha sequer uma partícula de validade”.
Não obstante, há pesquisas substanciais indicando a utilidade da medida para algumas pontuações. Vários escores se correlacionam bem com a inteligência geral. Uma dessas escalas é R, o número total de respostas; isto revela o questionável efeito colateral de que pessoas mais inteligentes tendem a ser elevadas em muitas escalas patológicas, já que muitas escalas não corrigem para R alto: se um sujeito dá o dobro de respostas em geral, é mais provável que algumas delas pareçam “patológicas”. Também correlacionadas com a inteligência estão as escalas de Atividade Organizacional, Complexidade, Qualidade de Forma e respostas da Figura Humana. A mesma fonte informa que a validade também foi mostrada para detectar condições como esquizofrenia e outros transtornos psicóticos; transtornos do pensamento; e transtornos de personalidade (incluindo transtorno de personalidade limítrofe). Há algumas evidências de que a escala de Verbalizações Deviant está relacionada com o transtorno bipolar. Os autores concluem que “Caso contrário, o Sistema Integral não parece ter uma relação consistente com distúrbios ou sintomas psicológicos, características de personalidade, potencial para violência, ou problemas de saúde como o câncer”. (O câncer é mencionado porque uma pequena minoria de entusiastas de Rorschach afirmou que o teste pode prever o câncer.)
Reliabilidade
Pensa-se também que a confiabilidade do teste pode depender substancialmente dos detalhes do procedimento do teste, tais como onde o testador e o sujeito estão sentados, quaisquer palavras introdutórias, respostas verbais e não verbais às perguntas ou comentários dos sujeitos, e como as respostas são registradas. Exner publicou instruções detalhadas, mas Wood et al. citam muitos processos judiciais onde estes não foram seguidos. Da mesma forma, os procedimentos de codificação das respostas são bastante bem especificados, mas extremamente demorados, deixando-os muito sujeitos ao estilo do autor e da editora à qualidade das instruções (como foi observado com um dos livros de Bohm nos anos 50), bem como os trabalhadores clínicos (o que incluiria examinadores) sendo encorajados a cortar os cantos.
Os tribunais dos Estados Unidos também desafiaram o Rorschach. Jones v Apfel (1997) afirmou (citando o Manual de Medicina do Advogado) que Rorschach “os resultados não atendem aos requisitos de padronização, confiabilidade ou validade dos testes diagnósticos clínicos, e a interpretação, portanto, é freqüentemente controversa”. No estado ex rel H.H. (1999) onde sob interrogatório o Dr. Bogacki declarou sob juramento “muitos psicólogos não acreditam muito na validade ou eficácia do teste de Rorschach” e US v Battle (2001) determinou que o Rorschach “não tem um sistema de pontuação objetivo”
População normas
Outro aspecto controverso do teste são as suas normas estatísticas. O sistema do Exner foi considerado como possuindo notas normativas para várias populações. Mas, a partir de meados da década de 90, outros começaram a tentar replicar ou atualizar essas normas e falharam. Em particular, as discrepâncias pareciam centrar-se em índices que medem o narcisismo, o pensamento desordenado e o desconforto em relações próximas. Lilienfeld e colegas, que criticam o Rorschach, afirmaram que isso prova que o Rorschach tende a “superpatologizar as normas”. Embora os proponentes de Rorschach, como Hibbard, sugiram que altas taxas de patologia detectadas por Rorschach refletem exatamente o aumento da psicopatologia na sociedade, Rorschach também identifica metade de todos os testadores como possuidores de “pensamento distorcido”, uma taxa falsa positiva não explicada pela pesquisa atual.
A acusação de “sobrepatologização” também foi considerada por Meyer et al. (2007). Eles apresentaram um estudo colaborativo internacional de 4704 protocolos de Rorschach, obtidos em 21 amostras diferentes, em 17 países diferentes, com apenas 2% mostrando elevações significativas no índice de distúrbio de percepção e pensamento, 12% elevado nos índices de depressão e hiper-vigilância e 13% elevado na sobrecarga de estresse persistente – tudo em linha com as frequências esperadas entre populações não-pacientes.
Aplicações
O teste também é controverso devido ao seu uso comum em avaliações ordenadas por tribunais. Esta controvérsia decorre, em parte, das limitações do Rorschach, sem dados adicionais, em fazer diagnósticos oficiais do Manual de Diagnóstico e Estatística dos Transtornos Mentais (DSM-IV).Irving B. Weiner (co-desenvolvedor com John Exner do sistema Comprehensive) afirmou que o Rorschach “é uma medida de funcionamento da personalidade, e fornece informações sobre aspectos da estrutura e dinâmica da personalidade que fazem das pessoas o tipo de pessoas que elas são”. Às vezes, tais informações sobre características da personalidade são úteis para se chegar a um diagnóstico diferencial, se os diagnósticos alternativos que estão sendo considerados foram bem conceituados no que diz respeito a características específicas ou definidoras da personalidade”.Na grande maioria dos casos, de qualquer forma, o teste de Rorschach não foi destacado, mas utilizado como um dos vários em uma bateria de testes, e apesar das críticas ao uso do Rorschach nos tribunais, dos 8.000 casos em que psicólogos forenses utilizaram o testemunho baseado em Rorschach, a adequação do instrumento foi questionada apenas seis vezes, e o testemunho foi considerado inadmissível em apenas um desses casos. Um estudo descobriu que o uso do teste nos tribunais aumentou três vezes na década entre 1996 e 2005, em comparação com os cinquenta anos anteriores. Outros, entretanto, descobriram que seu uso por psicólogos forenses diminuiu.
Exner e outros afirmaram que o teste de Rorschach é capaz de detectar suicídio.
Proteção dos itens do teste e ética
Psychologists objectam à publicação do material do teste psicológico por preocupação de que as respostas do paciente ao teste serão influenciadas (“primed”) pela exposição prévia. A Associação Psicológica Canadense toma a posição de que, “Publicar as perguntas e respostas a qualquer teste psicológico compromete a sua utilidade” e apela para “manter os testes psicológicos fora do domínio público”. A mesma declaração cita seu presidente como dizendo: “A preocupação do CPA não é com a publicação das cartas e respostas ao teste de Rorschach per se, para o qual há alguma controvérsia na literatura psicológica e desacordo entre especialistas, mas com a questão maior da publicação e disseminação do conteúdo do teste psicológico”.
Do ponto de vista legal, as imagens do teste de Rorschach são de domínio público há muitos anos na maioria dos países, particularmente aqueles com um prazo de direitos autorais de até 70 anos pós-morte auctoris. Eles são de domínio público na Suíça natal de Hermann Rorschach desde 1992 (70 anos após a morte do autor, ou 50 anos após a data limite de 1942), de acordo com a lei suíça de direitos autorais. Eles também são de domínio público segundo a lei de direitos autorais dos Estados Unidos, onde todas as obras publicadas antes de 1923 são consideradas de domínio público. Isto significa que as imagens de Rorschach podem ser usadas por qualquer pessoa para qualquer propósito. William Poundstone foi, talvez, o primeiro a torná-las públicas em seu livro Big Secrets de 1983, onde também descreveu o método de administração do teste.
A Associação Psicológica Americana (APA) tem um código de ética que apóia “a liberdade de investigação e expressão” e ajuda “o público a desenvolver julgamentos informados”. A APA também levantou preocupações de que a disseminação de materiais de teste possa impor “danos muito concretos ao público em geral”. Não tomou posição sobre a publicação das placas de Rorschach, mas observou que “há um número limitado de testes psicológicos padronizados considerados apropriados para um determinado propósito”. Uma declaração pública da Sociedade Britânica de Psicologia expressa preocupações similares sobre testes psicológicos (sem mencionar nenhum teste pelo nome) e considera a “liberação de materiais para indivíduos não qualificados” como sendo de mau uso se for contra a vontade do editor do teste.Em seu livro Ethics in Psychology 1998, Gerald Koocher observa que alguns acreditam que “reimprimir cópias das placas de Rorschach … e listar respostas comuns representa um ato antiético sério” para psicólogos e é indicativo de “julgamento profissional questionável”.Outras associações profissionais, como a Associação Italiana de Psicoterapia Estratégica, recomendam que mesmo informações sobre a finalidade do teste ou qualquer detalhe de sua administração sejam mantidas longe do público, mesmo que “trapacear” o teste seja considerado praticamente impossível.
Em 9 de setembro de 2008, Hogrefe tentou reivindicar os direitos autorais sobre as manchas de tinta de Rorschach durante a apresentação de uma reclamação à Organização Mundial da Propriedade Intelectual contra o psicólogo brasileiro Ney Limonge. Essas reclamações foram negadas. Outras reclamações foram enviadas a dois outros websites que continham informações similares ao teste de Rorschach em maio de 2009 pelo escritório jurídico Schluep e Degen da Suíça.
Os psicólogos às vezes se recusaram a revelar testes e dados de testes aos tribunais quando solicitados a fazê-lo pelas partes citando razões éticas; argumenta-se que tais recusas podem dificultar a compreensão total do processo pelos advogados e impedir o contra-interrogatório dos especialistas. O padrão ético da APA 1.23(b) afirma que o psicólogo tem a responsabilidade de documentar processos em detalhes e de qualidade adequada para permitir um escrutínio razoável pelo tribunal.
Controvérsia ocorreu na comunidade psicológica em 2009, quando as placas originais de Rorschach e os resultados da pesquisa sobre interpretações foram publicados no artigo “Teste de Rorschach” na Wikipedia. Hogrefe & Huber Publishing, uma empresa alemã que vende edições das placas, chamou a publicação de “inacreditavelmente imprudente e até cínica da Wikipédia” e disse que estava investigando a possibilidade de uma ação legal. Devido a essa controvérsia foi estabelecido temporariamente um filtro de edição na Wikipédia para evitar a remoção das placas.
James Heilman, um médico de emergência envolvido no debate, comparou-o à publicação do gráfico de teste ocular: embora as pessoas também sejam livres para memorizar o gráfico ocular antes de um teste ocular, sua utilidade geral como ferramenta de diagnóstico da visão não diminuiu. Para aqueles que se opõem à exposição, a publicação das manchas de tinta é descrita como um “desenvolvimento particularmente doloroso”, dadas as dezenas de milhares de trabalhos de pesquisa que, durante muitos anos, “tentaram ligar as respostas de um paciente a certas condições psicológicas”. A controvérsia sobre a publicação das manchas de tinta na Wikipédia resultou na publicação das manchas em outros locais, como The Guardian e The Globe and Mail. Mais tarde naquele ano, dois psicólogos apresentaram uma queixa contra Heilman no conselho de licenciamento médico da Saskatchewan, argumentando que o seu carregamento das imagens constituía um comportamento não profissional. Em 2012 foram publicados dois artigos mostrando as conseqüências da publicação das imagens na Wikipédia. O primeiro estudou atitudes negativas em relação ao teste gerado durante o debate Wikipedia-Rorschach, enquanto o segundo sugeriu que a leitura do artigo da Wikipédia poderia ajudar a falsificar “bons” resultados no teste.
Publicação das imagens de Rorschach também é bem recebida por críticos que consideram o teste como pseudociência. Benjamin Radford, editor da revista Skeptical Inquirer, afirmou que o Rorschach “tem permanecido em uso mais fora da tradição do que boas provas” e esperava que a publicação do teste pudesse finalmente apressar o seu desaparecimento.