懐疑論者の中には、1950年代以降にテスト実施者が出した結論がコールドリーディングに近いと示唆する研究がいくつかあったため、ロールシャッハ・インクブロット・テストを疑似科学とみなす人もいる。 1959年版の『精神測定年鑑』では、リー・クロンバッハ（元心理測定学会・アメリカ心理学会会長）の評が引用されている。 “このテストは、実用的な基準の予測として繰り返し失敗してきた。 ロールシャッハの解釈を信頼することを促す文献は何もない。” さらに、主要な査読者であるレイモンド・J・マッコールは、次のように書いている（p.154）。 “（以前のレビューの）その時以来、何万ものロールシャッハテストが何百人もの訓練を受けた専門家によって実施され、人格力学や行動との多くの関係が仮説されてきたが、このテストに関する2000以上の出版物が登場したにもかかわらず、これらの関係の大部分は経験的に検証されたことがない “と述べています。 1999年にその使用のモラトリアムが呼びかけられた。
ウッドと同僚による2003年の報告書は、より複雑な見解を持っていた。 50年以上の研究により、Lee J. Cronbach (1970)の最終的な評決が確認された：いくつかのロールシャッハ得点は、支持者によってなされた主張にはひどく及ばないものの、それでも「偶然よりも大きな妥当性」（p. 636）を持っているということである。 精神分裂病の研究において、思考障害の尺度としてのロールシャッハの価値は十分に認められている。 また、依存症の研究でも定期的に使用されているし、敵意や不安の研究でもあまり使用されていない。 さらに、知能や思考障害の臨床的尺度としてロールシャッハを使用することを正当化する十分な証拠がある」
テスト資料
テストの大前提は、本来意味のないインクのにじみに対する反応から、客観的意味を抽出することができる、ということである。 ロールシャッハテストを支持する人々は、あいまいで無意味な刺激に対する被験者の反応から、被験者の思考過程を知ることができると考えていますが、これがどのように起こるのかは明らかではありません。 また、最近の研究では、ブロットはまったく無意味なものではなく、患者は通常、ブロットの曖昧な側面だけでなく意味のある側面にも反応することが示されている。 Reber（1985）は、ブロットをクライアントとセラピストの間の「…相互作用のための手段」に過ぎないとし、次のように結論づけている。 「ロールシャッハの有用性は、ロールシャッハ自体とは全く関係なく、テスト者の感受性、共感、洞察力に依存する。 8779>
錯覚と見えない相関
1960年代、心理学者のローレンとジーン・チャップマンの研究により、ロールシャッハの見かけの妥当性の少なくとも一部は錯覚によるものであることが示されました。 当時、同性愛の診断として最もよく解釈されていたのは、1）お尻と肛門、2）女性らしい服装、3）男性または女性の性器、4）男性または女性の特徴を持たない人物像、5）男性と女性の両方の特徴を持つ人物像の5つであった。 Chapmansは、32人の経験豊富なテスト担当者に、ロールシャッハを使って同性愛を診断することについて調査を行った。 当時、同性愛は精神病理学とみなされており、ロールシャッハは最も人気のある投影法テストであった。 検査者たちは、異性愛者よりも同性愛者の方が5つの徴候をより頻繁に示すと報告した。 しかし、このような考えにもかかわらず、結果を分析すると、異性愛者の男性も同じようにこれらの兆候を報告する傾向があり、したがって、これらの兆候は同性愛の判定には全く有効でないことがわかった。 しかし、この5つの兆候は、同性愛と関連するイメージについて学生が行った推測と一致した。
Chapmansは、受験者の誤った自信の原因を調べた。 ある実験では、学生はカードの束に目を通し、それぞれロールシャッハ・ブロット、標識、「条件」（同性愛を含むかもしれない）の組が書かれていた。 カードに書かれた情報は架空のものであったが、被験者は実際の患者のケーススタディから得たものであることを告げられた。 その結果、カードには全く関連性がないにもかかわらず、5つの無効な兆候が同性愛に関連すると報告された。 チャップマン夫妻はこの実験を別のカードで繰り返したが、そのカードでは関連性は否定的であり、5つのサインは同性愛者によって報告されることはなかった。 それでも学生たちは、強い正の相関を見たことを報告した。 これらの実験から、受験者の偏見によって、データに存在しない関係を「見てしまう」可能性があることがわかった。 この現象をChapmansは “illusory correlation “と呼び、それ以来多くの他の文脈で実証されている。
関連した現象として、2つの事象の間に強い関連があっても、それが自分の予想と一致しないために見えないという “invisible correlation “というものがある。 これは、臨床医のロールシャッハの解釈にも見られる。 同性愛者の男性は、カードIVに怪物を、カードVに動物や人間の姿を見る傾向がある。 Chapmansは、これらの有効な兆候が常に同性愛と関連するような偽のロールシャッハの反応を使った実験を行った。
1992年、心理学者のスチュアート・サザーランドは、こうした人工的な実験は現実のロールシャッハの使用よりも簡単であり、それゆえ、おそらく試験者が陥りやすい誤りを過小評価していると主張した。 彼は、チャップマンズの研究の後もロールシャッハの人気が続いていることを、「心理学者の間の非合理性の顕著な例」と評した。
テスト者の投影
一部の批判者は、テスト心理学者もパターンに投影しなければならないと主張している。 心理学者の主観的判断に起因するとされる例として、回答が「形の質」、つまり被験者の回答が実際にどのように見えるかに適合しているかどうかでコード化されることがあります（他の多くの事柄と一緒に）。 表面的には、これは主観的な判断とみなされるかもしれませんが、それは試験者が関係するカテゴリーをどのように内面化したかによります。 しかし、エクスナーの採点システムでは、ある回答が一般的にどの程度の頻度でなされているかを示す度数表を用いることで、主観性の多くを排除または軽減することができます。 他の例としては、「ブラジャー」という回答は、男性の心理学者には「性」の回答であるが、女性には「衣服」の回答であると考えられていた。しかし、Exnerのシステムでは、そのような回答は、回答に明確な性的言及がない限り常に「衣服」としてコード化されるのだ。 8779>
妥当性
投影法テストとして解釈した場合、結果は十分に検証可能でない。 エクスナーの採点システム（「包括的システム」としても知られている）は、この点を解決するためのもので、多くの以前の採点システム（そして、より一貫性のないもの）を置き去りにしてしまったのである。 これは、インクブロットのどの要素（濃淡、色、輪郭など）が被検者の各コメントにつながるかを多用するものである。 Exnerは厳密な採点システムを提案したが、実際の解釈には自由度があり、臨床医がテスト記録を書き上げるのは、まだ一部主観的である。 いくつかのスコアは一般的な知能とよく相関している。 多くの尺度が高いRを補正しないので、より知的な人は多くの病理学的尺度で高くなる傾向があるという疑問のある副作用を明らかにしています。 また、組織活動、複雑さ、形の質、人物像の反応の尺度も知能と相関があります。同じ資料によると、統合失調症やその他の精神病性障害、思考障害、人格障害（境界性人格障害を含む）などの検出にも有効であることが示されているそうです。 また、Deviant Verbalizationsスケールが双極性障害と関連していることを示す証拠がいくつかあります。 著者らは、「それ以外には、包括的システムは、精神障害や症状、人格特性、暴力の可能性、あるいは癌などの健康問題と一貫した関係を持つようには見えない」と結論付けています（癌について言及したのは、ごく少数のロールシャッハ愛好家が、このテストは癌を予測できると主張しているからです）。)
信頼性
また、テストの信頼性は、テスト者と被験者が座る場所、導入の言葉、被験者の質問やコメントに対する口頭と非言語の反応、反応の記録方法など、テスト手順の詳細にかなり依存すると考えられている。 エクスナーは詳細な指示を発表しているが、Woodらはこれが守られなかった多くの裁判例を挙げている。 同様に、反応をコード化する手順はかなり明確にされているが、非常に時間がかかるため、著者のスタイルや出版社の指示の質に大きく左右され（1950年代のBohmの教科書で指摘されたような）、臨床家（検査者を含む）が手抜きするよう奨励されている。 Jones v. Apfel (1997)は、ロールシャッハは「結果は臨床診断テストの標準化、信頼性、妥当性の要件を満たしておらず、したがって解釈はしばしば議論の的となる」と述べています（弁護士の医学教科書からの引用）。 State ex rel H.H. (1999)では、反対尋問でボガッキー博士が「多くの心理学者はロールシャッハテストの妥当性や有効性をあまり信じていない」と宣誓しており、US v Battle (2001)では、ロールシャッハは「客観的採点システムを持っていない」と判断しています。 専門的な内容を削除することなく、専門家でない人にも理解できるような内容に改善するよう、ご協力をお願いします。 (2010年9月）（このテンプレートメッセージを削除する方法とタイミングを学ぶ）
このテストのもうひとつの議論の的は、その統計的規範である。 エクスナーのシステムは、さまざまな集団の規範となるスコアを持っていると考えられていた。 しかし、1990年代半ばから、他の人たちがこれらの規範を再現したり更新したりしようとし始め、失敗しました。 特に、ナルシシズム、無秩序な思考、親密な関係における不快感を測定する指標に不一致が集中したようである。 ロールシャッハに批判的なリリエンフェルドらは、このことはロールシャッハが「正常者を過剰に病理化する」傾向があることの証明であると述べている。 Hibbardなどのロールシャッハ支持者は、ロールシャッハによって検出される病理率の高さは、社会における精神病理学の増加を正確に反映していると指摘しているが、ロールシャッハは受験者の半数を「歪んだ思考」を持っていると識別しており、これは現在の研究でも説明のつかない偽陽性率である
Meyerら（2007）によっても「病理学化過剰」という非難が検討されている。 彼らは、17カ国、21の異なるサンプルで得られた4704のロールシャッハプロトコルの国際共同研究を発表し、知覚・思考障害の指標で有意な上昇を示したのはわずか2%、うつと過敏の指標で12%、持続的ストレス過多で13%、すべて非患者集団の予想頻度に一致した、と述べている。 この論争は、精神障害の診断と統計マニュアル(DSM-IV)の公式診断を行う上で、追加データのないロールシャッハの限界に由来しています。アーヴィン B. ワイナー（ジョン・エクスナーとの包括的システムの共同開発者）は、ロールシャッハについて「人格機能の尺度であり、人をそのような人にしている人格構造と力学の側面に関する情報を提供するものである」と述べています。 そのような人格特性に関する情報は、鑑別診断に役立つことがあるが、もし検討される代替診断が特定の、あるいは決定的な人格特性に関してよく概念化されている場合である」と述べています。とにかく大半のケースでは、ロールシャッハ・テストは特別視されることなく、いくつかのテストの中の一つとして使われており、法廷でのロールシャッハの使用に対する批判にもかかわらず、法医学心理学者がロールシャッハに基づく証言を行った8000件のうち、この機器の適切性が問われたのはわずか6件、証言が認められないとされたのはそのうち1件だけであった。 ある研究によれば、1996年から2005年までの10年間で、法廷でのこのテストの使用は、それまでの50年間に比べ3倍に増加したという。
Exner と他の研究者は、ロールシャッハテストは自殺を検出することができると主張している。
テスト項目の保護と倫理
心理学者は、患者のテスト反応が以前の暴露によって影響を受ける（「プライミング」）ことを懸念して、心理テストの資料を公表することに反対している。 カナダ心理学会は、「あらゆる心理テストの質問と答えを公開することは、その有用性を損なう」という立場をとっており、「心理テストをパブリックドメインから除外する」よう呼びかけています。 同じ声明によると、彼らの会長は「CPAの懸念は、ロールシャッハ・テストのカードと回答の公開そのものではなく、それについては心理学の文献にいくつかの論争があり、専門家の間でも意見が分かれているが、心理テストの内容の公開と普及という大きな問題である」と述べている
法律上の観点から、ロールシャッハ・テストの画像はほとんどの国で長年にわたりパブリックドメインであり、特に死後70年までの著作権がある国においては、そのようにされてきました。 ヘルマン・ロールシャッハの母国スイスでは、スイスの著作権法により、1992年（作者の死後70年、1942年のカットオフ日から50年）よりパブリックドメインとなっています。 また、1923年以前に出版されたすべての作品がパブリックドメインとされる米国の著作権法でもパブリックドメインとなっています。 つまり、ロールシャッハの画像は、誰でも、どのような目的でも使用することができるのです。 8779>
米国心理学会（APA）には、「探求と表現の自由」を支持し、「一般大衆が情報に基づいた判断を展開する」ことを支援する倫理規定があります。その目標には「心理学者が働く個人と集団の福祉と保護」が含まれると主張し、心理学者に対して「テスト材料の完全性とセキュリティを維持するための妥当な努力」を要求しています。 また、APAは、テスト資料の普及が「一般大衆に極めて具体的な害」を及ぼすかもしれないという懸念を表明しています。 ロールシャッハの版木の公開については立場を表明していませんが、「ある目的に対して適切と考えられる標準的な心理テストは限られている」と指摘しています。 英国心理学会の公的声明は、心理テストについて同様の懸念を表明し（どのテストにも言及せず）、「資格のない個人への資料の公開」がテスト発行者の意に反する場合は、不正使用とみなしています。ジェラルド・クーチャーは、1998年に出版した『心理学における倫理』で、心理学者にとって「ロールシャッハ版のコピーを再版し…よくある反応を一覧にすることは、重大な非倫理的行為」「疑わしい専門的判断」を示している、と考える人がいると指摘しています。
2008年9月9日、ホグレフは、ブラジルの心理学者Ney Limongeに対して世界知的所有権機関に申し立てを行い、ロールシャッハのインクブロットの著作権を主張しようとしました。 この訴えは却下された。
心理学者は、倫理的な理由から、当事者からテストやテストデータの開示を求められたときに、裁判所への開示を拒否することがある。そのような拒否は、弁護士によるプロセスの完全な理解を妨げ、専門家の反対尋問を妨げる可能性があると主張されている。 APA倫理基準1.23(b)では、心理学者は裁判所による合理的な精査を可能にするために、プロセスを詳細かつ適切な品質で文書化する責任を負うと述べている
2009年にロールシャッハの原版と解釈に関する研究結果がWikipediaの「Rorschach test」の記事で発表されて、心理学界で論争が起きたことがある。 ロールシャッハの版木を販売しているドイツのHogrefe & Huber Publishing社は、この公開を「ウィキペディアの信じられないほど無謀で、冷笑的ですらある」と呼び、法的措置の可能性を調査中だと述べました。
James Heilman（救急医療医）は、この論争を視力検査表の公開に例えています：人々は同様に視力検査の前に視力検査表を自由に暗記することができますが、視力の診断ツールとしての一般的有用性は低下していません。 暴露に反対する人々にとっては、長年にわたって「患者の反応を特定の心理状態に結びつけようとした」何万もの研究論文を考えると、インクブロットの公表は「特につらい展開」だと言われている。 ウィキペディアのインクブロット公開をめぐる論争は、ガーディアン紙やグローブ・アンド・メール紙など、他の場所でもインクブロットが公開される結果になった。 その後、2人の心理学者が、ハイルマンが画像をアップロードしたことは専門家としてあるまじき行為であるとして、サスカチュワン州の医療ライセンス委員会に苦情を申し立てた。 2012年には、ウィキペディアに画像が掲載されたことによる影響を示す2つの論文が発表されました。 最初のものは、ウィキペディアとロールシャッハの論争の間に生じたテストに対する否定的な態度を研究し、2番目のものは、ウィキペディアの記事を読むことが、テストでの「良い」結果を偽造するのに役立つことを示唆しました。 Skeptical Inquirer誌の編集者であるBenjamin Radfordは、ロールシャッハは「良い証拠よりも伝統から使われ続けてきた」と述べ、テストの出版が最終的にその終焉を早めるかもしれないと希望的観測をしています
。