河童が教える,評定者間一致

ロールシャッハ法に限らず,生データを何らかの基準で分類する方法を研究で使用する場合は,その分類がうまくできてるかを論文中で示す必要があります。スコアリングは正確かどうかというのは,データがどれほど信頼できるかを占う上で外せない情報なので。

ロールシャッハ批判で,間違った評定者間一致の指標が用いられているなんて話がよくありますが,実際はCohen' kappaを用いている研究も多いわけでして,どこ見てんのよ,という感じですね。

今日は評定者間一致に関する資料について。

例えばスコアされた反応が10000個あったとして,その全てを取りあげて一致度を見るというのは,なかなか大変だし,統計的には不要な手続きだったりする。例えば,BSEの全頭検査を主張していたのは日本ですが,対するアメリカは一部をサンプリングして検査すればOKと主張してました。この場合,アメリカは統計の話をしていて,日本は安心の話をしていたわけですね。まぁそれは良いとして。

じゃあ,全体の何%くらいをサンプリングすれば良いのか,という話。

Practical Resources for Assessing and Reporting Intercoder Reliability in Content Analysis Research Projects

結論としては,サンプリングの最小限のサイズは,全体の10%との事。
全体の10%をサンプリングして,お互い独立した評定者が分類→kappa算出でOK。
基準としては,kappa=.85以上で素晴らしく,kappa=.70以上で合格ってのが一般的?

という,お勉強でした。
スポンサーサイト
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。