交差検証
Crossvalidation · 統計・研究方法論
何を言っている理論か
モデルを作ったのと別のデータで性能を確かめる手続き。これを行わないと、精度は必然的に高く出る。
心理学のどこにあるか
心理学の理論ではなく、統計と予測研究の側から来た手続き。同じデータでモデルを作って同じデータで精度を測ると、そのデータ特有の偶然まで拾ってしまうため、精度は必ず高く出ます。だから別のデータで測り直す。この論文は、その手続きを離婚予測の研究に当てはめて何が起きるかを示したものです。
研究の性質と注意
離婚予測の高精度が引用されるとき、この検証が行われていたかを見る必要がある。行うと精度は大きく落ちることが指摘されている。恋愛に限らず、「◯%の精度で予測」という主張すべてに当てはまる読み方。
この理論の主要な研究（1本）
- 離婚予測の交差検証問題（方法論批判・2001）
交差検証を行うと、精度と予測的中率が大きく低下する。報告されていた80〜90%台は、結果を知った後の当てはめによる部分が大きい。
Heyman, R. E., & Smith Slep, A. M. (2001). The hazards of predicting divorce without crossvalidation. Journal of Marriage and Family, 63(2), 473–479.
この理論を使っている悩み（2件）
- 喧嘩の仕方で別れが予測できるのか そこそこ
会話のパターンと関係の行方に関連はある。ただし有名な「高精度で予測」の数字は、当てにいった予測ではなく、結果を知った後の当てはめから出ている。 - 「37%を見送ってから決めろ」は正しいのか 弱い
37%という数字は厳密な条件下での最適解であり、恋愛はその条件を満たしていない。