読者です 読者をやめる 読者になる 読者になる

有意差がないときのCohen's d

結果に有意差がないときのCohen's dはどう解釈すれば良いのか。併記する必要があるのか。有意差があるときは「有意差があり、その差は実質的に***な差がある!」と分かりやすいのだが、有意差が無いときは「有意差がない。それは***な程確実にない。」といえるのか。良く理解できていなかったので調べた。

stats.stackexchange.com

Cohen's d can help to explain non-significant results: if your study has a small sample size, the chances of finding a statistically significant difference between the groups is unlikely, unless the effect size is large.

Cohen's dは有意でない結果も説明することができます。:もし研究のサンプルサイズが小さい場合、効果量が大きくない限り、グループ間で統計学的に有意な差を検出することはまれです。

stats.stackexchange.com

Yes, this may completely make sense. In fact, it is also possible (perhaps rarer) to see a large estimated effect size without there being statistically significant evidence it isn't zero. The issue is that your effect size is just a point estimate and hence is a random variable that depends on the particular sample you have available for analysis. If you construct a 95% confidence interval for your estimate you will see that it includes zero, which is why your p-values are above 0.05.

完璧に理にかなってます。実際、統計的に有意な差がないときにもゼロではない大きい効果量が見られることもあります。問題はその効果量がポイントでの推定値にすぎないため、分析に使用した特定のサンプルに依存するランダムな変数であることです。推定値の95%信頼区間を計算するとそれがゼロを含んでいるでしょう、それがP値が0.05以上である理由なのです。

 

Effect sizes for non significant results - www.ClinPsy.org.uk

First off the large effect size doesn't strengthen the claims of non-significance. I'm pretty certain about that. Secondly, it doesn't mean that it's meaningless. A large effect size means that theres a greater relationship between the 2 variables... the fact that you got non-significant results with a large effect size may mean that you don't have a large enough sample to say it's significant. So, whereas a test of significance "confounds" the size of the effect with sample size, effect size separates the 2 and just looks at how big the actual difference is regardless of sample size. It may be a chance effect of your sample (hence non-significance) or it may be something interesting that you've found and may wish to investigate further. This might depend on previous literature and your hypotheses though! I think

まず最初に、大きな効果量は非有意の主張を強めるものではありません。そのことについては確かです。第二に、それは無意味だということではありません。大きな効果量は2変数間に強い関係があることを意味します。大きな効果サイズを持つ非有意な結果を得たという事実は、その結果が有意というだけの十分な大きさのサンプルを持っていないことを意味します。つまり、有意差検定がサンプルサイズによって効果量に交絡する一方で、効果量は2変数を分離して、サンプルサイズに関係なく実際の違いがどのくらいかを表している。それはあなたのサンプル(非有意)の偶然の効果であってもよく、またはそれはあなたが発見して、さらに研究を進めるべき”何か面白いこと”の可能性もあります。これは過去の論文やあなたの仮設によると思いますが・・・。

 

Cohen's dは非有意の結果では記載しないほうがベターとの結論みたいです。