対立仮説

母集団についての仮説が正しいかを、標本のデータから確率的に判断する統計手法。「差がない」などの帰無仮説を立て、それが正しいとしたときに観測結果以上に極端な結果が得られる確率（p値）が有意水準を下回れば、帰無仮説を棄却して対立仮説を採択する。正しい帰無仮説を棄却する第1種の誤りと、誤った帰無仮説を棄却しない第2種の誤りがある。

帰無仮説が正しいと仮定したとき、実際に観測された結果か、それ以上に極端な結果が得られる確率。p値が有意水準を下回れば帰無仮説を棄却する。p値は帰無仮説が正しい確率でも効果の大きさでもなく、標本が大きければわずかな差でも小さくなるため、効果量や信頼区間と併せて解釈する。

仮説検定で、帰無仮説が実際には正しいのに、誤って棄却してしまう誤り。本当は効果がないのに効果があると判断するもので、その起こる確率は有意水準αに等しい。αを小さくすると第1種の誤りは減るが、第2種の誤りが増える。

仮説検定において、本当は誤っている帰無仮説を棄却できない誤り。「差があるのに差がないと判定する」誤りで、ぼんやりものの誤りとも呼ばれる。有意水準を厳しくするほど起こりやすくなる。

仮説検定で、帰無仮説を棄却するかどうかの基準となる確率で、5％や1％がよく使われる。p値が有意水準以下であれば帰無仮説を棄却し、「統計的に有意」と判断する。正しい帰無仮説を誤って棄却する第1種の誤りを犯す確率の上限に当たり、検定を行う前に決めておく。

実際に差や効果があるとき（対立仮説が正しいとき）に、仮説検定で正しく帰無仮説を棄却できる確率。第2種の誤りの確率βを用いて1−βで表し、0.8以上が目安とされる。標本の大きさ、効果の大きさ、有意水準によって決まり、実験の前に必要な標本の大きさを見積もるのに使う。