有意水準

仮説検定において、帰無仮説を棄却する基準となる確率。一般的に5%（0.05）や1%（0.01）が用いられる。有意水準以下の確率で起こる事象が観測された場合、帰無仮説を棄却する。

仮説検定で帰無仮説を棄却するかどうかの境目となる確率。5%や1%が使われる。正しい帰無仮説を誤って棄却してしまう確率の上限にあたるので、小さくするほど判定は慎重になる。

母集団についての仮説が正しいかを、標本のデータから確率的に判断する統計手法。「差がない」などの帰無仮説を立て、それが正しいとしたときに観測結果以上に極端な結果が得られる確率（p値）が有意水準を下回れば、帰無仮説を棄却して対立仮説を採択する。正しい帰無仮説を棄却する第1種の誤りと、誤った帰無仮説を棄却しない第2種の誤りがある。

帰無仮説が正しいと仮定したとき、実際に観測された結果か、それ以上に極端な結果が得られる確率。p値が有意水準を下回れば帰無仮説を棄却する。p値は帰無仮説が正しい確率でも効果の大きさでもなく、標本が大きければわずかな差でも小さくなるため、効果量や信頼区間と併せて解釈する。

実際に差や効果があるとき（対立仮説が正しいとき）に、仮説検定で正しく帰無仮説を棄却できる確率。第2種の誤りの確率βを用いて1−βで表し、0.8以上が目安とされる。標本の大きさ、効果の大きさ、有意水準によって決まり、実験の前に必要な標本の大きさを見積もるのに使う。

母集団の分散が未知のときに、標本から求めたt統計量がt分布に従うことを使って、平均値に差があるかを調べる仮説検定。1つの群の平均と基準値の比較、2つの独立した群の平均の比較、同じ対象の施策の前後の比較（対応のあるt検定）などに使う。小さな標本でも使えるが、データが正規分布に近いことが前提となる。

仮説検定において、本当は正しい帰無仮説を誤って棄却してしまう誤り。「差がないのに差があると判定する」誤りで、あわてものの誤りとも呼ばれる。この誤りを犯す確率が有意水準にあたる。

仮説検定において、本当は誤っている帰無仮説を棄却できない誤り。「差があるのに差がないと判定する」誤りで、ぼんやりものの誤りとも呼ばれる。有意水準を厳しくするほど起こりやすくなる。