第1種の誤り

仮説検定において、本当は正しい帰無仮説を誤って棄却してしまう誤り。「差がないのに差があると判定する」誤りで、あわてものの誤りとも呼ばれる。この誤りを犯す確率が有意水準にあたる。

仮説検定で、本当は正しい帰無仮説を誤って棄却してしまう誤り。「差がないのに差があると判定する」あわてものの誤りで、その確率は有意水準に等しい。セキュリティ分野の誤検知（フォールスポジティブ）と同じ考え方。

仮説検定で、帰無仮説が棄却されたときに採択される仮説。「差がある」「効果がある」のように分析者が本来示したい主張を対立仮説とし、それを否定する帰無仮説を立てて検定する。

帰無仮説が正しいと仮定したとき、実際に観測された結果か、それ以上に極端な結果が得られる確率。p値が有意水準を下回れば帰無仮説を棄却する。p値は帰無仮説が正しい確率でも効果の大きさでもなく、標本が大きければわずかな差でも小さくなるため、効果量や信頼区間と併せて解釈する。

母集団について立てた仮説が正しいかを、標本のデータから確率的に判断する統計手法。否定したい帰無仮説を立て、帰無仮説が正しいとしたときに観測結果以上に極端な結果が得られる確率（p値）が有意水準（5%など）を下回れば、帰無仮説を棄却して対立仮説を採択する。

仮説検定で、帰無仮説が実際には誤っているのに、棄却しない誤り。本当は効果があるのに見逃してしまうもので、その確率をβで表し、1−βを検出力という。標本の大きさを増やすと、第1種の誤りの確率を変えずに第2種の誤りを減らせる。

仮説検定で、帰無仮説を棄却するかどうかの基準となる確率で、5％や1％がよく使われる。p値が有意水準以下であれば帰無仮説を棄却し、「統計的に有意」と判断する。正しい帰無仮説を誤って棄却する第1種の誤りを犯す確率の上限に当たり、検定を行う前に決めておく。

実際に差や効果があるとき（対立仮説が正しいとき）に、仮説検定で正しく帰無仮説を棄却できる確率。第2種の誤りの確率βを用いて1−βで表し、0.8以上が目安とされる。標本の大きさ、効果の大きさ、有意水準によって決まり、実験の前に必要な標本の大きさを見積もるのに使う。