検出力（検定力）

仮説検定で、帰無仮説を棄却するかどうかの基準となる確率で、5％や1％がよく使われる。p値が有意水準以下であれば帰無仮説を棄却し、「統計的に有意」と判断する。正しい帰無仮説を誤って棄却する第1種の誤りを犯す確率の上限に当たり、検定を行う前に決めておく。

帰無仮説が正しいと仮定したとき、実際に観測された結果か、それ以上に極端な結果が得られる確率。p値が有意水準を下回れば帰無仮説を棄却する。p値は帰無仮説が正しい確率でも効果の大きさでもなく、標本が大きければわずかな差でも小さくなるため、効果量や信頼区間と併せて解釈する。

母集団の分散が未知のときに、標本から求めたt統計量がt分布に従うことを使って、平均値に差があるかを調べる仮説検定。1つの群の平均と基準値の比較、2つの独立した群の平均の比較、同じ対象の施策の前後の比較（対応のあるt検定）などに使う。小さな標本でも使えるが、データが正規分布に近いことが前提となる。

仮説検定において、本当は正しい帰無仮説を誤って棄却してしまう誤り。「差がないのに差があると判定する」誤りで、あわてものの誤りとも呼ばれる。この誤りを犯す確率が有意水準にあたる。

仮説検定において、本当は誤っている帰無仮説を棄却できない誤り。「差があるのに差がないと判定する」誤りで、ぼんやりものの誤りとも呼ばれる。有意水準を厳しくするほど起こりやすくなる。

仮説検定で、帰無仮説が棄却されたときに採択される仮説。「差がある」「効果がある」のように分析者が本来示したい主張を対立仮説とし、それを否定する帰無仮説を立てて検定する。