ランダムサーチ

ハイパーパラメータの最適な値を探す手法の一つで、指定した範囲から値の組合せを無作為に選んで学習と評価を繰り返し、最も性能のよい組合せを採用する方法。すべての組合せを試すグリッドサーチより少ない試行回数で、よい値を見つけられることが多い。

勾配降下法などでモデルのパラメータを更新するとき、1回の更新でどれだけ大きくパラメータを動かすかを決めるハイパーパラメータ。大きすぎると誤差が最小となる点を飛び越えて学習が収束せず、小さすぎると学習に時間がかかったり局所的な解にとどまったりする。

制約条件と目的関数がすべて変数の一次式で表される問題で、制約を満たしながら目的関数を最大（または最小）にする変数の値を求める手法。限られた原材料や人員で利益が最大になる生産量の決定、輸送費が最小になる配送計画などに使う。解はシンプレックス法などで求め、変数が2つならグラフを描いて求めることもできる。

学習によってデータから求めるパラメータ（重みなど）ではなく、学習の前に人が設定する値。学習率、エポック数、ミニバッチの大きさ、ニューラルネットワークの層数、決定木の深さ、正則化の強さなどが当たる。検証用データでの性能をもとに、グリッドサーチ、ランダムサーチ、ベイズ最適化などで調整する。

ハイパーパラメータの探索で、各ハイパーパラメータの候補値を格子状に並べ、すべての組合せを試して最も性能のよいものを選ぶ方法。網羅的で再現しやすいが、ハイパーパラメータの数が増えると組合せの数が指数的に増え、計算コストが大きくなる。各組合せの評価には交差検証を使うことが多い。

損失関数の値が小さくなるよう、パラメータを損失関数の勾配（傾き）と逆の方向に少しずつ動かす更新を繰り返して、最小となる点を探す最適化の手法。1回に動かす量は学習率で決まり、大きすぎると発散し、小さすぎると収束が遅い。損失の形によっては局所最適解や鞍点にとどまることがある。

ニューラルネットワークなどの学習で、学習データ全体を1回使い切ることを1エポックという。通常は数十から数百エポック繰り返して学習し、エポック数はハイパーパラメータになる。エポックを重ねすぎると過学習するので、検証用データの誤差を監視して悪化し始めたら止める早期終了を使う。