エポック

ハイパーパラメータの探索で、指定した範囲や分布から値の組合せを無作為に選び、決めた回数だけ試して最もよいものを選ぶ方法。性能に効くハイパーパラメータが一部に限られる場合、同じ試行回数でもグリッドサーチより効率よくよい値を見つけやすい。試行回数で計算コストを管理できる。

ハイパーパラメータの探索で、各ハイパーパラメータの候補値を格子状に並べ、すべての組合せを試して最も性能のよいものを選ぶ方法。網羅的で再現しやすいが、ハイパーパラメータの数が増えると組合せの数が指数的に増え、計算コストが大きくなる。各組合せの評価には交差検証を使うことが多い。

ニューラルネットワークの学習で、ミニバッチ1つ分のデータで損失と勾配を計算し、パラメータを1回更新する処理の単位。学習データ全体を1回使い切るのが1エポックで、1エポック当たりのイテレーション数は「データ数÷バッチサイズ」になる。例えば1万件をバッチサイズ100で学習すると、1エポックは100イテレーションである。

学習データ全体をまとめて使って損失と勾配を計算し、パラメータを更新する学習の方法。更新の方向が安定するが、1回の更新に全データの計算が要るのでデータが大きいと時間とメモリを多く使う。新しいデータが加わったら全データで学習し直すのが基本で、データを少しずつ使うミニバッチ学習やオンライン学習と対比される。

学習データを数十から数百件程度の小さなまとまり（ミニバッチ）に分け、ミニバッチごとに勾配を計算してパラメータを更新する学習の方法。バッチ学習より更新の回数が多く、オンライン学習より更新が安定し、GPUで並列に計算しやすいので、ディープラーニングで標準的に使われる。ミニバッチの大きさ（バッチサイズ）はハイパーパラメータである。

データが1件（または少数）届くたびに、そのデータだけでモデルのパラメータを逐次に更新する学習の方法。全データを保持しなくてよく、データの傾向の変化にも追随しやすいので、ストリームデータや推薦システムなどに使われる。一方で、ノイズを含むデータやデータの到着順に影響されやすく、学習が不安定になることがある。