ハイパーパラメータ

学習によってデータから求めるパラメータ（重みなど）ではなく、学習の前に人が設定する値。学習率、エポック数、ミニバッチの大きさ、ニューラルネットワークの層数、決定木の深さ、正則化の強さなどが当たる。検証用データでの性能をもとに、グリッドサーチ、ランダムサーチ、ベイズ最適化などで調整する。

ハイパーパラメータの最適な値を探す手法の一つで、指定した範囲から値の組合せを無作為に選んで学習と評価を繰り返し、最も性能のよい組合せを採用する方法。すべての組合せを試すグリッドサーチより少ない試行回数で、よい値を見つけられることが多い。

ハイパーパラメータの最適な値を探す手法の一つで、各ハイパーパラメータの候補値を格子状に組み合わせ、そのすべての組合せについて学習と評価を行って、最も性能のよい組合せを選ぶ方法。網羅的で確実だが、ハイパーパラメータの数が増えると計算量が急激に増える。

データの追加、更新、削除を繰り返して断片化したデータベースの格納領域を整理し直し、データを物理的に詰めて並べ直す操作。アクセスの効率を回復し、未使用の領域を回収できる。データベースの運用で定期的に行う保守作業の一つである。

損失関数（予測の誤差を表す関数）の値が小さくなるように、パラメータに関する損失関数の勾配（傾き）の逆方向へ、学習率に応じた幅だけパラメータを少しずつ更新していく最適化の手法。ニューラルネットワークの学習では、データの一部（ミニバッチ）ごとに更新する確率的勾配降下法（SGD）が使われる。

SQL文の実行性能を改善する活動。実行計画の分析、インデックスの追加・見直し、SQL文の書き換え、ヒント句の利用、統計情報の更新などの手法がある。ボトルネックとなるSQL文の特定が第一歩。

インデックスの活用やSQL文の書換えにより、テーブルフルスキャンを回避して検索性能を改善するチューニング手法。WHERE句でインデックス列に関数を適用しない、OR条件をUNIONに書き換えるなどの技法がある。