ハイパーパラメータ

機械学習で、学習によって自動的に決まる重みなどのパラメータとは異なり、学習を始める前に人が設定しておく値。学習率、ニューラルネットワークの層の数、決定木の深さ、k-means法のkなどが該当し、グリッドサーチやランダムサーチなどで最適な値を探す。

ハイパーパラメータの最適な値を探す手法の一つで、指定した範囲から値の組合せを無作為に選んで学習と評価を繰り返し、最も性能のよい組合せを採用する方法。すべての組合せを試すグリッドサーチより少ない試行回数で、よい値を見つけられることが多い。

ハイパーパラメータの最適な値を探す手法の一つで、各ハイパーパラメータの候補値を格子状に組み合わせ、そのすべての組合せについて学習と評価を行って、最も性能のよい組合せを選ぶ方法。網羅的で確実だが、ハイパーパラメータの数が増えると計算量が急激に増える。

損失関数の値が小さくなるよう、パラメータを損失関数の勾配（傾き）と逆の方向に少しずつ動かす更新を繰り返して、最小となる点を探す最適化の手法。1回に動かす量は学習率で決まり、大きすぎると発散し、小さすぎると収束が遅い。損失の形によっては局所最適解や鞍点にとどまることがある。

全データではなく、無作為に選んだ1件（または少数のミニバッチ）のデータで勾配を計算してパラメータを更新する勾配降下法。1回の更新の計算が軽く大規模なデータでも速く学習が進む一方、勾配にばらつき（ノイズ）が入るので更新の向きは揺らぐが、それが局所最適解から抜け出す助けにもなる。モーメンタムやAdamなどの最適化アルゴリズムの基礎である。

SQL文の実行性能を改善する活動。実行計画の分析、インデックスの追加・見直し、SQL文の書き換え、ヒント句の利用、統計情報の更新などの手法がある。ボトルネックとなるSQL文の特定が第一歩。

インデックスの活用やSQL文の書換えにより、テーブルフルスキャンを回避して検索性能を改善するチューニング手法。WHERE句でインデックス列に関数を適用しない、OR条件をUNIONに書き換えるなどの技法がある。