ランダムサーチ

ハイパーパラメータの探索で、指定した範囲や分布から値の組合せを無作為に選び、決めた回数だけ試して最もよいものを選ぶ方法。性能に効くハイパーパラメータが一部に限られる場合、同じ試行回数でもグリッドサーチより効率よくよい値を見つけやすい。試行回数で計算コストを管理できる。

機械学習で、学習によって自動的に決まる重みなどのパラメータとは異なり、学習を始める前に人が設定しておく値。学習率、ニューラルネットワークの層の数、決定木の深さ、k-means法のkなどが該当し、グリッドサーチやランダムサーチなどで最適な値を探す。

ハイパーパラメータの最適な値を探す手法の一つで、各ハイパーパラメータの候補値を格子状に組み合わせ、そのすべての組合せについて学習と評価を行って、最も性能のよい組合せを選ぶ方法。網羅的で確実だが、ハイパーパラメータの数が増えると計算量が急激に増える。

データの追加、更新、削除を繰り返して断片化したデータベースの格納領域を整理し直し、データを物理的に詰めて並べ直す操作。アクセスの効率を回復し、未使用の領域を回収できる。データベースの運用で定期的に行う保守作業の一つである。

勾配降下法などでモデルのパラメータを更新するとき、1回の更新でどれだけ大きくパラメータを動かすかを決めるハイパーパラメータ。大きすぎると誤差が最小となる点を飛び越えて学習が収束せず、小さすぎると学習に時間がかかったり局所的な解にとどまったりする。

機械学習で、学習データで学習させたモデルの性能を学習の途中で評価し、ハイパーパラメータの調整やモデルの選択に使うデータ。最終的な性能の評価に使うテストデータとは分けて用意する。

SQL文の実行性能を改善する活動。実行計画の分析、インデックスの追加・見直し、SQL文の書き換え、ヒント句の利用、統計情報の更新などの手法がある。ボトルネックとなるSQL文の特定が第一歩。