テストデータジェネレーター

機械学習で、学習データで学習させたモデルの性能を学習の途中で評価し、ハイパーパラメータの調整やモデルの選択に使うデータ。最終的な性能の評価に使うテストデータとは分けて用意する。

データの一部を伏字や別の値に置き換えて、元の値が分からないようにする手法。クレジットカード番号の下4桁以外を「*」で隠して表示する場合や、本番データの個人情報を架空の値に置き換えてテスト用のデータを作る場合などに使う。

データを学習用とテスト用（必要なら検証用も）に1回だけ分け、学習用で作ったモデルをテスト用で評価する手法。7対3や8対2の比率で分けることが多い。手軽で計算量も少ないが、評価結果がどのデータがテスト用に入ったかに左右されるので、データが少ない場合は交差検証を使う。

学習に使っていない未知のデータに対してモデルが出す予測の誤差（の期待値）。機械学習が最終的に小さくしたいのはこの誤差で、学習に使わなかったテストデータでの誤差で見積もる。訓練誤差が小さいのに汎化誤差が大きいときは過学習を疑う。

テストの実行、結果の判定、報告をツールやスクリプトで自動的に行うこと。何度も繰り返す回帰テストを短時間で正確に実施でき、継続的インテグレーションのパイプラインに組み込んで変更のたびにテストを流す。自動化したテストの保守にも手間がかかるので、効果の大きいテストから自動化する。

テストを行うために用意する、ハードウェア、ソフトウェア、ネットワーク、テストデータ、ツールなどの環境。本番の環境をできるだけ再現し、テストの結果が本番での振る舞いを反映するようにする。IoTや通信などの分野では、新しい技術を実際に近い条件で検証するための実験設備を指すこともある。