クローリング

プログラム（クローラ）を用いてWebサイトを自動的に巡回し、Webページの情報を収集する技術。検索エンジンのインデックス作成やデータ収集・分析に活用される。

クローラと呼ばれるプログラムが、Webページのリンクをたどって自動的に巡回し、ページの内容を収集すること。検索エンジンの索引の作成や、データ分析用のデータ収集に用いる。収集したページから必要な情報を抜き出す処理はスクレイピングという。

プログラム（クローラ）がWebページのリンクを自動的にたどって多数のページを巡回し、収集すること。検索エンジンの索引作成やWeb上の情報の網羅的な収集に使い、ページから必要な項目を抜き出すスクレイピングと組み合わせることが多い。robots.txtの指示や利用規約を守り、アクセスの間隔を空けて相手のサーバに負荷をかけないよう配慮する。

プログラム（クローラ）がWebページのリンクを自動的にたどって巡回し、ページを収集すること。検索エンジンの索引作成やデータ収集に使われ、集めたページから必要な情報を抜き出すスクレイピングと組み合わせて使う。対象サイトへの負荷や利用規約、robots.txtの指示に配慮する必要がある。

取得したWebページから必要な情報を抽出して構造化する手法。クローリングと組み合わせて使われるが、対象サイトの規約に反する利用は避けなければならない。

勘や経験だけに頼らず、収集・蓄積したデータの分析結果を根拠として意思決定を行う経営スタイル。実現にはデータの品質確保と、必要なデータに誰もがアクセスできる基盤・ルールの整備が前提となる。

組織が保有するデータを、設備や人材と同様に価値を生む資産として捉える考え方。資産である以上、誰が管理責任を負い、どう維持・更新し、いつ廃棄するかを定める必要がある。

データを資産として活用できる状態に保つための組織的な活動の総称。データモデリング、データ統合、データ品質管理、メタデータ管理、データセキュリティなどの機能から構成される。

データマネジメントの各活動が方針どおりに実施されているかを評価・指示・監視する統制の仕組み。実務を執行するマネジメント機能に対し、ルールを定めて統制する立法・司法の役割にあたる。

データ（Data）、情報（Information）、知識（Knowledge）、知恵（Wisdom）の4段階で、生のデータが意思決定に使える形へ変換されていく過程を表したモデル。データは文脈を与えられて初めて情報になる。