スクレイピング
Web Scraping
すくれいぴんぐ
Related
他の資格での定義
Webページの内容から必要なデータを抽出して整形する処理。クローリングで集めたページから情報を取り出す際に用いるが、利用規約や著作権、サーバ負荷への配慮が必要となる。
Webページの内容を自動で取得し、必要な項目を抽出してデータ化する手法。市場調査などに使われるが、サイトの利用規約や著作権、サーバへの負荷に配慮する必要がある。
取得したWebページから必要な情報を抽出して構造化する手法。クローリングと組み合わせて使われるが、対象サイトの規約に反する利用は避けなければならない。
Webページのデータから、商品名や価格など必要な情報を抜き出し、分析に使える形式に整えて取り出すこと。APIが提供されていないサイトの情報収集に使うが、利用規約での禁止、著作権、個人情報の取扱い、相手のサーバへの負荷などに注意が要る。ページを自動で巡回して集めるクローリングと組み合わせて使うことが多い。
Webページなどから、プログラムを使って必要な情報を自動的に抽出・収集すること。HTMLを解析して価格や記事などのデータを取り出す。対象サイトの利用規約や著作権、サーバへの負荷に配慮する必要があり、APIが提供されていればそちらを使うのが望ましい。
Related
関連キーワードの用語
Web上のページを自動的に巡回してデータを収集する手法。収集先の利用規約や負荷への配慮、著作権の扱いに注意が必要となる。
勘や経験だけに頼らず、収集・蓄積したデータの分析結果を根拠として意思決定を行う経営スタイル。実現にはデータの品質確保と、必要なデータに誰もがアクセスできる基盤・ルールの整備が前提となる。
組織が保有するデータを、設備や人材と同様に価値を生む資産として捉える考え方。資産である以上、誰が管理責任を負い、どう維持・更新し、いつ廃棄するかを定める必要がある。
データを資産として活用できる状態に保つための組織的な活動の総称。データモデリング、データ統合、データ品質管理、メタデータ管理、データセキュリティなどの機能から構成される。
データマネジメントの各活動が方針どおりに実施されているかを評価・指示・監視する統制の仕組み。実務を執行するマネジメント機能に対し、ルールを定めて統制する立法・司法の役割にあたる。
データ(Data)、情報(Information)、知識(Knowledge)、知恵(Wisdom)の4段階で、生のデータが意思決定に使える形へ変換されていく過程を表したモデル。データは文脈を与えられて初めて情報になる。
