スクレイピング
Scraping
すくれいぴんぐ
Webページの内容から必要なデータを抽出して整形する処理。クローリングで集めたページから情報を取り出す際に用いるが、利用規約や著作権、サーバ負荷への配慮が必要となる。
Related
他の資格での定義
Webページの内容を自動で取得し、必要な項目を抽出してデータ化する手法。市場調査などに使われるが、サイトの利用規約や著作権、サーバへの負荷に配慮する必要がある。
取得したWebページから必要な情報を抽出して構造化する手法。クローリングと組み合わせて使われるが、対象サイトの規約に反する利用は避けなければならない。
取得したWebページから必要な情報を抽出して構造化する手法。クローリングと組み合わせて使われるが、対象サイトの規約に反する利用は避けなければならない。
Webページのデータから、商品名や価格など必要な情報を抜き出し、分析に使える形式に整えて取り出すこと。APIが提供されていないサイトの情報収集に使うが、利用規約での禁止、著作権、個人情報の取扱い、相手のサーバへの負荷などに注意が要る。ページを自動で巡回して集めるクローリングと組み合わせて使うことが多い。
Webページなどから、プログラムを使って必要な情報を自動的に抽出・収集すること。HTMLを解析して価格や記事などのデータを取り出す。対象サイトの利用規約や著作権、サーバへの負荷に配慮する必要があり、APIが提供されていればそちらを使うのが望ましい。
Related
関連キーワードの用語
説明変数と目的変数の関係を数式(回帰式)で表現し、予測や因果関係の分析を行う統計手法。説明変数が1つの単回帰分析と複数の重回帰分析がある。最小二乗法で回帰式を求め、売上予測や需要予測などに活用される。
大量のデータから統計学やAI・機械学習の手法を用いて、未知のパターンや相関関係、有用な知識を自動的に発見する技術。マーケティング分析、顧客分析、リスク予測、不正検知などに活用される。
企業に蓄積された大量のデータを収集・分析・可視化し、経営上の意思決定を支援する手法やツールの総称。データウェアハウスやOLAPなどの技術を活用して多角的なデータ分析を行う。
大量のデータを分析し、ビジネスに役立つ知見を引き出す専門家。統計学、機械学習、プログラミングなどの技術スキルとビジネスドメインの知識を兼ね備えた人材を指す。
特定の個人を識別できないように個人情報を加工し、かつ元の個人情報を復元できないようにした情報。個人情報保護委員会規則の基準に従って加工し、作成時と第三者への提供時に含まれる項目などを公表すれば、本人の同意なく第三者に提供できる。受け取った側は、他の情報と照合して本人を識別することが禁止される。
国、地方公共団体、事業者が保有するデータ(官民データ)の適正かつ効果的な活用を推進するための基本法で、2016年に施行された。行政手続のオンライン化の原則、国や地方公共団体が保有するデータを国民が容易に利用できるようにするオープンデータの推進、データの標準化、個人の関与の下でのデータの流通などを定めている。
