Webクローリング

クローラと呼ばれるプログラムが、Webページのリンクをたどって自動的に巡回し、ページの内容を収集すること。検索エンジンの索引の作成や、データ分析用のデータ収集に用いる。収集したページから必要な情報を抜き出す処理はスクレイピングという。

Web上のページを自動的に巡回してデータを収集する手法。収集先の利用規約や負荷への配慮、著作権の扱いに注意が必要となる。

プログラム（クローラ）がWebページのリンクを自動的にたどって多数のページを巡回し、収集すること。検索エンジンの索引作成やWeb上の情報の網羅的な収集に使い、ページから必要な項目を抜き出すスクレイピングと組み合わせることが多い。robots.txtの指示や利用規約を守り、アクセスの間隔を空けて相手のサーバに負荷をかけないよう配慮する。

プログラム（クローラ）がWebページのリンクを自動的にたどって巡回し、ページを収集すること。検索エンジンの索引作成やデータ収集に使われ、集めたページから必要な情報を抜き出すスクレイピングと組み合わせて使う。対象サイトへの負荷や利用規約、robots.txtの指示に配慮する必要がある。

Webブラウザをクライアントとして利用し、Webサーバ上でアプリケーションを動作させるシステム形態。専用のクライアントソフトウェアが不要で、ネットワーク経由でどこからでもアクセスできる利点がある。

WebブラウザからのHTTPリクエストを受け付け、HTMLファイルや画像などのコンテンツを返すサーバソフトウェアまたはそのサーバ機器。ApacheやNginxなどが代表的なWebサーバソフトウェアである。

Webサーバから受け取ったHTMLなどのデータを解釈し、Webページとして表示するクライアントソフトウェア。URLを指定してWebサイトを閲覧するために使用する。

WebブラウザとWebサーバ間でHTML文書や画像などのデータをやり取りするためのプロトコル。リクエストとレスポンスの仕組みでWebコンテンツの送受信を行う。

Webサーバがブラウザに保存させる小さなデータ。ログイン状態の維持やショッピングカートの管理などに利用される。セキュリティ上の懸念もあり、セッションハイジャックやトラッキングのリスクがある。

Webブラウザを通じて電子メールの送受信や管理を行うサービス。専用のメールソフトが不要で、インターネット環境があればどの端末からでもメールを利用できる。GmailやOutlook.comなどが代表的である。