IT用語帳
APデータベース · データベース応用

データクレンジング

Data Cleansing

でーたくれんじんぐ

表記の揺れ、重複、欠損、明らかな誤りを検出して修正・統一し、分析に耐えるデータに整える作業。データウェアハウスへの取込み前に行われ、分析結果の信頼性を左右する重要な工程となる。

共有:

Related

他の資格での定義

IPデータクレンジング

データベースに格納されたデータの中から、重複、誤記、表記ゆれなどの不備を発見し、修正・統一する作業。データの品質を高め、正確な分析や活用を可能にする。

FEデータクレンジング

データベースに格納されたデータから、誤り、重複、不整合、表記ゆれなどを検出・修正し、データ品質を向上させる作業。データウェアハウスへのデータ統合時や分析の前処理として実施される。

DBデータクレンジング

データベースに蓄積された不正確・不完全・重複するデータを検出し、修正・削除・統合する作業。データ品質の向上を目的とし、データ移行やデータウェアハウス構築の前処理として実施される。

DMデータクレンジング

データに含まれる誤りや不備を修正して品質を高める作業。欠損値の補完・除外、外れ値や異常値の修正・削除、重複の排除、表記ゆれの統一などを行う。

PD-Dデータクレンジング

データの誤り、欠損、重複、表記ゆれなどを検出し、修正・補完・削除して、分析や業務に使える品質に整える作業。欠損値の補完・除外、外れ値や異常値の修正・削除、重複の排除、表記ゆれの修正などを行う。原因となる入力や処理を直さないと問題が再発するため、データ品質改善の恒久対策と組み合わせる。

A-1データクレンジング

データに含まれる誤り、欠損、重複、表記ゆれ、外れ値などを検出し、修正・補完・削除して品質を高める作業。分析や機械学習の前処理として行い、欠損値の補完・除外、異常値の修正、重複の排除、表記ゆれの統一、名寄せなどの手法を用いる。

Past Exams

過去問での出題

過去問で 14 回出題(データベーススペシャリスト試験 4・ITパスポート試験 3・システムアーキテクト試験 2・ITサービスマネージャ試験 2・情報セキュリティマネジメント試験 1・応用情報技術者試験 1・情報処理安全確保支援士試験 1)

残り 4 件を表示

出典: 独立行政法人情報処理推進機構(IPA)の過去問題。問題文は IPA のサイトの PDF で確認できます。「選択肢」は、問題文ではなく選択肢に出たものです。用語名で照合しているため、関係の薄い問題が含まれることがあります。

応用情報技術者試験の過去問によく出る用語

Related

関連キーワードの用語

APOLTP

受注入力や口座振替のような、短い更新トランザクションを多数同時に処理する形態。応答時間と整合性が重視される。大量データの集計・分析を行うOLAPとは、求められる設計が大きく異なる。

APレプリケーション

データベースの複製を別のサーバに作り、更新内容を継続的に反映させる仕組み。参照処理を複製側に振り分けて負荷を分散でき、障害時には複製を昇格させて可用性を確保できる。

APシャーディング

データを一定の規則で分割し、複数のサーバに分散して格納する手法。1台当たりのデータ量と負荷を下げてスケールアウトできるが、分割をまたぐ結合や集計、再分割の運用が難しくなる。

APBASE特性

分散データベースが重視する性質で、基本的に利用可能(Basically Available)、やわらかい状態(Soft state)、結果整合性(Eventual consistency)の頭字語。厳密な整合性より可用性を優先する考え方を表し、ACID特性と対比される。

AP結果整合性

更新直後は複製間で内容が食い違っても、一定時間が経てばすべての複製が同じ状態に収束するという整合性のモデル。可用性と応答性能を優先する分散システムで採用される。

APインメモリデータベース

データを主記憶上に保持して処理するデータベース。ディスクへの入出力が発生しないため応答が極めて速い一方、電源断に備えたログの永続化や、主記憶容量の制約への対処が必要となる。