ストリーム処理

連続的に発生するデータ（ストリームデータ）をリアルタイムに処理する手法。バッチ処理と異なりデータの到着と同時に処理を行う。IoTセンサデータやログの即時分析に使用される。Apache Kafka、Apache Flinkが代表的なツール。

バッチ処理やデータ転送などの定型業務（ジョブ）を、指定した日時や条件に基づいて自動的に実行・管理するソフトウェア。ジョブの実行順序、依存関係、異常時の処理を制御する。

データが発生する端末やその近くに置いたサーバでデータを処理する方式。すべてのデータをクラウドに送らずに現場側で処理することで、通信の遅延を減らしてリアルタイムの制御に対応でき、通信量やクラウドの負荷も抑えられる。機密データを外部に出さずに済む利点もあり、クラウドと処理を分担して使う。

ジョブの実行の日時、順序、前後の依存関係、異常時の扱いなどを定義し、それに従ってジョブを自動的に起動・監視するプログラムやソフトウェア。OSのジョブ管理の機能のほか、複数のサーバにまたがる夜間のバッチ処理などを一元的に制御する製品がある。

一定期間に発生したデータや処理要求をためておき、決まった時刻にまとめて一括で処理する方式。データの収集では、業務システムから1日分の取引データを夜間に一括で取り込むといった形で使い、大量のデータを効率よく処理できるが、データの反映に遅れが生じる。発生の都度処理するリアルタイム処理やストリーム処理と対比される。