いきなり脱線: Learning O’Reillyのすすめ

充実したコンテンツ

Untitled

Untitled

Untitled

高い年会費

Data Processing Pattern

データセットのCardinalityに応じたデータ処理パターン

ちなみに「**Cardinality in a Database」**ってどういう意味かよくわかてってません

Bounded Data (有界データ)の処理パターン

エントロピー増々なデータセットを、バッチなどのデータ処理エンジンを通して、構造化されたデータにする

Figure 1-2. Streaming Systems

Figure 1-2. Streaming Systems

Unbounded Data(非有界データ)の Batchパターン

そもそもバッチは有界データを処理するもの。現実的に多くみられるようなUnbounded Dataをバッチで処理する場合は、システムがまず非有界データを、Batchに向いた局所的な有界データ郡に切り分ける。固定ウィンドウとセッションが主な切り分け方法。

Fixed Windows(固定Window)