Apache NiFi Statelessの使い方

今回は以前別の記事で紹介したApache NiFiについて、通常とは違う処理エンジンとして実装されているStatelessエンジンについて簡単に紹介します。

Apache NiFiについて紹介した記事は以下のリンクからどうぞ。 blog.jbs.co.jp

バージョン1.10.0で実装された機能で、デフォルトのNiFiランタイムとは別に開発された軽量なStatelessランタイムを使用して実行され、パフォーマンス/効率/スケーラビリティが非常に良いものとなっています。

初期段階だと、別のバイナリを起動して動かさなければいけない等、使用しにくいところがあったのですが、NiFiがアップデートされるにしたがってどんどん使いやすくアップデートされていっています。

NiFi Statlessには以下の様な特徴があります。

	デフォルト	Stateless
メリット	ディスクに永続化されているためデータの損失が発生しづらい	ディスクへの書き込みがボトルネックにならず動作が高速
デメリット	ディスクへの書き込みが発生するためボトルネックになり性能が出ない場合がある	データの損失が発生する可能性がある

今回使用した環境は、Windows上で以下のバージョンのNiFiを実行して確認しています。

NiFi 1.xとNiFi 2.xでStatelessでの実行方法が違うため、それぞれの手順を紹介します。

まず、ProcessGroupを配置して、その中にStatelessエンジンで動かしたいフローを構築します。
　
ProcessGroup
　
サンプルフロー
　
ProcessGroupを右クリックして、「Download flow definition」内の項目をクリックしてDataflowファイルをダウンロードします。　
Dataflowファイルダウンロード
「ExecuteStateless」プロセッサを配置します。　
ExecuteStatelessプロセッサ
ダウンロードしたファイルのパスをセットし、「Content Storage Strategy」でContent(Flowfileのデータ)をメモリに乗せるかディスクに乗せるかを設定します。　
ExecuteStateless設定画面
「ExecuteStateless」プロセッサをStartします。
ExecuteStatelessプロセッサ Start状態

NiFi 2.xでは、ProcessGroupから実行エンジンを選択するだけで、Statelessで実行することができます。

Statelessで実行したいProcessGroupを右クリックして、Configureをクリックします。
ProcessGroup NiFi 2.x

ProcessGroup NiFi 2.x メニュー
「Execution Engine」の項目をStatelessに設定します。
デフォルトでは親ProcessGroupの実行エンジンの設定を継承する設定となっています。
ProcessGroup設定画面　エンジン選択

ProcessGroup設定画面　エンジン選択後
ProcessGroupを右クリックしてStartします。
ProcessGroup NiFi 2.x Start