データベースの変更に対して非同期で処理を追加したい こんにちは、ホシイです。 サーバーアプリケーションをつくっていて、あるデータが追加されたり変更されたときに、別の処理を追加したいということがよくあります。アプリケーションの実装を変更してそこに直接処理を追加することも出来ますが、その改修自体が難しかったり、テストの工数がとれなかったり、負荷増大につながる懸念があったりといった問題はよくついてまわるものです。 追加の処理が元の処理とおなじトランザクション内にある必要がない・多少 …

シリーズ・すこしずつがんばる streaming data 処理 (前回、前々回) の三回目です。 Streaming で逐次処理をやってみる 前回の記事では、固定サイズのデータを一括処理するバッチ処理を扱いました。が、Apache Beam で実現できる streaming data の逐次処理は、見逃すことができない強力な機能です。batch ではあらかじめサイズのわかっている (有限の) データを一括で扱いますが、streaming ではサイズがわからない (無限の) …

すこしずつがんばる streaming data 処理、前回 からのつづきです。 目指していることの概要などは前回の内容をご覧ください。 いちばんかんたんな pipeline を実装してみる さて、前回では定形として用意された template 機能から実行してみることで、Dataflow で処理を行うのがどのようなことかの感覚をつかみました。 今回はそこから一歩進んで、想定した仕様にカスタマイズして処理を書くことを目指してみます。 ハッキリ言ってここからが急にしんどいです。 …

パブリッククラウドでよくマネージドで提供されているサービスのうち、活用が大きなアドバンテージになると感じるものに、リアルタイムの逐次データ処理、streaming data 処理があります。これを実現するために、OSS はじめ多くのベンダーからもさまざまなものが提供されていますが、GCP で streaming data 処理といえばやっぱり Dataflow です。(独断と偏見) Streaming data 処理とは 単に streaming data 処理というとさまざ …