オールアバウトTech Blog

株式会社オールアバウトのエンジニアブログです。

dataflow

Cloud Dataflow PythonSDKによるビッグデータ処理実装応用

Cloud Dataflow オールアバウトシステム部開発Gの@tajima_tasoです。 前々回、Cloud Dataflow PythonSDKによるビッグデータ処理実装入門の記事にてPythonのSDKを使用したDataflowの基礎についてご紹介しましたが、今回はGCPの他のサービスとも連携した応用方…

Cloud Dataflow PythonSDKによるビッグデータ処理実装入門

Cloud Dataflow オールアバウトシステム部開発Gの@tajima_tasoです。 前回、Google Cloud Platformをフル活用してNo-Opsでビッグデータ処理基盤を構築したの記事にて弊社がGCP上のサービスを利用して、No-Opsでのシステム基盤促進に取り組んでいるとご紹介さ…

Google Cloud Platformをフル活用してNo-Opsでビッグデータ処理基盤を構築した

オールアバウトの技術基盤Gではコンテナを利用した開発の推進やクラウドを活用した開発のサポート、DevOpsの推進をしています。今回はそのなかでもGoogle Cloud Platform(GCP)のサービスをフル活用してほぼNo-Opsでビッグデータ処理基盤の構築を行ったのでそ…