Cloud Dataflow PythonSDKによるビッグデータ処理実装応用

Cloud Dataflow

オールアバウトシステム部開発Gの@tajima_tasoです。

前々回、Cloud Dataflow PythonSDKによるビッグデータ処理実装入門の記事にてPythonのSDKを使用したDataflowの基礎についてご紹介しましたが、今回はGCPの他のサービスとも連携した応用方法をご紹介します。

GCPの中でも、GCSについては既に基礎編でご紹介したので、応用編ではBigQuery、Datastore、そしてそれらのデータを処理するのに便利な機能についてご紹介します。

情報量が多くて途中混乱するかもしれませんが、最も大事なことはデータの入力、変換、結果の出力と保存にフォーカスすることです。手段に気を取られて目的を見失わないようにすることが何事も大事です。

第2回 開発合宿@土善旅館に行ってきました

こんにちは！！オールアバウト新卒の@y_hideshiと@sinpey_g2です！

昨年の開発合宿から1年が経ちました。

allabout-tech.hatenablog.com

ということで、今年は千葉まで出向き2日間の開発合宿を行いました(7月22日(土) 23(日))

土日に行ったため、参加者が少ない可能性を心配していましたが11名もの方に参加していただきました。 また、今年も費用については全額会社が負担してくれるため遠出することにしました！！

Cloud Dataflow PythonSDKによるビッグデータ処理実装入門

Cloud Dataflow

オールアバウトシステム部開発Gの@tajima_tasoです。

前回、Google Cloud Platformをフル活用してNo-Opsでビッグデータ処理基盤を構築したの記事にて弊社がGCP上のサービスを利用して、No-Opsでのシステム基盤促進に取り組んでいるとご紹介させて頂きましたが、今回はその中のCloud Dataflowについてご紹介させて頂きます。

Cloud Dataflowの基礎

Cloud Dataflowを利用する為にはSDKを使用します。利用できるプログラミング言語としてはJavaとPythonがありますが、私のチームではDataflow SDK for Pythonを利用して、DataFlowでの処理を行っています。

なお、以下の説明では、公式ドキュメントの内容が十分な箇所については極力省略させて頂いておりますので、必要に応じて公式ドキュメントもご参照下さい。

Google Cloud Platformをフル活用してNo-Opsでビッグデータ処理基盤を構築した

オールアバウトシステム部技術基盤Gの@takkyです。
オールアバウトの技術基盤Gではコンテナを利用した開発の推進やクラウドを活用した開発のサポート、DevOpsの推進をしています。
詳しくはこちら： 今回はそのなかでもGoogle Cloud Platform(GCP)のサービスをフル活用してほぼNo-Opsでビッグデータ処理基盤の構築を行ったのでそのアーキテクチャについて説明します。

パフォーマンス改善バトル！社内ISUCONを開催してみた

こんにちは！ 社内ワークショップ運営チームの@C058です。

流行りの社内ISUCONを弊社でも開催しました！ 今回は、社内ISUCONについて、準備したことと開催結果を報告します。