PHPカンファレンス2017にゴールドスポンサーとして協賛します!
株式会社オールアバウトは、10月8日(日)に東京・大田区産業プラザ PiOで開催される国内最大のPHPイベント「PHPカンファレンス」にゴールドスポンサーとして協賛いたします。
オールアバウトでは2015年から毎年スポンサーとして協賛しており、今年も協賛することになりました!
カンファレンス当日はブースを出展し、弊社の若手エンジニア数名が参加いたします。
ブースではノベルティの配布もありますので、ぜひ会社で使用してる技術のことなど気軽に聞きに来て下さい。
Cloud Dataflow PythonSDKによるビッグデータ処理実装応用
Cloud Dataflow
オールアバウトシステム部開発Gの@tajima_tasoです。
前々回、Cloud Dataflow PythonSDKによるビッグデータ処理実装入門の記事にてPythonのSDKを使用したDataflowの基礎についてご紹介しましたが、今回はGCPの他のサービスとも連携した応用方法をご紹介します。
GCPの中でも、GCSについては既に基礎編でご紹介したので、応用編ではBigQuery、Datastore、そしてそれらのデータを処理するのに便利な機能についてご紹介します。
情報量が多くて途中混乱するかもしれませんが、最も大事なことはデータの入力、変換、結果の出力と保存にフォーカスすることです。手段に気を取られて目的を見失わないようにすることが何事も大事です。
続きを読む第2回 開発合宿@土善旅館に行ってきました
こんにちは!!オールアバウト新卒の@y_hideshiと@sinpey_g2です!
昨年の開発合宿から1年が経ちました。
ということで、今年は千葉まで出向き2日間の開発合宿を行いました(7月22日(土) 23(日))
土日に行ったため、参加者が少ない可能性を心配していましたが11名もの方に参加していただきました。 また、今年も費用については全額会社が負担してくれるため遠出することにしました!!
続きを読むCloud Dataflow PythonSDKによるビッグデータ処理実装入門
Cloud Dataflow
オールアバウトシステム部開発Gの@tajima_tasoです。
前回、Google Cloud Platformをフル活用してNo-Opsでビッグデータ処理基盤を構築したの記事にて弊社がGCP上のサービスを利用して、No-Opsでのシステム基盤促進に取り組んでいるとご紹介させて頂きましたが、今回はその中のCloud Dataflowについてご紹介させて頂きます。
Cloud Dataflowの基礎
Cloud Dataflowを利用する為にはSDKを使用します。利用できるプログラミング言語としてはJavaとPythonがありますが、私のチームではDataflow SDK for Pythonを利用して、DataFlowでの処理を行っています。
なお、以下の説明では、公式ドキュメントの内容が十分な箇所については極力省略させて頂いておりますので、必要に応じて公式ドキュメントもご参照下さい。
続きを読む