【東京/大阪】ソフトウェアエンジニア (データ基盤)
<仕事内容> 当社はビジネス全体にデータサイエンスとテクノロジーを活用しており、配送センターでの数百台のロボット活用など、新しい切り口でチャレンジを続けているテックカンパニーです。 急速に拡大を続けるビジネスの変化に対応するため、全面的に国内ECシステム基盤の刷新を進めています。このECシステム基盤は、検索システム, API基盤やデータ基盤などのシステムを含み、また基幹システム, 商品情報管理システム, マーケティングシステムなど様々なシステムとの連携が必要となるなど、システム全体として非常に規模が大きく、チャレンジングなものとなっています。 本ポジションでは、データを専門としたソフトウェアエンジニアとして、これらのシステムに対し大量のデータを高速に連携するためのリアルタイムデータパイプラインの構築、運用を担当いただきます。 例えば、バリエーションに富むデータソースからデータ連携するシステムの構築、大量のデータをリアルタイムに処理するためストリーム処理システムの構築、検索や推薦などのデータ利活用サービスのためにデータ提供を行うシステムの構築、データの完全生や一貫性を保つための仕組みの構築など技術的に高度な課題が多くあります。リアルタイムデータパイプラインは今後、当社のシステム全体のデータロジスティクスの中心となるプラットフォームで、ECシステムの中心となる重要な要素です。 <本ポジションの主な役割> ・データパイプラインの開発運用 ・ストリーム処理の開発運用 ・各種データソースとデータパイプラインの連携のためのシステムの開発運用 ・ETL処理基盤の開発運用 ・データ提供のためのAPIの開発 【主な使用技術】 Google Cloud(BigQuery, Bigtable, Cloud Pub/Sub, Memorystore for Redis, Looker, Looker Studio, etc.) / dbt / Kubernetes / Apache Kafka / Github Enterprise / Argo CD / Argo Workflow / Python / Go
