NEW本日掲載開始

【データ処理・基盤構築/神田(一部リモート相談可)】位置情報データ分析PJTにおけるデータ処理・分析基盤の構築支援

エージェントサービスとは?

案件について

データベース(DB)エンジニア
データサイエンティスト
上記の職種経験がなくてもスキルが一致すれば応募可能
週5日
800,000円
900,000円
/
月単価
東京都
千代田区
常駐+リモート
エージェントサービス

業務内容

同社、プロダクト開発部内のデータ分析チームにおける、データ処理・基盤構築をお任せ致します。

具体的には以下内容を、ご経験に併せてお任せする想定です。

■業務内容
- 複数のベンダーから提供される移動体の地理空間データを評価・比較、データ調達プロセスの支援
- プロジェクトでの利用を目的とした、移動体の地理空間データ処理ソリューションの設計・開発
- スケーラブルなデータパイプラインシステムの設計・開発・維持、統合されたETLプロセスを通じて効率的なデータフローを確保
- 位置情報を含む大規模データの高速処理環境の設計、構築、および改善
- 上記に関するドキュメントの作成

【組織体制】
PM:1名
PL:1名
メンバー:3~4名

募集背景・課題

同社は、位置情報ビッグデータのAI解析によって位置情報技術の社会実装を目指す大学発ベンチャーです。
現在、官民問わず様々なデータ分析~可視化の依頼を受ける中で、扱うデータ自体の取り扱い量も増えている状況です。
一方で、データ分析を行う上での加工等の前処理が追い付いておらず、効率的なオペレーションが組み切れておらず
案件を進めていく上で歩留まりが発生してします。

コンサルタントや、データサイエンティスト等
同社内の各ステークホルダーと連携しながら、全体を見据えたデータ処理・分析を推進いただける即戦力の方を探しています。

経験・スキルについて

必須となるスキル・ご経験

・大規模なrawデータの処理経験およびデータ処理基盤の構築経験
・クラウド環境(特にAWS)での分析経験(S3、EC2、EKS、EMR、AWS Glue、Athena、RDSなどのサービスを含む)
・Apache SparkやBigQueryなどのビッグデータフレームワークの利用経験。
・Python/SQLを使ったデータ分析経験
・Linuxのコマンド使用経験

歓迎されるスキル・ご経験

・Apache Airflow、AWS Step Functions、またはDagsterなどのワークフローオーケストレーションツールの知識。
・DockerやKubernetes(特にEKS)などのコンテナ化およびオーケストレーション技術に関する経験。
・GeoJSON、Shapefile、OSM、PBFなどの空間データ形式に関する知識。
・PostgreSQLなどの関係データベースおよび空間拡張機能(例:PostGIS、pgRouting)に関する経験。
・データウェアハウスとレイクハウスアーキテクチャに関する理解。

開発環境

開発言語
フレームワーク
データベース・クラウド・仮想化
サーバー・OS・ネットワーク
サーバーOS/ネットワーク
案件ID:40151
エージェントサービスとは?

同じ職種の案件

類似スキルの案件

同じ担当者の案件

週1・短時間から、週5まで
コミット可能。
HiPro Tech 会員のみ公開案件も多数。
新規登録はこちら