NEW本日掲載開始
【データ処理・基盤構築/神田(一部リモート相談可)】位置情報データ分析PJTにおけるデータ処理・分析基盤の構築支援
案件によっては早期に募集停止となる可能性があり、応募ができない場合もあります。
ご応募と同時にHiPro Techサービス会員となります。
ご登録のメールアドレスには、HiPro Techから活動状況に応じた役立つメールをお送りすることがあります。ご了承ください。
ご応募と同時にHiPro Techサービス会員となります。
ご登録のメールアドレスには、HiPro Techから活動状況に応じた役立つメールをお送りすることがあります。ご了承ください。
案件について
データベース(DB)エンジニア
データサイエンティスト
上記の職種経験がなくてもスキルが一致すれば応募可能
週5日
800,000円
~
900,000円
/
月単価
東京都
千代田区
・
常駐+リモート
エージェントサービス
業務内容
同社、プロダクト開発部内のデータ分析チームにおける、データ処理・基盤構築をお任せ致します。
具体的には以下内容を、ご経験に併せてお任せする想定です。
■業務内容
- 複数のベンダーから提供される移動体の地理空間データを評価・比較、データ調達プロセスの支援
- プロジェクトでの利用を目的とした、移動体の地理空間データ処理ソリューションの設計・開発
- スケーラブルなデータパイプラインシステムの設計・開発・維持、統合されたETLプロセスを通じて効率的なデータフローを確保
- 位置情報を含む大規模データの高速処理環境の設計、構築、および改善
- 上記に関するドキュメントの作成
【組織体制】
PM:1名
PL:1名
メンバー:3~4名
具体的には以下内容を、ご経験に併せてお任せする想定です。
■業務内容
- 複数のベンダーから提供される移動体の地理空間データを評価・比較、データ調達プロセスの支援
- プロジェクトでの利用を目的とした、移動体の地理空間データ処理ソリューションの設計・開発
- スケーラブルなデータパイプラインシステムの設計・開発・維持、統合されたETLプロセスを通じて効率的なデータフローを確保
- 位置情報を含む大規模データの高速処理環境の設計、構築、および改善
- 上記に関するドキュメントの作成
【組織体制】
PM:1名
PL:1名
メンバー:3~4名
募集背景・課題
同社は、位置情報ビッグデータのAI解析によって位置情報技術の社会実装を目指す大学発ベンチャーです。
現在、官民問わず様々なデータ分析~可視化の依頼を受ける中で、扱うデータ自体の取り扱い量も増えている状況です。
一方で、データ分析を行う上での加工等の前処理が追い付いておらず、効率的なオペレーションが組み切れておらず
案件を進めていく上で歩留まりが発生してします。
コンサルタントや、データサイエンティスト等
同社内の各ステークホルダーと連携しながら、全体を見据えたデータ処理・分析を推進いただける即戦力の方を探しています。
現在、官民問わず様々なデータ分析~可視化の依頼を受ける中で、扱うデータ自体の取り扱い量も増えている状況です。
一方で、データ分析を行う上での加工等の前処理が追い付いておらず、効率的なオペレーションが組み切れておらず
案件を進めていく上で歩留まりが発生してします。
コンサルタントや、データサイエンティスト等
同社内の各ステークホルダーと連携しながら、全体を見据えたデータ処理・分析を推進いただける即戦力の方を探しています。
経験・スキルについて
必須となるスキル・ご経験
・大規模なrawデータの処理経験およびデータ処理基盤の構築経験
・クラウド環境(特にAWS)での分析経験(S3、EC2、EKS、EMR、AWS Glue、Athena、RDSなどのサービスを含む)
・Apache SparkやBigQueryなどのビッグデータフレームワークの利用経験。
・Python/SQLを使ったデータ分析経験
・Linuxのコマンド使用経験
・クラウド環境(特にAWS)での分析経験(S3、EC2、EKS、EMR、AWS Glue、Athena、RDSなどのサービスを含む)
・Apache SparkやBigQueryなどのビッグデータフレームワークの利用経験。
・Python/SQLを使ったデータ分析経験
・Linuxのコマンド使用経験
歓迎されるスキル・ご経験
・Apache Airflow、AWS Step Functions、またはDagsterなどのワークフローオーケストレーションツールの知識。
・DockerやKubernetes(特にEKS)などのコンテナ化およびオーケストレーション技術に関する経験。
・GeoJSON、Shapefile、OSM、PBFなどの空間データ形式に関する知識。
・PostgreSQLなどの関係データベースおよび空間拡張機能(例:PostGIS、pgRouting)に関する経験。
・データウェアハウスとレイクハウスアーキテクチャに関する理解。
・DockerやKubernetes(特にEKS)などのコンテナ化およびオーケストレーション技術に関する経験。
・GeoJSON、Shapefile、OSM、PBFなどの空間データ形式に関する知識。
・PostgreSQLなどの関係データベースおよび空間拡張機能(例:PostGIS、pgRouting)に関する経験。
・データウェアハウスとレイクハウスアーキテクチャに関する理解。
開発環境
開発言語
フレームワーク
案件ID:40151
案件によっては早期に募集停止となる可能性があり、応募ができない場合もあります。
ご応募と同時にHiPro Techサービス会員となります。
ご登録のメールアドレスには、HiPro Techから活動状況に応じた役立つメールをお送りすることがあります。ご了承ください。
ご応募と同時にHiPro Techサービス会員となります。
ご登録のメールアドレスには、HiPro Techから活動状況に応じた役立つメールをお送りすることがあります。ご了承ください。