dataautomation 2023.09 - 2023.11
公共駐車場ビッグデータ分析プロジェクト（ソウル市）
データエンジニア
ソウル市のビッグデータ（駐車場、商圏、人口移動）を活用した最適立地の分析プロジェクトに参加しました。PythonとAWSサービスを活用し、データ処理ETLパイプラインおよびML学習用APIを構築し、分析結果をGISベースの地図で可視化しました。
担当・役割
- • データエンジニア:全体のデータパイプラインおよび分析モデルの技術設計を担当し、AWSベースのデータ収集・処理の自動化パイプラインを構築・運用しました。
成果・実績
- • ソウル市ビッグデータコンテストで本選進出および優秀賞を受賞しました。
- • 大規模データ処理プロセスを最適化し、パイプラインの効率化を実現しました。
技術環境
OS: AWSベースのクラウド環境 / DB: NoSQL (AWS DynamoDB) / 言語: Python, SQL / クラウド: AWS Lambda, AWS API Gateway, AWS S3, AWS DynamoDB / ツール: QGIS, VSCode, DBeaver
Tech Stack
Python SQL AWS Lambda AWS S3 AWS DynamoDB QGIS