dataautomation 2023.09 - 2023.11
공공 주차장 빅데이터 분석 프로젝트 (서울시)
데이터 엔지니어
서울시의 빅데이터(주차장, 상권, 인구 이동)를 활용한 최적 입지 분석 프로젝트에 참여했습니다. Python과 AWS 서비스를 활용해 데이터 처리 ETL 파이프라인 및 ML 학습용 API를 구축하였으며, 분석 결과를 GIS 기반 지도에 시각화했습니다.
담당 역할
- • 데이터 엔지니어: 전체 데이터 파이프라인 및 분석 모델의 기술 설계를 담당하고, AWS 기반 데이터 수집·처리 자동화 파이프라인을 구축·운영했습니다.
성과
- • 서울시 빅데이터 콘테스트 본선 진출 및 우수상 수상
- • 대규모 데이터 처리 프로세스를 최적화하여 파이프라인 효율화를 실현했습니다.
기술 환경
OS: AWS 기반 클라우드 환경 / DB: NoSQL (AWS DynamoDB) / 언어: Python, SQL / 클라우드: AWS Lambda, AWS API Gateway, AWS S3, AWS DynamoDB / 도구: QGIS, VSCode, DBeaver
Tech Stack
Python SQL AWS Lambda AWS S3 AWS DynamoDB QGIS