데이터가 안정적으로 흐르는 구조를 만들고, 이를 서비스로 연결하는 과정에 관심이 있습니다.
파이프라인을 직접 구성하고 운영 관점에서 개선하며 배운 내용을 기록합니다.
- Python과 DuckDB로 데이터를 정제하고, Apache Iceberg의 Bronze → Silver → Gold 계층으로 적재하는 ETL 파이프라인을 구현했습니다.
- Airflow와 Docker로 배치 워크플로를 구성하고, CDC 변경분을 Neo4j에 증분 반영하는 구조를 설계했습니다.
- Streamlit과 Athena로 Iceberg 테이블 상태를 확인하고 장애 지표를 드릴다운하는 운영 UI를 개발했습니다.
- AWS S3·Glue Catalog·EC2 환경에서 데이터 파이프라인을 운영하고 있습니다.
- Java와 Spring Boot 기반의 API 개발에 참여하며 JPA, MySQL, Spring Security와 AWS 인프라를 경험했습니다.
- 대규모 시스템 설계와 분산 컴퓨팅을 꾸준히 학습하고 있습니다.
Data Engineering & Storage
Backend & Database
Cloud & DevOps
Monitoring Stack
Developer Tools
| Project | What I explored |
|---|---|
| jaewonnow | 현재 보고 있는 GitHub 프로필 README와 자동화 워크플로 |
| Oliveyoung Pipeline | 올리브영 성분 데이터를 Bronze → Silver → Gold로 가공하는 Iceberg ETL 파이프라인 |
| 2025 Engineering Study | 빅데이터 기술과 대규모 시스템 설계를 학습하고 토론한 BOAZ 스터디 |
| 2026 Engineering Study | 데이터 시스템과 분산 컴퓨팅을 학습하고 정리한 BOAZ 스터디 |
| BOAZ Website Backend | Spring Boot와 AWS 기반의 BOAZ 공식 홈페이지 백엔드 API |
| Iceberg UI | Glue/Iceberg 테이블 상태와 Athena 기반 장애 지표 드릴다운을 제공하는 Streamlit 운영 UI |
