프로젝트 개요
AWS Batch, EFS, Lambda와 이벤트 기반 메시징을 결합해 유전체 시퀀싱 분석 작업을 병렬 실행하고 리포트 생성까지 오케스트레이션하는 플랫폼입니다.
대용량 유전체 데이터 처리를 위한 이벤트 기반 서버리스 시스템
유전체 시퀀싱 분석 작업을 AWS Batch로 분리하고, EFS와 S3를 통해 원시 데이터·중간 결과·리포트를 연결한 플랫폼입니다. 이벤트 기반 메시징과 재시도 경계를 두어 분석 요청부터 결과 생성까지의 긴 실행 흐름을 오케스트레이션합니다.
주요 구현
- 병렬 분석 작업: AWS Batch 작업 단위로 분석 실행을 분리하고 컨테이너 이미지를 ECR에서 관리
- 공유 데이터 경로: EFS와 S3를 용도별로 나눠 Batch 작업 사이의 입력·중간 결과·최종 산출물을 연결
- I/O 안정성: EFS 스로틀링 원인을 조사하고 작업·파일시스템 경계를 조정
- Lambda 실행 경계: 장시간 분석은 Batch에 두고 Lambda는 트리거·상태 전환·리포트 오케스트레이션에 집중
- 메시지 기반 리포트: EventBridge, SNS, SQS를 이용해 분석 완료와 리포트 생성 흐름을 분리
- 운영 가시성: CloudWatch에서 작업 상태와 실패·재시도 흐름을 관찰
Technical Architecture
1. Compute & Storage
- AWS Batch + EFS: 컨테이너 기반 분석 작업과 공유 중간 결과
- Lambda: 요청 트리거, 상태 전환, 리포트 생성 오케스트레이션
- S3 · EFS: 원시 데이터, 중간 결과, 최종 산출물의 용도별 저장
2. Event-Driven Pipeline
- EventBridge + SNS/SQS: 이벤트 트리거와 작업 단계 분리
- AppSync · Cognito: API 및 사용자 인증·권한
- CloudWatch · ECR: 모니터링 및 컨테이너 이미지 관리
Key Technologies
NextJS, NestJS, FastAPI, TypeScript, Python, AWS Batch, Lambda, Step Functions, AppSync, EventBridge, SQS, SNS, EFS, S3, Cognito, CloudWatch, ECR, CloudFormation
Developed with NestJS, AWS Batch, and an event-driven serverless architecture.
설계에서의 판단
오래 실행되는 분석 작업과 짧은 상태 전환을 분리하는 것이 핵심입니다. Batch는 계산을, Lambda는 트리거와 오케스트레이션을 맡고, 메시징으로 리포트 생성 단계를 분리합니다. 공유 파일은 EFS, 최종 산출물은 S3로 용도를 나눠 작업 간 데이터 흐름을 명확하게 구성했습니다.
2026년 10월 9일 기존 구현 기록을 정리했습니다. 이미지는 기존에 공개한 플랫폼 화면입니다.