유전체 분석-예측 플랫폼

프로젝트 개요

대용량 유전체 데이터 처리를 위한 이벤트 기반 서버리스 시스템

유전체 시퀀싱 분석 작업을 AWS Batch로 분리하고, EFS와 S3를 통해 원시 데이터·중간 결과·리포트를 연결한 플랫폼입니다. 이벤트 기반 메시징과 재시도 경계를 두어 분석 요청부터 결과 생성까지의 긴 실행 흐름을 오케스트레이션합니다.

주요 구현

• 병렬 분석 작업: AWS Batch 작업 단위로 분석 실행을 분리하고 컨테이너 이미지를 ECR에서 관리
• 공유 데이터 경로: EFS와 S3를 용도별로 나눠 Batch 작업 사이의 입력·중간 결과·최종 산출물을 연결
• I/O 안정성: EFS 스로틀링 원인을 조사하고 작업·파일시스템 경계를 조정
• Lambda 실행 경계: 장시간 분석은 Batch에 두고 Lambda는 트리거·상태 전환·리포트 오케스트레이션에 집중
• 메시지 기반 리포트: EventBridge, SNS, SQS를 이용해 분석 완료와 리포트 생성 흐름을 분리
• 운영 가시성: CloudWatch에서 작업 상태와 실패·재시도 흐름을 관찰

Technical Architecture

1. Compute & Storage

• AWS Batch + EFS: 컨테이너 기반 분석 작업과 공유 중간 결과
• Lambda: 요청 트리거, 상태 전환, 리포트 생성 오케스트레이션
• S3 · EFS: 원시 데이터, 중간 결과, 최종 산출물의 용도별 저장

2. Event-Driven Pipeline

• EventBridge + SNS/SQS: 이벤트 트리거와 작업 단계 분리
• AppSync · Cognito: API 및 사용자 인증·권한
• CloudWatch · ECR: 모니터링 및 컨테이너 이미지 관리

Key Technologies

NextJS, NestJS, FastAPI, TypeScript, Python, AWS Batch, Lambda, Step Functions, AppSync, EventBridge, SQS, SNS, EFS, S3, Cognito, CloudWatch, ECR, CloudFormation

Developed with NestJS, AWS Batch, and an event-driven serverless architecture.