AWS S3에서 대용량 CSV 파일을 효율적으로 스트리밍하고 라인별로 처리하는 방법

AWS S3 대용량 CSV 스트리밍 처리의 필요성

현대 데이터 환경에서는 수백 MB에서 수십 GB에 이르는 대용량 CSV 파일을 다루는 일이 흔합니다. 이런 대용량 데이터를 단순히 로컬로 내려받아 처리하는 방식은 비효율적이며, 메모리 부족 및 처리 시간 증가로 이어질 수 있습니다. 특히 AWS S3에 저장된 CSV 파일을 분석하거나 가공해야 할 때, 메모리 효율을 극대화하면서 빠르게 라인별로 처리할 수 있는 전략이 필요합니다.

이 글에서는 S3에서 대용량 CSV 파일을 효율적으로 스트리밍하는 방법, 이를 Python과 Node.js로 구현하는 코드 예시, 성능을 높이기 위한 실전 팁까지 총망라하여 설명합니다.

AWS S3 대용량 CSV 스트리밍의 기본 원리

S3 객체와 스트리밍의 개념

S3에 저장된 객체는 인터넷을 통해 전체 파일을 다운로드하거나, HTTP Range 요청을 통해 부분적으로 다운로드할 수 있습니다. 특히 스트리밍 처리는 전체 파일을 메모리에 올리지 않고, 작은 청크(chunk) 단위로 다운로드하여 실시간으로 처리할 수 있는 방식입니다.

이 방식의 주요 장점:

• 메모리 부담 최소화 (특히 수 GB 데이터 처리 시)
• 부분적 오류 복구 가능
• 스트림 기반 후처리(예: 데이터베이스 적재, 실시간 변환) 용이

Python을 이용한 S3 대용량 CSV 스트리밍

Python에서 boto3 라이브러리와 smart_open 또는 표준 io 모듈을 조합하면 손쉽게 S3에서 스트리밍이 가능합니다.

boto3와 smart_open 기반 예제

import boto3
import smart_open

bucket_name = 'your-bucket-name'
object_key = 'large-file.csv'

s3_uri = f's3://{bucket_name}/{object_key}'

with smart_open.open(s3_uri, 'r') as s3_file:
    for line in s3_file:
        process_line(line)  # 각 라인 처리 로직

핵심 포인트

• smart_open은 내부적으로 S3 스트림 처리를 최적화하여, 메모리 과부하 없이 데이터를 순차적으로 읽을 수 있게 합니다.
• 각 라인을 즉시 처리하도록 설계하여, 전체 데이터를 다 읽을 필요 없이 실시간 분석이 가능합니다.

반응형

Node.js에서 S3 대용량 CSV 스트리밍

Node.js 환경에서는 AWS SDK와 스트리밍 모듈(stream, csv-parser)을 활용할 수 있습니다.

Node.js 예제

const AWS = require('aws-sdk');
const s3 = new AWS.S3();
const csv = require('csv-parser');

const params = {
  Bucket: 'your-bucket-name',
  Key: 'large-file.csv'
};

const s3Stream = s3.getObject(params).createReadStream();

s3Stream
  .pipe(csv())
  .on('data', (data) => {
    processRow(data);  // 각 CSV 행 처리 로직
  })
  .on('end', () => {
    console.log('CSV 처리 완료');
  });

핵심 포인트

• createReadStream으로 S3에서 스트림을 생성.
• csv-parser로 각 CSV 행을 파싱.
• 데이터 양이 크더라도 이벤트 기반 스트림으로 처리 가능.

성능 최적화를 위한 실전 팁

청크 사이즈 조정

S3 getObject는 기본적으로 8MB 청크를 사용합니다. 상황에 따라 Range 헤더를 직접 지정해 청크 크기를 조정하면, 네트워크 환경이나 처리 로직에 맞게 최적화할 수 있습니다.

병렬 처리

단일 스트림으로 처리할 수 없는 경우, 파일을 S3 멀티파트로 분할하거나, Range를 나눠 여러 스트림을 병렬로 실행할 수 있습니다. 다만, 순서 보장이 필요 없는 경우에만 추천됩니다.

에러 핸들링 강화

대용량 스트림 처리 중 네트워크 오류, 파일 손상 등의 이슈에 대비해, 청크 단위 재시도 로직을 추가하는 것이 중요합니다.

메모리/CPU 모니터링

대용량 데이터를 실시간으로 처리하면 메모리와 CPU에 부담이 갈 수 있습니다. 처리 서버의 리소스를 지속적으로 모니터링하면서, 필요시 백프레셔(backpressure)나 스트림 제한을 적용하세요.

반응형

실제 사례 분석: 스트리밍으로 효율을 높인 사례

케이스 1: 데이터 분석 플랫폼

한 글로벌 분석 플랫폼은 S3에 저장된 50GB 크기의 로그 파일을 매일 처리해야 했습니다. 기존에는 파일 전체를 EC2로 다운로드한 뒤 처리했지만, 이로 인해:

• EC2 스토리지 부담 증가
• 처리 시간 2시간 이상 소요

이를 스트리밍 처리로 전환 후:

• 메모리 소모량 70% 감소
• 처리 시간 30분 단축
• 동시 분석 프로세스 5배 증가

케이스 2: 실시간 ETL 파이프라인

한 금융사는 S3에서 매일 업데이트되는 CSV를 실시간 ETL 파이프라인으로 연결했습니다. Node.js 스트리밍을 통해 데이터베이스에 즉시 반영하도록 하여, 데이터 최신성을 실시간에 가깝게 유지할 수 있었습니다.

스트리밍 처리의 한계와 보완 방법

대용량 파일 분할

아무리 스트리밍을 활용해도 단일 거대 파일을 처리할 때는 I/O 병목이 발생할 수 있습니다. S3 업로드 시 멀티파트 업로드로 파일을 나누거나, Athena/Glue와 같은 서버리스 쿼리 서비스를 병행 활용하는 것이 좋습니다.

데이터 형식 유연성

CSV 외에 Parquet, ORC 같은 칼럼형 포맷은 스트리밍에 적합하지 않을 수 있습니다. 이럴 경우 Glue ETL로 변환하거나, Athena로 직접 쿼리하는 방식이 유리합니다.

반응형

결론

AWS S3에서 대용량 CSV 파일을 스트리밍으로 처리하면, 메모리 최적화, 빠른 속도, 실시간 분석이라는 세 가지 이점을 모두 잡을 수 있습니다. Python, Node.js 등 주요 언어에서 손쉽게 구현 가능하며, 실전에서 활용할 경우 대규모 데이터 환경에서도 강력한 경쟁력을 확보할 수 있습니다.

이제 더 이상 대용량 CSV 다운로드로 시간을 낭비하지 마세요. 스트리밍 처리로 귀사의 데이터 파이프라인을 혁신해보시길 바랍니다.