모던 데이터 파이프라인 구축기: 레거시를 넘어
Medium
오래된 집에서 배관 누수가 발생하면 배관공이 필요하듯,
오래된 소프트웨어에도 레거시가 발생하면
엔지니어링이 필요합니다.
현대 사회의 많은 소프트웨어는
마치 하나의 기계와 같은
복합적이고 체계적인 구조를 가지고 있습니다.
이런 구조를 이해하고 필요한 구성요소를 개선하거나 새롭게 만드는 일을
’레거시 모더나이제이션 (Legacy Modernization)’이라고 부릅니다.
해당 아티클은 클라우드 인프라인 AWS와 GCP를 결합하여
더 쉽게 이해 가능하고,
더 관리가 수월하며,
필요시 확장 가능한 구조를 만드는 과정을 보여주고 있습니다.
클라우드 시스템을 하나의 시스템만 사용하는 것이 아닌,
두 가지 이상을 결합하는 하이브리드형 구조를
만든 것이 인상적이였습니다.
AWS의 마이크로 서비스와 GCP의 마이크로 서비스들이
파이프라인 내에서 각자
어떤 역할을 하는지를 알아보는 재미도 있었구요.
데이터 엔지니어/분석형 엔지니어를 꿈꾸는 분들에게
현대적인 데이터 파이프라인이란 어떤 것이고,
전체적인 데이터 플로우를 파악할 수 있게 도와주는 아티클이니
꼭 한번 읽어보시길 추천드립니다 :)
다음 내용이 궁금하다면?
이미 회원이신가요?
2025년 6월 10일 오후 10:40