모던 데이터 파이프라인 구축기: 레거시를 넘어
Medium
오래된 집에서 배관 누수가 발생하면 배관공이 필요하듯,
오래된 소프트웨어에도 레거시가 발생하면
엔지니어링이 필요합니다.
현대 사회의 많은 소프트웨어는
마치 하나의 기계와 같은
복합적이고 체계적인 구조를 가지고 있습니다.
이런 구조를 이해하고 필요한 구성요소를 개선하거나 새롭게 만드는 일을
’레거시 모더나이제이션 (Legacy Modernization)’이라고 부릅니다.
해당 아티클은 클라우드 인프라인 AWS와 GCP를 결합하여
더 쉽게 이해 가능하고,
더 관리가 수월하며,
필요시 확장 가능한 구조를 만드는 과정을 보여주고 있습니다.
클라우드 시스템을 하나의 시스템만 사용하는 것이 아닌,
두 가지 이상을 결합하는 하이브리드형 구조를
만든 것이 인상적이였습니다.
AWS의 마이크로 서비스와 GCP의 마이크로 서비스들이
파이프라인 내에서 각자
어떤 역할을 하는지를 알아보는 재미도 있었구요.
데이터 엔지니어/분석형 엔지니어를 꿈꾸는 분들에게
현대적인 데이터 파이프라인이란 어떤 것이고,
전체적인 데이터 플로우를 파악할 수 있게 도와주는 아티클이니
꼭 한번 읽어보시길 추천드립니다 :)
다음 내용이 궁금하다면?
이미 회원이신가요?
2025년 6월 10일 오후 10:40
“직원들에게 월급 외에 출근할 이유를 줘야 합니다. 팀장이 좋다던가, 이 일이 날 성장시킨다던가, 이 일이 좋다던가, 이게 다 여기에 해당합니다.“ 박웅현 TBWA 코리아 조직문화연구소 소장은 직원들을 조직에 남게하는 방법을 이렇게 제안했다.
... 더 보기바
... 더 보기데
... 더 보기앞서 포스팅에서는 데이터 팀의 목적이 무엇이고 어떻게 가치를 생성하는지 이야기해보았다. 이번 포스팅에서는 기본 데이터 직군이라 할 수 있는 데이터 엔지니어, 데이터 분석가, 데이터 과학자에 대해 이야기해보고자 한다.
... 더 보기