데이터 엔지니어 필독 아티클 모음

회사에 들어가고 혼자서는 절대 해보지 못할 다양한 경험들을 해보았던 것 같습니다. 열심히 하기 위한 개인의 노력도 당연히 있었지만 아마 어디서도 만나지 못할 훌륭한 개발자 분들을 회사에서 만났기 때문에 더욱 더 다양한 일들을 수행할 수 있지 않았나 하는 생각이 듭니다. 이제 입사한지도 벌써 8개월이 되어 가고 있는데요. 초반에는 일에 치여 바쁘게 사느라 생각해보지 못한 것들이 요새는 자꾸만 생각나는 것 같습니다. 데이터 엔지니어를 꿈꾸고 이를 향해 달려온 지도 꽤나 많은 시간이 흘렀는데, 과연 나는 어떤 데이터 엔지니어가 되고 싶은지, 내 종착지는 어디인지에 대한 고민입니다. 생각해보면 지금까지는 훌륭한 데이터 엔지니어는 무엇이고, 그럼 그 훌륭한 엔지니어가 되기 위해서는 어떤 일들을 해야하는지에 대해 딱히 큰 고민을 해본 적이 없었던 것 같습니다. 그저 취업을 위해 데엔이라면 모두들 써본다는 기술 스택을 써보고 만족할 뿐이었죠. 지금도 개인적으로는 하기 어려운 여러 프로젝트들을 해보면서 신기술을 써봤다는 도취감에 빠져있기만 할 뿐인 것 같습니다. 이런 현타(?) 아닌 현타를 느끼고 이제는 내가 과연 어떤 데이터 엔지니어가 되기를 원하는 지 목표를 확실히 정하고 이에 맞는 공부와 노력을 행해야 겠다고 생각했습니다. 이번 글은 제 개인적인 회고와 각오들로 가득한 글이 될 거 같습니다. 원래는 개인적인 글로만 남길까 했지만 저와 비슷한 고민을 하고 계시는 분들도 있을 것이라고 생각하고 공유를 하기로 결심했습니다.

데이터 엔지니어링일을 하다보면 종종 박훈님의 글을 접하게 되는데요, 최근에도 좋은 글을 작성해주셔서 공유합니다. tldr; 엔지니어링을 "비즈니스 메트릭을 측정하고 이들의 구성 요소를 찾아 확률에 근거해 개선하는 Daily Execution"로 정의했고 각각 요소들에 대한 설명을 해주셨습니다. 마침, 최근에 엔지니어링은 무엇인지에 대해 저도 고민을 하고 있었는데 생각 정리에 도움이 되었습니다. --- 저도 비슷하게 데이터를 기반으로 제품을 만드는 Product Engineer가 되어야겠다고 생각은 했었고 다음의 흐름대로 이런 생각까지 오게 되었습니다: 대학교를 졸업하고 소프트웨어 엔지니어로 커리어를 쌓기로 결정했을 때는 단순히 무언가를 만든다는게 즐거웠기 때문이었습니다. 그러다가 막상 회사에 소프트웨어 엔지니어로 취업하니 단순히 무언가를 만들기"만" 하는 직업은 아니었다고 느꼈습니다. 때로는 문서를 작성하고, 코드 리뷰를 하고, 코드를 작성하면서 회사에서 저에게 준 문제를 해결해 나갔습니다. 단순히 코드만 작성하는 뿐만 아니라, 문제를 해결하기 위해 다방면으로 일을 해야 했습니다. 소프트웨어 엔지니어의 중요한 역량중에 문제 해결 능력이 있다보니 엔지니링은 소프트웨어 관련한 문제를 푸는 것인가 생각도 들었었습니다. 그러다가 문제를 푸는게 중요하고 필요한 역량인건 알겠는데, 나는 왜 이 문제를 풀려고 하고 회사는 나에게 왜 이런 문제들을 줬는지 생각을 하게 되었습니다. 결국에는 나는 비즈니스 임팩트를 내기 위해서 소프트웨어 문제들을 풀고 있구나 라는 생각을 갖게 되었습니다. 비즈니스 임팩트가 없는 일이라면 회사에 크게 도움 되지 않기에 굳이 할 필요가 없기 때문입니다. --- 비즈니스 임팩트를 내는 엔지니어가 되기 위해 엔지니어링에 대한 정의부터 잘 다져야겠습니다 :)

Data Scientist라는 직무의 역할에 대해서만 해도 국내에서 회사마다 다르게 정의되어있는 것 같은데, Shopify에서는 또 새롭게 full stack data scientist라는 직무를 소개했습니다. 요약 부분부터 먼저 말씀드리자면, - 비즈니스 문제를 해결하는데 집중하고 - 비즈니스 문제를 확인하고 해결하는 처음부터 끝까지에 오너십을 갖고 - T자형 스킬을 구축하면서 동시에 data science 전반적인 기술도 개발하고 - 언제, 어떤 툴이나 기술을 사용해야 하는지 아는 data scientist를 full stack data scientist라고 부른다고 합니다. 결국 하나의 작은 data science 프로젝트만 하는 것이 아닌 실제로 회사의 비즈니스 문제를 data science로 해결하는 것을 의미하는 걸로 보입니다. full stack data scientist가 되기 위해서는 밑의 역량들이 필요하다고 합니다: - 비즈니스 통찰력: 비즈니스 문제를 잘 파악하고 올바른 질문을 하기 위함 - 커뮤니케이션: 이해관계자들이 잘 이해할 수 있게 하기 위함 - 프로그래밍: 실제 코드를 문제 해결에 반영하기 위함(주로 Python이나 SQL) - 데이터 분석: 실제 비즈니스 문제에 대한 답을 찾기 위함 - 데이터 엔지니어링: 파이프라인을 만들고 배포하기 위함 - ML: 비즈니스 문제를 해결하기 위해 필요할 수 있는 스킬셋임 Shopify의 정의를 보니 문제를 해결하는데 집중한다는 면에서 Software Engineer와 비슷하다는 생각을 하게 되었습니다, 단지 full stack data scientist는 data라는 도메인에 더욱 특화되어 있을 뿐. 결국, 어느 직무나 문제를 잘 파악하고 해결하는 것이 중요하고, 그렇게 잘 하기 위해서 미리미리 필요한 스킬셋들을 잘 갈고 닦아야 되는 것 같습니다.

커리어리 친구들, 1부에 이어 제 2부 에서는 데이터 구조 및 알고리즘, 머신 러닝, 딥 러닝, 자연어 처리, 데이터 엔지니어링, 웹 프레임워크에 대한 기술 인터뷰를 준비하는 데 도움이 되는 치트 시트 모음을 정리했습니다. 아래의 링크를 누르시면 해당된 외부 링크와 간략한 설명이 덧붙여져 있습니다.