분석을 위한 데이터 파이프라인을 짜다 보면 고민하게 되는 부분 중의 하나가 '어떤 툴을 사용할 것인가' 입니다. 많은 경우 AWS나 GCP 같이 사용중인 클라우드에 있는 각종 서비스를 조합해서 파이프라인을 구성하지만 이런 경우에도 클러스터나 서버만 빌리고 툴은 따로 설치하거나 아예 일부 구간의 경우 Snowflake나 Segment와 같은 외부 툴을 이용하는 경우도 흔하죠. 파이프라인 구축에 사용할 있는 리소스가 한정적인 초기 스타트업이거나, (ML 모델의 경우) 최적화에 대한 필요성이 적은 경우는 올인원 플랫폼에 의지하는 것이 나은 선택일 수도 있겠지만, 서비스가 커지고 데이터를 적극적으로 활용하게 될 수록 분석과 처리에 대한 유연성이 중요해지거니와 최근 데이터 및 ML관련 각종 라이브러리의 발전 속도가 빨라지는 추세를 봤을 때 어느 시점에서는 올인원 플랫폼을 벗어나 좀 더 커스터마이징이 가능하고 각각의 단계에 최적화 된 BoB(Best of Breed) 툴을 사용할 수 밖에 없다는 것이 이 글의 요점입니다. 또한 쿠버네티스와 같은 프레임워크로 인해 라이브러리 간의 조율도 훨씬 쉬워졌기 때문에 시장에서도 결국 BoB툴들이 올인원 플랫폼에 대한 승리를 거둘 것이란 분석도 더해져있네요.