snowflake에서 databricks 전환으로 비용 76% 줄인 사례

데이터 처리 분야에서 snowflake와 databricks가 끝없이 경쟁하고 있습니다. 이번엔 기존 인프라를 databricks로 전환하며 인프라 비용을 76% 절감한 사례가 공유 되었네요. 제가 이해하기로는 snowflake는 DW에 강점이 있어서 business intelligence에 집중한다면 이득을 많이 볼 수 있고, databricks는 lakehouse architecture 기반으로 data science, machine learning 분야에 많은 장점이 있습니다. 사례로 나온 What If Media Group도 비즈니스의 가장 중요한 부분이 머신러닝과 데이터 사이언스라고 하니, 이 부분에서 비용을 많이 줄인 것 같습니다. 그런데 마이그레이션 이전 아키텍쳐를 보면, 그 당시엔 최선이었겠지만, 비용이 비쌀 수 밖에 없는 구조긴 했네요. snowflake 서비스 안에서는 해결할 수 없어서 databricks의 Delta 로 눈을 돌린 것 같습니다. > These cost savings were driven by several key capabilities that were unlocked with Databricks but were not available with Snowflake. > By migrating key dimensional tables from Snowflake to Delta and streaming events directly from our event store, we no longer had to “reload entire Snowflake tables every 2 minutes” when trying to score and push our marketing messages.