🌈 BigLake: unifying data lakes and data warehouses across clouds 🎁 이 글을 추천하는 이유 - 이제는 인지도가 어느정도 생긴 Google C

🌈 BigLake: unifying data lakes and data warehouses across clouds 🎁 이 글을 추천하는 이유 - 이제는 인지도가 어느정도 생긴 Google Cloud Platform의 데이터 웨어하우스의 BigQuery를 사용하다보면 항상 Tabular 데이터만 저장해야 하는 아쉬움이 존재했습니다 - Tabular 데이터가 아닌 경우엔 많은 분들이 Object Storage에 저장해서 사용하고 있을 것 같습니다. 즉, 데이터의 형태에 따라 접근하는 방식이 달랐습니다 - 이런 문제를 해결하기 위해 최근 Cloud Data Summit에서 Google이 Data Lake 엔진인 BigLake 프리뷰 출시를 발표했습니다 - 아직 프리뷰 단계라 사용하긴 이르지만, 이런 흐름을 알고 있다면 추후에 어떤 방식으로 아키텍쳐를 만들어야 할지를 더 이해하기 수월해집니다 - BigQuery Omni와 어떤 차이가 있나 생각해봤는데, BigQuery Omni보다 더 큰 개념이라고 보시면 될 것 같습니다 - 흥미로운 프러덕트가 계속 나오고 있어서, 보고 계셔도 좋을 것 같습니다 ✍ 내용 요약 - Cloud Data Summit에서 데이터레이크 엔진인 BigLake 프리뷰 출시 발표 - 조직에서 분석해야 하는 데이터의 양이 많아지며, 여러 저장소(데이터레이크, 데이터웨어하우스, NoSQL 등)로 분산됨 => 사일로가 생겨 데이터 이동할 때 리스크와 비용이 생김 - 데이터웨어하우스와 레이크를 통합할 수 있는 스토리지 엔진 BigLake 출시 - BigQuery 경험을 바탕으로 Cloud Storage의 데이터레이크로 확장하며, 데이터레이크와 데이터웨어하우스를 추상화해서 단일 서비스로 출시 - 즉, Cloud Storage나 BigQuery 데이터를 동일한 인터페이스로 접근할 수 있음 💎 기타 참고 자료 - 테크크런치 글 : https://techcrunch.com/2022/04/05/google-cloud-launches-biglake-a-new-cross-platform-data-storage-engine/ - 유튜브 영상 : https://www.youtube.com/watch?v=ai7y73FlBGA