데이터 삼신기로 모든 곳에서 모든 데이터를 한번에 처리합니다.

데이터 처리는 번거롭습니다. 특히 데이터가 여러 군데에, 다양한 종류로 존재하면 번거로움 지수가 더 올라가죠. 1. 단일 쿼리로 여러 시스템의 데이터에 접근할 수 있는 trino 2. 데이터와 모델을 쉽게 관리하는 dbt 3. 대용량 데이터를 한번에 변환하는 Spark 데이터 품질과 유연성을 보장하면서, 빠르고 효율적인 ETL을 수행하도록 이 세가지 도구 조합을 제안하는 글을 공유합니다. > 다양한 옵션을 실험한 결과 trino, dbt 및 Spark를 함께 사용하는 것이 완벽한 솔루션임을 알게 되었습니다. trino는 모든 것에서 데이터를 추출 할 수 있고 , dbt는 모든 곳에서 데이터를 로드 할 수 있으며, Spark는 데이터를 한 번에 변환 할 수 있습니다 . 이 기사에서는 이 강력한 조합을 설정하고 활용하는 방법을 설명합니다.