Spark bucketed Table을 잘 쓰기 위한 방법
Spark bucketing의 특징과 잘 쓰기 위한 방법에 대해 정리했습니다. shuffle partitions, number of bucket 이 두가지 값이 가장 중요하네요. (그리고 스파크 버전)
Spark bucketing의 특징과 잘 쓰기 위한 방법에 대해 정리했습니다. shuffle partitions, number of bucket 이 두가지 값이 가장 중요하네요. (그리고 스파크 버전)