Spark Job 최적화, AQE가 웬만한건 알아서 합니다.

Spark version 3 부터 추가된 Adaptive Query Execution 기능은 런타임에서 데이터 통계를 활용해서 쿼리를 최적화 합니다. 파티션 사이즈, 개수 조절과 조인 전략까지 수정해줍니다. 잘 설명한 글이 있어 공유합니다. 이 글 정리 잘 되어있네.. 하고 봤는데 전 팀 동료의 블로그였네요 ㅎㅎ https://bomwo.cc/posts/sparkaqe/