개발자
Spark 작업 빠르게 결과확인하는법?
2023년 11월 21일•조회 83
안녕하세요. spark쓴지도 벌써 2년인데, 아직도 대용량 처리할때마다 pandas때 습관때문에 자꾸 중간결과물들을 확인하는 버릇이 고쳐지질 않네요.. 혹시 선배님들은 spark 쓸때, 중간결과물들 빨리 확인하거나 하는 방법 , 노하우 있으신가요?
이 질문이 도움이 되었나요?
'추천해요' 버튼을 누르면 좋은 질문이
더 많은 사람에게 노출될 수 있어요.
'보충이 필요해요' 버튼을 누르면 질문자에게
질문 내용 보충을 요청하는 알림이 가요.
익명님의 질문
답변 1
zeppelin 을 세팅해서 pyspark 노트북으로 보고 있습니다. 다만 spark 자체가 lazy evaluation 이라 경우에 따라선 pandas 만큼 빠르게 보기는 어렵습니다.
지금 가입하면 모든 질문의 답변을 볼 수 있어요!
현직자들의 명쾌한 답변을 얻을 수 있어요.
이미 회원이신가요?
지금 가입하면 모든 질문의 답변을 볼 수 있어요!