Community

Spark와 궁합이 좋은 Zeppelin notebook 의 꿀 단축키

zeplin과 종종 혼동되는데 p가 하나 더 붙은 제플린(zeppelin) 입니다. 이전 회사에서 zeppelin 으로 많이 작업을 했어서, 그때 정리해둔 단축키를 공유해봅니다. zeppelin을 모르시는 분들을 위한 설명 1. Zeppelin Notebook은 많이들 사용하시는 jupyter notebook 처럼 웹 기반 노트북 대화형 데이터 분석 환경을 제공합니다. 코드, 문서, 시각화 및 결과를 하나의 도구에서 관리할 수 있으며 노트북 파일의 버전관리도 지원합니다. 2. 하나의 노트북 파일은 여러개의 쉘로 구성되고 각각의 쉘에서 다른 환경구성 (Python, R, Scala, Shell 등)을 사용할 수 있습니다. scala spark로 전처리하고 temp view 만들어서 pyspark로 읽어서 numpy array 만들어서 tensorflow로 보내고...같은 일도 할 수는 있습니다. 빠르게 작업할 때 좋을 수 있죠. 3. 사용자는 노트북 셀에서 코드를 실행하고 결과를 시각적으로 표현할 수 있습니다. 결과는 셀 내부에 바로 표시될 수 있으며, 사용자는 그래프, 차트, 테이블 등을 통해 결과를 시각화할 수 있습니다. spark와 함께 사용할 때 시각화가 편했어요. spark sql interpreter를 사용하면 쉘이 인터렉티브한 시각 그래프를 output으로 낸답니다.

알림

알림이 없습니다