사실상 엑셀이나 구글 시트가 아닌가 싶다. 이만큼 많은 사람들이 쓸 줄 알고 여러 형태로 분석이 가능하고 결과물을 공유 가능한 툴은 많지 않다. 실제 현업부서들과 일을 해보면 굉장히 많은 데이터들을 구글 시트의 형태로 매뉴얼하게 관리한다. 이 위에서 간단한 차트등을 만들어 지표 관리를 하곤 한다.

즉 데이터 엔지니어의 관점에서 보면 구글 시트는 아주 중요한 데이터 소스가 된다. 문제는 필요한 데이터를 여기로 로딩하는 방법인데 적어도 구글 시트는 Sheet API(파이썬 모듈 중에 gspread 사용)와 여러 형태의 연동 툴들을 제공한다. 유데미 때 구글 시트를 데이터 소스로 다양한 매뉴얼 정보들을 데이터 웨어하우스로 로딩하는 ETL 파이프라인을 구현해서 현업 팀원들 (마케팅, CS/CX, 영업 등등)이 아주 좋아했었다.

또 회사에 돈이 충분치 않다면 혹은 돈이 충분해도 BI 관련해서 아직 무엇을 해야할지 불분명하다면 굳이 비싼 BI 툴들(Looker, Tableau, 등등)을 사지 말고 데이터웨어하우스(혹은 프로덕션 데이터베이스)의 써머리 테이블들을 구글스프레드시트로 자동으로 덤프해서 거기서 시각화하고 분석하는 것도 아주 효율적이다. 이 역시 다양한 회사에서 데이터 컨설팅을 하면서 효율적으로 사용했었는데 이 경우 이런 형태의 데이터 파이프라인을 보통 Reverse ETL이라고 부른다. 즉 소스가 데이터 웨어하우스가 되고 타켓이 시트가 되는 형태로 일반적인 ETL의 반대 방향으로 데이터가 흐르는 거다.

이번에 인프런에 만든 강의 뒷 부분에 새로 아래 두 개의 챕터를 추가했는데 이게 바로 구글 시트를 데이터소스로 보고 시트 정보를 읽어다가 Snowflake의 테이블로 적재하는 과정을 설명하고 데모하는 내용으로 구성되어 있다. 곧 Reverse ETL 내용 (Snowflake -> 구글시트)에 관한 챕터도 추가할 예정이다.

• 구글 시트 ➜ Snowflake

• 구글 시트 ➜ Snowflake (코드 리뷰와 실습)

"실리콘밸리 데이터 리더가 알려주는 Airflow 기초": https://inf.run/qRing