[2020년 COVID에도 불구 지속 성장중인 Data, AI 업체 landscape] - Snowflake, Datadog, Palantir등의 DB, analytics 업체들의 IPO, Direct listing의 폭발적인 성공을 기반으로 더 많은 돈들이 data, AI업체에 몰리고 있음 - 향후에는 data를 기반으로 정확한 예측을 하지 못하는 업체들은 도태될 수 밖에 없는 상태로 갈수 밖에 없음 - Key trend in data infra: 더 많은 data를 기반으로 더 정확한 분석을 원하고, 그것도 실시간으로 원하는 needs가 커짐에 따라 data infrastructure에서의 새로운 기회들이 많이 지고 있음 1) Modern data stack: Cloud data warehouse에 대한 수요가 폭증하면서, 각 cloud source에서 분석을 위한 data pipline을 구축하고, 빠른 분석을 하는데 대한 needs가 커짐 2) 기존 data 분석을 위한 process였던 Extract, Transform, Load (ETL)에서 1)의 data pipeline을 기반으로 하여 data warehouse 내의 transform이 가능하게 됨을 기반으로 Extract, Load, Transform (ELT)로 진화 중 3) 위의 1), 2)로 인해 transform의 복잡함이 줄어든 덕분에 data engineering을 많은 부분 자동화 할 수 있게 됨 4) 위의 1)~3)으로 인해 big data 시대에 다소 소외되었던 Data Analyst들이 오히려 Data engineer만큼 심도있는 tast를 수행할 수 있게 됨 (Cloud data warehouse는 오히려 굉장히 scalable한 RDB와 비슷하여 SQL을 통한 업무 영역이 훨씬 넓어짐) 5) 각종 data가 dump되었던 data lake와 structured data 위주의 data warehouse 간 merge가 일어나고 있음 - 계속 더 simple하고 통일된 기반의 data로 가는 것이 main trend (그래야 data를 사용하기 쉬워지니까) - 그래서 아이러니컬 하게도 더 복잡한 case들이 많이지게 되고 그래서 이런 복잡성을 다루기 위한 영역도 커지는 추세 - 그리고 이를 기반으로 insights를 뽑아내는 ML/AI업체들이 다시 각광을 받는 중