The 2020 data and AI landscape
VentureBeat
[2020년 COVID에도 불구 지속 성장중인 Data, AI 업체 landscape]
- Snowflake, Datadog, Palantir등의 DB, analytics 업체들의 IPO, Direct listing의 폭발적인 성공을 기반으로 더 많은 돈들이 data, AI업체에 몰리고 있음
- 향후에는 data를 기반으로 정확한 예측을 하지 못하는 업체들은 도태될 수 밖에 없는 상태로 갈수 밖에 없음
- Key trend in data infra: 더 많은 data를 기반으로 더 정확한 분석을 원하고, 그것도 실시간으로 원하는 needs가 커짐에 따라 data infrastructure에서의 새로운 기회들이 많이 지고 있음
1) Modern data stack: Cloud data warehouse에 대한 수요가 폭증하면서, 각 cloud source에서 분석을 위한 data pipline을 구축하고, 빠른 분석을 하는데 대한 needs가 커짐
2) 기존 data 분석을 위한 process였던 Extract, Transform, Load (ETL)에서 1)의 data pipeline을 기반으로 하여 data warehouse 내의 transform이 가능하게 됨을 기반으로 Extract, Load, Transform (ELT)로 진화 중
3) 위의 1), 2)로 인해 transform의 복잡함이 줄어든 덕분에 data engineering을 많은 부분 자동화 할 수 있게 됨
4) 위의 1)~3)으로 인해 big data 시대에 다소 소외되었던 Data Analyst들이 오히려 Data engineer만큼 심도있는 tast를 수행할 수 있게 됨 (Cloud data warehouse는 오히려 굉장히 scalable한 RDB와 비슷하여 SQL을 통한 업무 영역이 훨씬 넓어짐)
5) 각종 data가 dump되었던 data lake와 structured data 위주의 data warehouse 간 merge가 일어나고 있음
- 계속 더 simple하고 통일된 기반의 data로 가는 것이 main trend (그래야 data를 사용하기 쉬워지니까)
- 그래서 아이러니컬 하게도 더 복잡한 case들이 많이지게 되고 그래서 이런 복잡성을 다루기 위한 영역도 커지는 추세
- 그리고 이를 기반으로 insights를 뽑아내는 ML/AI업체들이 다시 각광을 받는 중
다음 내용이 궁금하다면?
이미 회원이신가요?
2020년 10월 22일 오후 5:45
댓글 0
함께 읽은 게시물
AI로 인해 영어는 이제 진짜 말하기만이 답 입니다. 그리고 말만 할 줄 알면 기회가 정말 크게 넓어질거구요.
이제는 모두가 체감하고 있듯이 앞으로 영어로 읽기 쓰기는 큰 의미가 없어지겠지만, 말하기는 더욱 중요해질 것이거든요.
🍨'배라', 25년 만에 실적 공개 안 한 이유
어
... 더 보기![[인사이드 스토리]'배라', 25년 만에 실적 공개 안 한 이유](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
우리가 하는 ‘회사 일’은 대부분 사람으로부터 배우게 된다. 그만큼 그 일을 가르쳐 주는 이가 누구인가에 따라 나의 퍼포먼스도 일부 결정된다. 그(녀)가, 나를 키우려는 능력과 자질, 충분한 노력을 하려는 사람인지 아닌지에 따라 나의 실력은 평범해질 수도 혹은 일취월장하여 청출어람 할 수도 있는 것이다.
... 더 보기•
조회 693
< 당신이 본 것은 현실인가, 개념인가? >
1. 사물을 개념을 통하지 않고 본다면 결코 싫증 나는 일이 없습니다.
크래프톤이 게임 업계 원탑이 된 이유
1
... 더 보기
