* Monte Carlo Data 의 창업자인 Barr Moses 가 쓴 아티클입니다

이 아티클에서는 실리콘밸리 데이터 프로덕트 기업의 창업자가 2024년 데이터 및 AI 산업의 트렌드를 10가지로 요약하여 예측한 내용입니다!

1. 2024년은 계속 GenAI의 해가 될거다. LLMs이 기술을 상향시키고 데이터 산업의 기준과 우선순위를 높일 것임.

2. 데이터 팀들은 소프트웨어 팀처럼 생각되며, 데이터 자산을 정식 데이터 제품으로 여기고 제품 요구 사항, 문서, 스프린트, SLA 등을 적용할 것임.

3. 엔지니어링과 데이터가 결합하여 소프트웨어 개발에서 AI를 고려하는 추세가 강화되며, 새로운 AI 제품을 높이기 위해서는 데이터 개발의 중요성이 높아질 것임.

4. GenAI의 오류가 커지면서, 점점 더 깨끗하고 신뢰할 수 있는 데이터의 필요성이 부각되어 RAG(retrieval augmented generation) 및 집중적인 파인튜닝이 향후 데이터 제품의 핵심이 될 것임.

5. 데이터 엔지니어링의 지속적인 트렌드로 AI 제품을 기업에서 운영화하는 추세가 강화될 것임.

6. AI의 성공을 위해서는 데이터 팀이 AI 스택에 맞춘 데이터 감시 전략이 필요하며, 데이터 품질을 유지하고 문제를 감지하고 해결하는 능력이 중요해질 것임.

7. 하드웨어의 발전으로 데이터 팀은 작고 빠른 솔루션을 찾게 되어, 데이터를 분석하고 이동시키기 위해 인프로세스 및 인-메모리/인-프로세스 데이터베이스를 활용할 것임.

8. 데이터 리더들은 더 많은 데이터, 더 큰 영향, 더 많은 AI를 활용하라는 동시에 클라우드 비용을 낮춰야 한다는 어려운 과제에 직면할 것.

9. Apache Iceberg와 같은 오픈 소스 데이터 레이크하우스 테이블 포맷의 인기가 증가할 것임.

10. RTO(Return to Office) - 재택근무와 사무실 근무 사이의 균형을 찾는 것이 중요하며, 몇몇 기업은 복귀를 강제하거나 유연한 근무 환경을 제공할 것임.

미국의 상황으로 예측한 것이라 아직 와닿지 않는 내용도 많지만, 실리콘밸리의 트렌드가 한국 IT 트렌드에도 항상 반영되기 때문에 주목해 볼 만한 내용들이 있는 것 같네요!