글로벌 빅데이터 전문업체인 클라우데라에서 2024년 데이터 관련 기술 5대 전망을 했습니다.

1. MLOps와 데이터 페더레이션(Federation)
챗GPT의 출시 이후 기업들은 대규모언어모델(LLM)에 주목하고 있다. 하지만 서비스형 소프트웨어(SaaS)에 기반한 LLM은 데이터 보안 문제와 민감한 데이터를 재사용해야 하는 퍼블릭 멀티 테넌트 서비스에 부적합하다. 또한 메타의 라마-v2와 같은 오픈소스 LLM은 챗GPT에 견줄 수 있는 성능을 가졌지만, 확장 가능하고 안전한 방법으로 상품화하기 힘들고 기존 ML(Machine Learning) 모델에 비해 데이터 페더레이션이 어렵다. 따라서 기업은 2024년에도 더 나은 LLM 모델을 위해 지속적으로 ML옵스(Machine Learning Operations)와 데이터 페더레이션(data federation) 기능 개발에 주력할 것으로 전망된다.

2. RAG(Retrieve Augmented Generation), 파인 튜닝 강조
LLM 성능을 최적화하기 위한 방법으로는 프롬프트 엔지니어링(Prompt Engineering), 검색증강생성(RAG, Retrieve Augmented Generation), 파인 튜닝(미세조정) 등이 있다. RAG는 데이터 엔지니어링 파이프라인과 벡터 전문 DB가 필요하지만 LLM을 훈련하거나 조정할 필요가 없다. PEFT(Performance Efficient Fine Tuning)은 파인 튜닝을 통해 규모가 큰 LLM을 훈련해도 적은 비용과 훈련 데이터로도 비슷한 성능을 제공한다. 2024년에도 RAG는 기업이 생성형 AI에 대한 좋은 접근 방식이 될 것이다. 기업들은 생성형 AI에 접근하기 위해 RAG를 사용하고 PEFT와 같은 파인 튜닝을 새로운 프로젝트나 이전 RAG 아키텍처의 일부를 대체하는 데 사용할 것으로 예상된다.

3. 클라우드에 대한 신중한 접근
클라우드 컴퓨팅은 2024년에도 기업 데이터 전략에서 중요하고 혁신적인 기술로 꼽힐 것으로 예상된다. 하지만 클라우드를 우선하던 기업들은 클라우드의 경제성을 고려해 신중하고 균형 잡힌 입장으로 전환했다. 기업은 퍼블릭과 프라이빗 클라우드 모두에서 클라우드 네이티브 아키텍처를 통해 데이터, 클라우드 전략을 지원하고 유연성, 확장성, 비용 절감을 제공한다. 퍼블릭과 프라이빗 클라우드에 걸쳐 데이터 패브릭은 지능적이고 자동화된 정책 중심 데이터 관리 접근 방식의 기반이 된다.

4. 데이터 관리 자동화, 데이터 민주화, 제로 트러스트 보안
2024년에는 데이터 관리 측면에서 인프라, 플랫폼, 워크로드에 걸친 옵저버빌리티(observability)가 더 중요해질 것으로 예상된다. 기업과 기술자들은 데이터 과학자, 데이터 엔지니어, 비즈니스 분석가들이 데이터 게이트키퍼를 거치지 않고 더 좋은 인사이트를 얻을 수 있도록 데이터 라이프사이클의 모든 단계에서 마찰을 줄이고 실시간 데이터에 접근하는 데 초점을 맞출 것이다. 하이브리드 클라우드 네이티브 아키텍처, 이기종 SaaS와 서비스형 플랫폼(PaaS) 채택, 사이버 보안 강화는 데이터 보안과 제로 트러스트에 주목하고 데이터 관리에 대한 책임을 분명하게 한다.

제로 트러스트는 지속적으로 인증과 데이터를 활용하는 사용자, 시스템 확인이 필요한데, 데이터 민주화가 진행되면서 늘어나는 수요를 충족하고 데이터 거버넌스와 관리의 혁신을 이끌 것으로 기대한다. 데이터 페더레이션에 대한 관심이 높아짐에 따라, 기업 전반적으로 더 쉽게 제로 트러스트 구현과 실행을 할 수 있는 기술이 개발될 것이다.

5. 개방형(Open) 데이터 레이크하우스(Datalakhouse)로 마이그레이션
많은 데이터 관리 공급사들이 아파치 아이스버그(Iceberg)를 채택하면서 데이터 레이크하우스 구현에 상당한 혁신이 일어났다. 아이스버그는 데이터 관리 공급자들이 오픈소스 전략을 수정하고 아이스버그에 대한 지원을 구축하는 데 영향을 끼쳤다. 2024년에는 데이터와 워크로드가 퍼블릭과 프라이빗 클라우드 전반에 걸쳐 개방형 데이터 레이크하우스에 꾸준히 마이그레이션될 것으로 예상된다.

출처 : 아이티데일리(http://www.itdaily.kr)