쓰기 부하가 많은 Delta Table 위한 Deletion Vector

기존 Delta 프로토콜은 변경사항이 발생할 때 마다 기본 데이터 파일이 다시 쓰이는 Copy-on-Write (CoW) 패러다임만 지원했습니다. 새로운 패러다임인 Merge-On-Read(MoR)은 CUD가 일어났을 때 데이터 파일이 변경되지 않습니다. 대신 변경사항은 데이터가 읽힐 때 독자가 개별적으로 병합하게 됩니다. * MoR - 변경사항이 데이터에 반영되지 않고 읽을 때 반영 * pros * 데이터가 자주 변경되는 경우 * 변경 데이터가 널리 분포된 경우 * CoW - 변경사항이 데이터에 즉시 반영됨 * pros * 드물게 변경되고 읽기가 더 많이 일어나는 경우 Delta Lake 2.4, 3.0 버전에서 MoR 방식의 DELETE 명령에 대한 쓰기 지원을 추가했습니다. UPDATE와 MERGE 구문은 Deletion Vector가 적용된 테이블에 사용할 수 있지만 CoW 방식으로 적용됩니다. 이후 버전에서 지원할 예정이라고 합니다. https://delta.io/blog/2023-07-05-deletion-vectors/

Delta Lake Deletion Vectors

Delta

Delta Lake Deletion Vectors

다음 내용이 궁금하다면?

또는

이미 회원이신가요?

2023년 9월 16일 오전 2:34

댓글 0

    함께 읽은 게시물

    타입 안전한 API 모킹으로 프론트엔드 생산성 높이기

    이번에 우아한형제들 기술 블로그에 "타입 안전한 API 모킹으로 프론트엔드 생산성 높이기"라는 새 글을 발행하게 되었습니다.

    ... 더 보기

    주니어 개발자들이 읽으면 좋은 테크 아티클 모음📚

    F-Lab 에서 주니어 개발자들이(사실 개발자라면 누구나) 보시면 좋을 아티클 모음을 공유해 주었네요! 검색엔진부터 비동기 처리, NoSQL 등 다양한 분야의 아티클들이 공유되어 있으니 관심있으신 분들은 보시면 좋겠습니다. F-Lab 에서 공유해주신 아티클 주제를 나열해보면 다음과 같습니다. 📌 구글이 직접 말하는 검색엔진의 원리 (tali.kr) 📌 검색 엔진은 어떻게 작동하는가 (xo.dev) 📌 네이버의 검색엔진의 특징과 알고리즘 (tistory.com) 📌 [네이버 블로그]네이버 검색의 원리 : 네이버 블... 더 보기

    주니어 개발자들이 읽으면 좋은 테크 아티클 모음

    F-Lab : 상위 1% 개발자들의 멘토링

    주니어 개발자들이 읽으면 좋은 테크 아티클 모음

     • 

    저장 132 • 조회 3,589


    무너지고 있는 프론트엔드, 백엔드 직군의 경계에 대한 고찰

    AI 기술이 우리 일상과 산업 전반에 스며들면서 소프트웨어 개발 환경 역시 큰 변화의 물결을 맞이하고 있다. 특히 코딩을 돕는 AI 에이전트의 등장은 개발 생산성에 대한 큰 변화를 만들고 있다. 나 역시 이러한 변화를 체감하며, 나에게 익숙한 소프트웨어 개발의 대표적인 두 축인 프론트엔드와 백엔드 영역에서 AI 기술이 미치는 영향과 그로 인해 변화하는 소프트웨어 엔지니어의 역할에 대해 개인적인 생각을 정리해 본다.

    ... 더 보기

     • 

    저장 32 • 조회 4,083


    OpenAI가 발표한 Codex의 핵심은 AI와 함께 진짜 팀으로 일하는 것 같은 경험을 준다는거네요.


    기존의 코딩 어시스턴트는 Agent라는 이름을 붙였어도 결국은 자동완성의 확장에 그치는 것이라, 즉, 나의 뇌를 확장하는 것이라 한계가 좀 명확했는데요.


    ... 더 보기

    데이터 작업용 Cursor 에디터 - Nao

    d

    ... 더 보기

    Nao - 데이터를 위한 Cursor | GeekNews

    GeekNews

    Nao - 데이터를 위한 Cursor | GeekNews

    1년에 한 번 오는 AMA(Ask Me Anything) Time!

    아무거나 물어보세요. 🙂