쓰기 부하가 많은 Delta Table 위한 Deletion Vector

기존 Delta 프로토콜은 변경사항이 발생할 때 마다 기본 데이터 파일이 다시 쓰이는 Copy-on-Write (CoW) 패러다임만 지원했습니다. 새로운 패러다임인 Merge-On-Read(MoR)은 CUD가 일어났을 때 데이터 파일이 변경되지 않습니다. 대신 변경사항은 데이터가 읽힐 때 독자가 개별적으로 병합하게 됩니다. * MoR - 변경사항이 데이터에 반영되지 않고 읽을 때 반영 * pros * 데이터가 자주 변경되는 경우 * 변경 데이터가 널리 분포된 경우 * CoW - 변경사항이 데이터에 즉시 반영됨 * pros * 드물게 변경되고 읽기가 더 많이 일어나는 경우 Delta Lake 2.4, 3.0 버전에서 MoR 방식의 DELETE 명령에 대한 쓰기 지원을 추가했습니다. UPDATE와 MERGE 구문은 Deletion Vector가 적용된 테이블에 사용할 수 있지만 CoW 방식으로 적용됩니다. 이후 버전에서 지원할 예정이라고 합니다. https://delta.io/blog/2023-07-05-deletion-vectors/