간만에 신박한 프로젝트를 발견해서 소개해봅니다. 우선 프로젝트의 개요는 다음과 같습니다.

DB 구축: 텍스트를 일정 크기로 쪼갠다(청킹) -> 쪼갠 텍스트를 QR로 만든다 -> QR 이미지를 모두 합쳐 MP4 파일로 만든다

벡터 검색: 텍스트 청크의 벡터 인덱스를 만든다 -> 인덱스와 MP3 프레임의 위치를 맵핑한다 -> 검색시 해당 프레임을 가져와 QR을 디코딩해 데이터로 사용한다

벡터 검색이 중요한 건 아니고, QR과 동영상 파일을 이용해 고효율의 압축DB를 만든 부분이 재밌습니다.

MP4 등의 영상 코덱은 이미지를 고효율로 압축하는데, QR 코드는 검은색과 하얀색의 점으로 이루어진 것이라 압축 효율이 매우 높다는 것에 착안한 것인데요.

텍스트를 QR 코드로 만들면 파일크기가 증가하지만, MP4 압축을 진행하면 그걸 크게 상쇄해서 10배 정도의 압축률을 보여준다고합니다. 일반적인 압축 포맷의 압츅률이 3~4 정도인 것을 생각하면 정말 높은 수준입니다.

보통의 압축 포맷보다는 인코딩 속도가 느릴 것이고, 규모가 커지면 보통의 DB엔진 보다는 retrieving 속도가 느려서 일반적인 제품이나 서비스에 사용하기에는 애매하긴 할텐데요.

그래도 높은 효율로 압축된 상태에서 프레임 번호를 인덱스로 사용해서 중간 청크를 가져오는데 유리하니, 특수 목적의 포터블 데이터베이스로 꽤 유망할 수 있을 것 같다는 생각이 듭니다.

세상엔 진짜 창의력 대장이 많네요. ㅎㅎ 이런건 시간이 지나도 AI가 생각하기 힘들지 않을까요? AI가 이정도의 창의력을 발휘할 날은 언제쯤 올 지 궁금합니다. ??? #기승전AI

Memvid 레포: https://github.com/Olow304/memvid

? MP4 파일을 벡터 검색의 텍스트 DB로 사용하는 프로젝트

올해 초, Redis 로 운영중이던 Message Queue를 Apache Pulsar(https://pulsar.apache.org/)로 변경하였습니다.

Kafka 나 RabbitMQ 등 여러 옵션이 있었지만 Cloud Native 환경에서 운영 가능한 분산 메세징 플랫폼이라는 강점이 있어서 Pulsar를 선택하였으며, 반 년 이상 지난 현재 만족스럽게 사용하고 있습니다.

아래 글에서는 고전적인 Producer / Consumer 문제와 이에 대한 해법, 해결 과정에서 고려해야 할 이슈들(e.g. Backpressure, Race condition)을 살펴보고, 어떤 요소들을 비교하여 Apache Pulsar를 Message Queue Backend로 선택하게 되었는지를 간략히 소개합니다.

https://01010011.blog/2024/04/01/cloud-native-pulsar-1-producer-consumer/

Cloud Native Pulsar - #1

FEConf 링크드인 페이지가 개설되었습니다.
앞으로 링크드인에서도 FEConf 소식을
빠르게 만나볼수 있습니다. ?

https://www.linkedin.com/company/feconf

FEConf 링크드인 페이지개설

NC SOFT 비주얼 디자이너, 게임 콘텐츠 디자이너

김태훈

nc soft 사원

정승현

UX Researcher

이정연

NC SOFT 애니메이터

Mike

NC SOFT 소프트웨어 엔지니어

이승호

NC SOFT 백엔드 개발자

장유진

jeong

NC SOFT 머신러닝 엔지니어

김윤희

NC SOFT 클라이언트 개발자

김민선

프로덕트 매니저/서비스 기획

이정호

오재석

NCSOFT

llmail84

NCSOFT 플랫폼기획실 실장

김주현

영상 그래픽 디자이너

윤소담