이벤트 기반 아키텍쳐를 구성하기 위해서는 중심이 되는 메시징 서비스가 필요하고
보통 kafka, rabbitmq, redis (pub/sub) 등의 솔루션을 도입하게 됩니다.

그 중 kafka 는 GC 로 인해 지연이 발생할 수 있는 JVM 기반으로 동작함에도 불구하고
VM 장비에서도 꽤 괜찮은 처리량을 보여줍니다.

이에 대한 궁금증을 순차적으로 알아가 볼 수 있는 좋은 글이 있어 공유드립니다.
글에서 정리한 Kafka 가 빠른 이유는 다음과 같습니다.

? 저지연 I/O 사용
전송받은 메시지는 RAM을 사용하여 지연 시간을 낮추고, DISK를 최소한으로 사용.

? 순차적 I/O 자료구조 사용 (log)
메시지 추가는 끝단에서 이뤄지고, 메시지 읽기는 consumer 마다 별도의 포인터를 두어 탐색 시간을 피하는 'log' 라는 데이터 구조 사용.

? zero-copy 적용
어플 영역의 데이터를 복사하는 과정없이 커널에 직접 전달하여 효율을 높임.

? 수평 확장 시스템
단일 주제에 대해 여러 소비자로 분산 가능한 시스템.

? 데이터 압축 및 일괄 처리
데이터를 묶음 단위로 관리하여 전송/관리 효율을 높이고, 이를 압축하여 보관/전송하는 구조.

특히 다른것보다 zero-copy 에 대해 꽤나 깊고 자세하게 설명하고 있는데요
자세한 설명과 벤치마크를 다룬 아티클들을 중간중간 첨부하여 읽는 재미가 있었습니다.

이에 대한 자세한 내용은 첨부드린 원문 링크를 참고해주세요.

? 원문
 * https://frogred8.github.io/docs/034_why_is_kafka_fast/

? 카프카는 왜 빠를까?

사내 검색 시스템이나 특정 검색엔진을 langchain에 붙여서 시멘틱 검색을 할 수 없을까 싶어서 만들어본 코드 입니다.

naver 검색 api 를 이용하게 작성했습니다. 특정 검색엔진을 사용하려면 요청 방식에 맞게 수정하시면 될거 같습니다.

별거 아닌 코드지만 저처럼 이런게 필요한 사람이 또 있을수 있어서 공유 드립니다.

감사합니다.

https://develop-park.tistory.com/59?fbclid=IwAR3DhOJccxwMI2KvdF5bIrvyE3VJ7dsINLEVbLIZG2NfaT5NwGvi8_VXT9Q

langchain의 검색 Agent를 커스텀 해봤습니다.

베스핀 글로벌 매니저

lisa

베스핀 글로벌 클라우드엔지니어

박종찬

Cloud SA

왕밤빵

소프트웨어 엔지니어

류기현

BespinGlobal SoftwareEngineer

MING

베스핀 글로벌 프론트엔드 개발자

민철

박은지

베스핀 글로벌 얼라이언스 매니저

설경찬

베스핀글로벌 소프트웨어 엔지니어

송준영

베스핀 글로벌 백엔드 개발자

길은실

OpsNow Professional Service 

박정호

PMO센터

이은상

베스핀글로벌 Cloud 엔지니어

이서택

베스핀글로벌 사원

고한나

베스핀글로벌 Devops 1팀 팀원

김환승

베스핀글로벌 마케팅 매니저

김민지

Cathyjeon-kyujeong

베스핀글로벌 차장

수석

베스핀글로벌 sre엔지니어

상원

개발

정학

베스핀글로벌 개발자

서동우

데이터

Youngdae

프로덕트 매니저/서비스 기획

이가연

베스핀글로벌 대리

이찬

장중일

베스핀글로벌 머신러닝 엔지니어

jaehyeong

베스핀글로벌 매니저

박도하

베스핀글로벌 클라우드 아키텍터

도현

베스핀글로벌 CNE팀

권순우

베스핀글로벌 백엔드 개발자

최형진

개발자

리엘

베스핀글로벌

김재연

베스핀글로벌 백엔드개발자

으니

베스핀글로벌 백엔드

송현민

베스핀글로벌 Manager

문승욱(카이론)

베스핀글로벌 클라우드 엔지니어

손정희

베스핀글로벌 엔지니어

차예진

사업개발

김진욱

박종호

Hong

베스핀글로벌 프론트엔드 매니저

희정

신지웅

베스핀글로벌 엔지니어 대리

솔비

베스핀글로벌 기술이사

윤호진

베스핀글로벌 풀스택 개발자

Agape

안성진

data engineer

최진원

재호

우디

희진

백지은

베스핀글로벌 클라우드 아키텍트

김남룡

심문수

이형주

Enzo

베스핀글로벌 IMS 엔지니어

신동윤

구연수

경영관리

신원빈

김성수

직장인

김오지

혜수

베스핀글로벌 데브옵스 엔지니어

홍소현

베스핀글로벌 프리세일즈

임동호 dongho Lim

베스핀글로벌 SA

김정환

조병률

성진

베스핀글로벌 구글 본부/구글 TS 팀 사원

제승완

시니어개발자

박우석

Data Engineer

박지영

장준영

재직자