kafka에서 파티션 증가없이 처리량을 증가시키는 방법

카프카에서 메시지 동시 처리량을 늘릴 수 있는 가장 쉬운 방법 중 하나는 파티션을 증가시키는 것입니다. 다만 늘리면 줄일 수 없는 단점이 있습니다.


링크의 글에서는 Parallel Consumer를 도입하여 파티션 증가없이 처리량을 늘리는 방법을 소개하고 있으며 Parallel Consumer가 무엇인지, 어떻게 동작하는지, 내부구조는 어떤지 간략하게 소개하고 있습니다.


카프카의 성능 향상을 고민중이시라면 읽어보시면 좋을 것 같습니다.


https://d2.naver.com/helloworld/7181840

NAVER D2

d2.naver.com

NAVER D2

더 많은 콘텐츠를 보고 싶다면?

또는

이미 회원이신가요?

2023년 10월 24일 오전 8:37

댓글 0

    함께 읽은 게시물


    스토리북 9 출시 소식

    ... 더 보기

    Storybook 9

    Storybook Blog

    Storybook 9

    개발자 교양 팟캐스트

    A

    ... 더 보기

    발이 닿지 않는 바다에서

    ... 더 보기

    발이 닿지 않는 바다에서

    hajoeun.com

    발이 닿지 않는 바다에서

    Longest Common Subsequence 자바스크립트 풀이

    ... 더 보기

    Longest Common Subsequence | 알고달레

    알고달레

    Longest Common Subsequence | 알고달레

    < 🔔 내가 만나본 빠르게 성장하는 주니어 개발자들의 특징 > 본론에 앞서 이 글은 그동안 제가 만나본 성장이 빠르다고 느낀 주니어 개발자분들의 태도와 습관을 정리해보는 글입니다. 기술이나 학습등을 거론하며 '이런것만 배우면 당신도 빠르게 성장할 수 있습니다!' 류의 글은 아니고 그분들의 이런 태도와 습관이 성장에 영향이 있지 않았을까 정도의 글이라고 생각해주시면 되겠습니다. ✅️ 질문을 잘한다. 빠르게 성장하신 분들의 질문엔 2가지 공통점이 있었다. 1. 질문의 타이밍 대부분의 신입사원이나 주니어 개발자분들은 선배 개발자에게 질문을 하기 부담스러워 한다. 그래서 혼자 몇일을 끙끙거리다가 힘겹게 질문하거나 선배 개발자가 먼저 말을 걸어서 답을 얻는 모습을 많이 본다. 만약 알고싶던 내용이 선배 개발자가 바로 대답해줄 수 있는 것이었다면 오래 끙끙거린만큼 시간을 허비해버린것과 같다. 질문을 잘하는 분들의 경우 자신들의 고민이 자신이 풀수 없는 수준이라는걸 알게 되면 선배 개발자들에게 바로 질문함으로써 그만큼 시간을 아끼고 다음 스텝으로 나아간다. 2. 질문의 깊이 질문할 때 '이게 뭐에요?' 나 'A 부터 Z 까지 알려주세요' 등의 질문을 하지 않는다. 자신이 충분히 찾아보고 자신의 선에서 최대한 알아본 뒤에 풀리지 않는 부분을 질문한다. 그렇기에 질문의 깊이가 깊다. 이런 질문을 받았을 때 바로 답을 주는 경우도 있지만 대부분 이런 깊이 있는 질문은 정확한 확인을 위해 다시 한번 관련 내용을 찾아보게 만든다. 이로 인해 질문 받는 사람도 알고 있던 내용을 복습하거나 놓쳤던 부분을 공부하게 되고 이를 통해 같이 성장하는 느낌을 받는다. 그래서 나는 이런식으로 질문 하는 분들이 좋고 나도 다른 사람들한테 이렇게 질문을 하기 위해 노력한다. ✅️ 가만히 있지 않는다. 간혹 내 업무가 많이 밀리고 바쁘다보면 주니어 분들을 신경쓰지 못해 그분들의 업무에 공백이 생길때가 있다. 업무를 잘하시는 주니어 분들은 이런 공백도 허투루 지나가지 않고 아래와 같은 행동들을 한다. 1. 업무 혹은 과제를 달라고 요청한다. 2. 팀에서 진행하는 프로젝트에 이슈가 없는지 찾아본다. 혹은 발견된 이슈의 원인을 파악해보려고 한다. 3. 팀에서 진행하는 프로젝트 코드를 분석한다. 4. 팀에서 사용하는 오픈소스나 프레임워크, 라이브러리 코드를 분석한다. 5. 프... 더 보기

     • 

    댓글 12 • 저장 839 • 조회 34,283