Kafka 를 사용할 때 메시지 처리량을 늘릴 수 있는 가장 쉬운 방법 중 하나는 파티션을 증가시키고 이에 맞게 컨슈머 스레드 수를 조절하는 것입니다.

다만 이 방법에는 다음과 같은 주의사항이 있습니다.

Kafka 스펙상 파티션 수는 한번 늘어나면 줄일 수 없습니다.

따라서 일시적인 트래픽 증가일 경우 불필요한 파티션을 유지해야하는 결과를 초래할 수 있기에 파티션 수 증가는 신중하게 결정해야합니다.

그리고 파티션을 늘리게 될 경우 기존에 보낸 메세지와 다른 파티션으로 메세지가 유입될 수 있어 순서가 중요한 메세지일 경우 영향을 받을 수 있습니다.

Confluent 에서는 이러한 이슈를 해결하기 위해 Kafka 의 병렬처리 단위를 파티션 단위가 아닌 메세지 단위로 처리할 수 있게끔 Parallel Consumer 를 만들었습니다.

Parallel Consumer 는 이름에서 이미 눈치 채셨겠지만,

단일 파티션에 여러 컨슈머 스레드를 사용하여 파티션을 늘리지 않고 동시 처리량을 증가시키기 위해 만들어진 라이브러리 입니다.

이번에 Naver 기술 개발 블로그인 d2 에서 Parallel Consumer 에 대한 내용을 자세히 설명해주는 글을 올려주셨는데요,

관심있으신 분들께서는 한번 읽어보시면 좋겠습니다.

📚 원문

https://d2.naver.com/helloworld/7181840