카프카 기본 개념들

Kafka Cluster 🌐: Kafka 시스템의 전체 집합을 나타내며, 여러 개의 브로커와 주키퍼로 구성됩니다. 클러스터는 분산 환경에서 데이터 스트리밍을 처리하고 관리합니다. Kafka Broker 🖥️: Kafka 클러스터 내의 서버로서, 데이터 메시지를 저장하고 전송합니다. 여러 브로커가 함께 작동하여 확장성과 장애 복구 기능을 제공합니다. Kafka Producer 📤: 데이터를 생성하고 Kafka 브로커에게 전송합니다. 프로듀서는 특정 토픽에 대해 데이터를 퍼블리시합니다. Kafka Consumer 📥: Kafka 브로커로부터 데이터를 읽어와 처리합니다. 컨슈머는 특정 토픽에서 데이터를 구독합니다. Kafka Topic 📊: 데이터의 카테고리 또는 채널을 나타냅니다. 프로듀서는 토픽에 데이터를 퍼블리시하며, 컨슈머는 토픽을 구독합니다. Kafka Partitions 🔀: 토픽을 물리적으로 세분화하며, 병렬 처리를 가능하게 합니다. 각 파티션은 순서를 유지하는 독립된 메시지 시퀀스를 가집니다. Kafka Offsets 🔢: 파티션 내에서 각 메시지의 유일한 ID입니다. 오프셋을 통해 컨슈머는 어디까지 메시지를 읽었는지 추적할 수 있습니다. Kafka Consumer Group 👥: 같은 토픽을 구독하는 컨슈머들의 그룹입니다. 컨슈머 그룹을 통해 데이터 처리를 분산하고 확장할 수 있으며, 특정 메시지가 그룹 내의 한 컨슈머에 의해만 처리되도록 보장합니다.

다음 내용이 궁금하다면?

또는

이미 회원이신가요?

2023년 9월 22일 오전 9:49

 • 

저장 12조회 1,858

댓글 0

    함께 읽은 게시물

    쎄울, 2025


    개발자의 장애 공유 문화

    ... 더 보기

    개발자의 장애 공유 문화

    K리그 프로그래머

    개발자의 장애 공유 문화

     • 

    저장 25 • 조회 4,568


    주니어 개발자들이 읽으면 좋은 테크 아티클 모음📚

    F-Lab 에서 주니어 개발자들이(사실 개발자라면 누구나) 보시면 좋을 아티클 모음을 공유해 주었네요! 검색엔진부터 비동기 처리, NoSQL 등 다양한 분야의 아티클들이 공유되어 있으니 관심있으신 분들은 보시면 좋겠습니다. F-Lab 에서 공유해주신 아티클 주제를 나열해보면 다음과 같습니다. 📌 구글이 직접 말하는 검색엔진의 원리 (tali.kr) 📌 검색 엔진은 어떻게 작동하는가 (xo.dev) 📌 네이버의 검색엔진의 특징과 알고리즘 (tistory.com) 📌 [네이버 블로그]네이버 검색의 원리 : 네이버 블... 더 보기

    주니어 개발자들이 읽으면 좋은 테크 아티클 모음

    F-Lab : 상위 1% 개발자들의 멘토링

    주니어 개발자들이 읽으면 좋은 테크 아티클 모음

     • 

    저장 144 • 조회 3,902


    [일터의 근육] 컬리 일잘러들의 공통점

    '

    ... 더 보기

    내 옆 일 잘하는 동료가 가진 것

    Brunch Story

    내 옆 일 잘하는 동료가 가진 것

    요즘 사람들이 가장 많이 AI를 활용하는 분야 Top 10

    1

    ... 더 보기

    How People Are Really Using Gen AI in 2025

    Harvard Business Review

    How People Are Really Using Gen AI in 2025

     • 

    저장 9 • 조회 1,146


    AI가 앞으로 세상을 바꿀 어쩌구 저쩌구 하는 내용은 큰 관심 없다. 당연한 이야기기도 하고 너무 많이 듣는 이야기도 하기 때문이다. 본 기사에서 가장 흥미롭게 본 부분은 '한국은 챗GPT 사용이 가장 활발한 국가 중 하나다. 오픈AI에 따르면 한국의 주간 활성 챗

    ... 더 보기

    '챗GPT' 오픈AI 韓법인 설립 "한국 유료구독자 전세계 2위"

    매일경제

    '챗GPT' 오픈AI 韓법인 설립 "한국 유료구독자 전세계 2위"

    조회 539