카프카 기본 개념들

Kafka Cluster 🌐: Kafka 시스템의 전체 집합을 나타내며, 여러 개의 브로커와 주키퍼로 구성됩니다. 클러스터는 분산 환경에서 데이터 스트리밍을 처리하고 관리합니다. Kafka Broker 🖥️: Kafka 클러스터 내의 서버로서, 데이터 메시지를 저장하고 전송합니다. 여러 브로커가 함께 작동하여 확장성과 장애 복구 기능을 제공합니다. Kafka Producer 📤: 데이터를 생성하고 Kafka 브로커에게 전송합니다. 프로듀서는 특정 토픽에 대해 데이터를 퍼블리시합니다. Kafka Consumer 📥: Kafka 브로커로부터 데이터를 읽어와 처리합니다. 컨슈머는 특정 토픽에서 데이터를 구독합니다. Kafka Topic 📊: 데이터의 카테고리 또는 채널을 나타냅니다. 프로듀서는 토픽에 데이터를 퍼블리시하며, 컨슈머는 토픽을 구독합니다. Kafka Partitions 🔀: 토픽을 물리적으로 세분화하며, 병렬 처리를 가능하게 합니다. 각 파티션은 순서를 유지하는 독립된 메시지 시퀀스를 가집니다. Kafka Offsets 🔢: 파티션 내에서 각 메시지의 유일한 ID입니다. 오프셋을 통해 컨슈머는 어디까지 메시지를 읽었는지 추적할 수 있습니다. Kafka Consumer Group 👥: 같은 토픽을 구독하는 컨슈머들의 그룹입니다. 컨슈머 그룹을 통해 데이터 처리를 분산하고 확장할 수 있으며, 특정 메시지가 그룹 내의 한 컨슈머에 의해만 처리되도록 보장합니다.