개요 ETL 파이프 라인을 운영하면서 카프카의 내부 기전을 자세히 모르고 있으면 장애 상황이 발생했을 때 대응하기가 어려움을 절실히 느꼈다. 이번 포스팅에서는 카프카의 주요 구성 요소중 하나인 프로듀서는 무엇인가? 내부적으로 어떻게 동작하는가? 에 대해 알아보도록 하자. 내용프로듀서란 무엇인가? 먼저 카프카 공식 문서에서는 프로듀서에 대해 하기와 같이 정의하고 있다. A producer partitioner maps each message to a topic partition, and the producer sends a produce request to the leader of that partition. The partitioners shipped with Kafka guarantee that a..
