Kafka 2.8.0+: No more zookeeper

Kafka

v2.8.0

Apache Kafka

 

주키퍼는 카프카 서버 실행 전 무조건 실행하고 카프카 서버를 관리해 주었는데

몇 년 동안 주키퍼를 없애고 카프카 서버 독립적으로 관리할 수 있도록 아파치에서 진행이 되었다.

KIP-500

Kafka Needs no Keeper - Confluent

 

KIP-500

Replace ZooKeeper with a Self-Managed Metadata Quorum

 

주키퍼를 카프라 Raft metadata mode를 통해서 더 이상 선행 실행을 안 해도 된다.

2.8.0에서 완전히 없앤 것이 아닌 옵션으로 주어 아직은 테스트 단계이다. 프로덕션에서 권장은 하지 않는다.

 

@metadata라는 topic에 메타데이터와 설정들을 보관하고, internal quorum과 클러스터에 복제된다.

process.roles 설정을 보면 다음과 같이 역할을 지정할 수 있다.

• broker: 카프카 서버가 브로커로 작동
• controller: 카프카 서버가 internal Raft quorum의 컨트롤러로 작동
• broker, controller: 카프카 서버가 컨트롤러와 브로커 둘 다 맡음

(process.roles이 제공되지 않으면 ZooKeeper 모드로 작동됨)

 

성능 향상은 아래 정도

@confluent

 

예제 설정은 config/raft 폴더나 Github에서 볼 수 있다.

apache/kafka

 

---

참고

KIP-500 proposal

Kafka summit 2019

Kafka without zookeeper @confluent