Kafka UI(Provectus)는 브라우저에서 Kafka 클러스터를 관리·모니터링할 수 있는 오픈소스 웹 대시보드다.
토픽 CRUD, 메시지 발행/조회, 컨슈머 그룹 추적, 브로커 상태까지 한 화면에서 확인할 수 있다.

1. 실행#

docker-compose#

services:
  kafka-ui:
    image: provectuslabs/kafka-ui:latest
    ports:
      - "8989:8080"
    environment:
      KAFKA_CLUSTERS_0_NAME: local
      KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS: kafka:9092
      # Schema Registry 연동 (선택)
      # KAFKA_CLUSTERS_0_SCHEMAREGISTRY: http://schema-registry:8081
      # Kafka Connect 연동 (선택)
      # KAFKA_CLUSTERS_0_KAFKACONNECT_0_NAME: connect
      # KAFKA_CLUSTERS_0_KAFKACONNECT_0_ADDRESS: http://kafka-connect:8083
    depends_on:
      - kafka

브라우저에서 http://localhost:8989 접속.

멀티 클러스터#

환경변수 인덱스를 올려서 여러 클러스터를 동시에 등록할 수 있다.

KAFKA_CLUSTERS_0_NAME: local
KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS: kafka-local:9092
KAFKA_CLUSTERS_1_NAME: staging
KAFKA_CLUSTERS_1_BOOTSTRAPSERVERS: kafka-staging:9092

2. 토픽 관리#

3. 메시지 발행 (Produce)#

Dashboard → Topics → [토픽명] → Produce Message

• Key: 문자열 직접 입력
• Value: JSON / Plain Text / Avro(Schema Registry 연동 시)
• Partition: 특정 파티션 지정 또는 라운드로빈
• Headers: key: value 형식으로 커스텀 헤더 추가

// Value 예시
{
  "orderId": "abc-123",
  "customerId": "customer-1",
  "totalAmount": 10000
}

주의: Avro 스키마 메시지를 보내려면 Schema Registry URL을 환경변수에 등록해야 한다.
등록 없이 보낸 raw JSON은 컨슈머 쪽에서 역직렬화 에러가 날 수 있다.

4. 메시지 조회 (Consume)#

Dashboard → Topics → [토픽명] → Messages

조회 옵션#

스마트 필터 (Groovy DSL)#

조건식을 작성해 메시지를 필터링할 수 있다.

// orderId가 특정 값인 메시지만 보기
import groovy.json.JsonSlurper
def obj = new JsonSlurper().parseText(record.value)
obj.orderId == "abc-123"

5. 컨슈머 그룹 모니터링#

Dashboard → Consumers

Lag가 0이면 컨슈머가 실시간으로 따라가고 있는 것이고,
Lag가 계속 증가하면 컨슈머 처리 속도가 부족하다는 신호다.

6. 브로커 / 클러스터 모니터링#

Dashboard → Brokers

JMX 필요 항목: JVM Heap, Bytes In/Out 등 상세 메트릭은 브로커에 JMX가 활성화되어 있어야 수집된다.
KAFKA_JMX_PORT: 9997 환경변수 설정 후 Kafka UI에 JMX 주소를 등록하면 된다.

7. Schema Registry 연동#

KAFKA_CLUSTERS_0_SCHEMAREGISTRY 를 등록하면:

• 토픽 메시지를 Avro/Protobuf/JSON Schema로 자동 역직렬화해서 보여줌
• Schema Registry 탭: 스키마 목록 조회, 버전 이력, 호환성 모드(BACKWARD 등) 확인
• UI에서 직접 스키마 등록·삭제 가능

8. Kafka Connect 연동#

KAFKA_CLUSTERS_0_KAFKACONNECT_0_ADDRESS 를 등록하면:

• Connectors 탭: 등록된 커넥터 목록, 상태(Running/Failed/Paused)
• 커넥터 설정 조회 및 수정
• 커넥터 재시작 / 일시정지 / 삭제
• 태스크 단위 상태 확인

9. 할 수 없는 것 (한계)#

참고#

• Kafka UI GitHub
• Kafka UI Docs