Apache Kafka - Topic, Partition e Segment

Fundamentos Apache Kafka na visão Admin.

O vídeo foi feito com a idéia de compartilhar o meu conhecimento adquirido, trabalhando com Kafka, para colegas de trabalho e alguns amigos.
Eu mesmo editei o vídeo, sem muito conhecimento na ferramenta.

00:00 - Topicos
03:19 - Padrão de armazenamento dos segmentos do Kafka
04:52 - kafka-topics.sh
06:25 - Explicando o describe
07:15 - server.properties
12:12 - producer-console e consumer-console

Para facilitar, eu estou publicando todo material no meu github:

https://github.com/mordp1/espetinhodekafka/

Comandos:
Estou utilizando um container neste momento, indico instalar o Docker ou Dockerd esktop - https://www.docker.com/products/docker-desktop/

## Criar Topico
$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic topico2 --partitions 4

## Listar Topicos
$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

## Describe
$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic topico2

## Executar Producer

$ bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic topico1

### Abra outro terminal e procure seu container.
$docker ps
ou
$ podman ps

## troque o NOME pelo nome do seu container
docker exec -ti NOME /bin/bash

## Executar o consumer
$ cd /opt/kafka_2.13-3.4.0
$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topico1

Gravado com OBS.
SO: Fedora 36
Editor: Kdenlive

#apache #kafka #apachekafka #data #datastreams #kafkaadministration
#stream #technology #linux #devops #sre