Apache Kafka - Log, Stream e Broker

Fundamentos Apache Kafka na visão Admin.

O vídeo foi feito com a idéia de compartilhar o meu conhecimento adquirido, trabalhando com Kafka, para colegas de trabalho e alguns amigos.
Eu mesmo editei o vídeo, sem muito conhecimento na ferramenta.

Gravado com OBS.
SO: Ubuntu 22.04.2 LTS
Editor: Kdenlive

Para facilitar, eu estou publicando todo material no meu github:

https://github.com/mordp1/espetinhodekafka/

Comandos:
Estou utilizando um container neste momento, indico instalar o Docker ou Docker Desktop

Utilizaremos o exemplo da Conduktor.
https://www.conduktor.io/kafka/how-to-start-kafka-using-docker/

## Clone do repo
$ git clone https://github.com/conduktor/kafka-stack-docker-compose.git
$ cd kafka-stack-docker-compose

## Subindo
$ docker-compose -f zk-multiple-kafka-multiple.yml up -d

## Conectando no shell do container kafka1
$ docker exec -it kafka1 /bin/bash

## Criando os 3 topicos dentro do container
$ kafka-topics --bootstrap-server kafka1:19092 --topic topic1 --create --partitions 3 --replication-factor 1

$ kafka-topics --bootstrap-server kafka1:19092 --topic topic2 --create --partitions 3 --replication-factor 2

$ kafka-topics --bootstrap-server kafka1:19092 --topic topic3 --create --partitions 3 --replication-factor 3

## Para executar os comandos fora do container, precisa ter os binários do Kafka:
$ wget -c https://dlcdn.apache.org/kafka/3.4.0/kafka_2.13-3.4.0.tgz -O - | tar -xz
$ cd kafka_2.13-3.4.0

## Comandos para cirar topicos fora do container

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --topic topic1 --create --partitions 3 --replication-factor 1

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --topic topic2 --create --partitions 3 --replication-factor 2

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --topic topic3 --create --partitions 3 --replication-factor 3


#apache #kafka #apachekafka #data #datastreams #kafkaadministration
#stream #technology #linux #devops #sre