KAFKA install

Crear usuario
useradd kafka -m
passwd kafka
adduser kafka sudo
su kafka
Instalar Java y Zookeeperd
sudo apt-get install default-jre
sudo apt-get install zookeeperd
Instalar Kafka
mkdir -p ~/Downloads
wget "http://mirror.cc.columbia.edu/pub/software/apache/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz" -O
~/Downloads/kafka.tgz
mkdir -p ~/kafka && cd ~/kafka
tar -xvzf ~/Downloads/kafka.tgz --strip 1
Configure File
e
delete.topic.enable = true
The -Xms parameter specifies the minimum heap size. To get your serve STARTuo less than
2GB RAM
kafka/bin/kafka-server-start.sh
KAFKA_HEAP_OPTS="-Xmx512M -Xms512M"

KAFKA use
Brokers: Kafka cluster tiene muchos brokers que balancean la carga.
Producer: Envia mensajes a lo que dan los brokers, No ack.
Consumer: Consumer tieene que ssaber cuales mensajes a consumido (usando offser)Cuando un consumer se suscribe a un topico con un id de grupo, kafka ccomparte los datos entre todos
los consumidores del grupo, hasta que No. particiones sea = al numero de consumers.
Run
kafka-server-start.sh script using nohup (Mantiene la ejecucin de un comando asi se salga de la
terminal)
nohup ~/kafka/bin/kafka-server-start.sh ~/kafka/config/server.properties > ~/kafka/kafka.log 2>&1 &

ps -ef |grep nohup

kill -9 2621
Crear topico
Replicas son backups de las particiones, cada topico tiene almenos una particion ordenada
secuencialmente.
~/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1
--topic TutorialTopic
Listar topicos
~/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181
Modificar Topico
bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic Hello-kafka --partitions 2
Eliminar Topico
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic topic_name
Publish
--broker-list : lista de brokers donde queremos enviar mensajes,. Config/server.properties tienes el port
id de cada broker. En esete caso esta en 9092.
echo "Hello, World" | ~/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic
Tutorial> /dev/null
Start Consumer
~/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic Tutorial from-beginning

KAFKA Python
Consumer http://kafka-python.readthedocs.io/en/master/apidoc/KafkaConsumer.html