Kafka基础与搭建

一、先行要事

1.Java环境

由于kafka是使用Java语言进行的开发的应用程序，所以需要提前配置JDK环境。

2.Zookeeper安装

kafka的设计是通过Zookeeper进行保存集群的元数据信息和消费者信息。
Zookeeper是kafka的前提依赖。

在kafka的应用程序中包含有Zookeeper轻量应用，可以通过脚本直接运行。不过，也可以通过单独下载进行部署安装Zookeeper应用。
①.Zookeeper单机模式的部署配置如下：

$:  tar xzvf zookeeper－3.4.13.tar.gz
$:  mv zookeeper－3.4.13 /usr/local/zookeeper
$:  vim /usr／local/zookeeper/conf/zoo.cfg
    # 修改zoo.cfg文件中以配置
    tickTime=2000   #Zookeeper心跳时间【2000】检测，单位为毫秒
    dataDir=/var/lib/zookeeper  #默认情况下,Zookeeper事务日志和数据快照保存路径
    clientPort=2181 #客户端连接服务器的端口
$:  /usr/local/zookeeper/zkServer.sh start  #启动Zookeeper服务

②.Zookeeper集群模式的部署配置如下：
Tips：Zookeeper集群成为群组(Ensemble).关于群组节点需要注意的是数量问题：

• 群组包含节点数量尽量不要超过7个。
  • 由于Zookeeper使用了一致性协议，当节点数量超过7个时，极可能造成整个群组的性能下降。
• 群组包含节点数量尽量为奇数个。
  • 由于Zookeeper的quorum（仲裁）的思想，详细见【Zookeeper-quorum】文档。

$:  vim /usr／local/zookeeper/conf/zoo.cfg
    # 修改zoo.cfg文件中以配置
    tickTime=2000   #Zookeeper心跳时间【2000】检测，单位为毫秒
    dataDir=/var/lib/zookeeper  #默认情况下,Zookeeper事务日志和数据快照保存路径
    clientPort=2181 #客户端连接服务器的端口
    initLimit=20 #flower最初连接leader时的超时值，单位为tickTime的倍数
    syncLimit=5 #flower与leader之间进行Sync操作的超时值，单位为tickTime的倍数
    
    # server.x=[hostname]:peerPort:leaderPort[：observer]
    # x为群组中服务器的ID值.它必须是一个整数，不过不一定要从0开始，也不要求是连续的
    # peerPort用于事务的发送
    # leaderPort用于leader选举
    # observe参数可选，为了标记服务器是否进入观察者模式
    server.1=hostname1:2888:3888:observer
    server.2=hostname2:2888:3888 
    server.3=hostname3:2888:3888

    # 客户端只需要通过clientPort就能连接到群组，
    # 而群组节点间的通信则需要同时用到这3个端口peerPort、leaderPort、clientPort。

3.Kafka安装

   # 下载Kafka：http://kafka.apache.org/downloads
   # 将下载的安装包kafka_2.12-2.1.1.tgz 进行解压操作
$: tar xzvf kafka_2.12-2.1.1.tgz
   
   # 可参考kafka的配置文件参数说明自行配置kafka运行参数（见附表）
   
   # 将kafka放在/usr/local/kafka路径下
   mv -r kafka_2.12-2.1.1 /usr/local/kafka
   
   # 启动kafka（前提已启动Zookeeper服务）
   /usr/local/kafka/bin/kafka-server-start.sh -demon /usr/local/kafka/config/server.properties

一旦kafka服务启动完成，就可以针对kafka服务进行简单操作：

• 创建名称为test的Topic：
  /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
• 验证test Topic：
  /usr/local/kafka/bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic test

# 终端窗口将会显示：
Topic:test      PartitionCount:1     ReplicationFactor:1     Configs:
Topic:test      Partition:0          Leader:0                Replicas:0      Isr:0

• 向test Topic发送消息：
  /usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

# 终端输入消息，回车发送：
Test Message Producer One
Test Message Producer Two

• 从test Topic读取消息：
  /usr/local/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

# 终端显示读取的消息：
Test Message Producer One
Test Message Producer Two

Consumer 2 messages

附录：Kafka Broker配置项