kafka安装

kafka官网

一、下载kafka安装包kafka_2.12-2.8.0.tgz

二、下载完成后进行解压缩

tar -zxvf kafka_2.12-2.8.0.tgz

三、解压完成后进入kafka目录

cd kafka_2.12-2.8.0/config 

四、修改zookeeper.properties配置

将dataDir路径该到拥有使用权限且不会轻易删除的地方
检查clientPort是否可用，不可用则换一个端口

五、修改server.properties配置

#唯一标识在集群中的ID，要求是正数。
broker.id=0
#负责写磁盘的线程数,一般设置为服务器CPU总核数的50%
num.io.threads=8
#副本拉取线程数，一般设置为服务器CPU总核数的剩下50%中的三分之一
num.replica.fetchers=1
#数据传输线程数，一般设置为服务器CPU总核数的剩下50%中的三分之二
num.network.threads=3
#日志存放目录，多个目录使用逗号分割
log.dirs=/var/log/kafka
#zookeeper配置，若配置了/kafka，则需要事先在zookeeper中新建/kafka节点，否则启动kafka时会报错：报出错误：java.lang.IllegalArgumentException: Path length must be > 0
zookeeper.connect=192.168.175.128:2181,192.168.175.129:2181/kafka
#该配置用来定义Kafka Broker的Listener的配置项
listeners=PLANTEXT://192.168.175.128:9092
#该配置用于将Broker的Listener信息发布到Zookeeper中
advertised.listeners=PLAINTEXT://192.168.175.128:9092
# 是否允许自动创建topic ，若是false，就需要通过命令创建topic
auto.create.topics.enable =true
# 日志保存时间 (hours|minutes)，默认为7天（168小时）。超过这个时间会根据policy处理数据。bytes和minutes无论哪个先达到都会触发。
log.retention.hours=168
#设置分区数为2，一个消费者组中，每一个分区只能由组内的一消费者订阅。消费者组内的消费者数量最好是与总分区数持平，再不济，最好也是要是总分区数的数量成比例。
num.partitions=2
#用于配置offset记录的topic的partition的副本个数
offsets.topic.replication.factor=kafka服务数
#事务主题的复制因子 
transaction.state.log.replication.factor=kafka服务数
#覆盖事务主题的min.insync.replicas配置
transaction.state.log.min.isr=kafka服务数
#自动创建主题的默认复制因子，不能大于集群中broker的个数。
default.replication.factor=kafka服务数
#组协调器在执行第一次重新平衡之前等待更多消费者加入新组的时间量。更长的延迟意味着可能更少的再平衡，但会增加处理开始前的时间。
group.initial.rebalance.delay.ms=3000

六、进入bin目录,启动zookeeper

./zookeeper-server-start.sh -daemon 【zookeeper.properties路径带文件名】

七、启动kafka

./kafka-server-start.sh -daemon 【server.properties路径带文件名】

八、修改java环境变量，以便可以快速启动【可选步骤】

vi /etc/profile

或者

vi /root/.bash_profile

新增内容

export PATH=$PATH:/usr/bin