Kafka的下载安装以及使用
# Kafka 的下载安装以及使用
# 官方文档
# 下载
# 脚本说明
# 快速开始
# 1、修改配置
- 修改日志存储路径：设置
log.dirs为 Kafka 日志存储路径，如：
# 修改配置文件 config/server.properties
vim config/server.properties
# 设置为你希望存放的目录路径（根据环境设置）
# Linux
log.dirs=/usr/local/kafka/logs
# Windows
log.dirs=D:\\kafka\\kafka_3.9.0\\logs\\kafka-logs
# 修改配置文件 config/zookeeper.properties
vim config/zookeeper.properties
# 设置为你希望存放的目录路径（根据环境设置）
# Linux
log.dirs=/usr/local/zookeeper/logs
# Windows
dataDir=D:\\kafka\\kafka_3.9.0\\logs\\zookeeper-logs
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
修改
listeners配置： 将listeners配置中的主机名（如your.host.name）替换为对应的 IP 地址。（即更换节点显示内容）例如，如果你的服务器的 IP 地址是
192.168.1.100，可以这样配置：
listeners=PLAINTEXT://192.168.1.100:9092
1
在 Kafka 的配置文件中，
listeners配置项默认使用主机名（即由java.net.InetAddress.getCanonicalHostName()获取），- 如果你希望 Kafka 显示 IP 地址 而不是主机名，可以通过修改
listeners和advertised.listeners配置来实现。
# 2、启动 Zookeeper
在 kafka 目录下运行:
# Linux
$ bin/zookeeper-server-start.sh config/zookeeper.properties
# Windows
.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties
1
2
3
4
2
3
4
Zookeeper 默认监听 2181 端口，你可以通过以下命令来检查该端口是否已经被占用：
netstat -ano | findstr :2181
1
如果该端口正在被 Zookeeper 使用，你会看到类似以下的输出（表示进程已经在监听该端口）：
TCP 0.0.0.0:2181 0.0.0.0:0 LISTENING <pid>
1
pid 是占用该端口的进程 ID。
- 如果你看到输出，那么 Zookeeper 可能仍然在运行。
- 如果没有输出，表示 Zookeeper 进程已经停止。
# 3、启动 Kafka
在 kafka 目录下运行（新开一个终端会话）:
# Linux
$ bin/kafka-server-start.sh config/server.properties
# Windows
.\bin\windows\kafka-server-start.bat .\config\server.properties
1
2
3
4
2
3
4
# 4、创建主题
# Linux
$ bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
# Windows
.\bin\windows\kafka-topics.bat --create --topic quickstart-events --bootstrap-server localhost:9092
1
2
3
4
2
3
4
# 5、启动生产者
# Linux
$ bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
# Windows
.\bin\windows\kafka-console-producer.bat --topic quickstart-events --bootstrap-server localhost:9092
>This is my first event
>This is my second event
1
2
3
4
5
6
7
2
3
4
5
6
7
# 6、启动消费者
# Linux
$ bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
# Windows
.\bin\windows\kafka-console-consumer.bat --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
1
2
3
4
2
3
4
# 关闭 Kafka
1、一定要先关闭 kafka，再关闭 zookeeper，否则容易出现数据错乱
如果出现数据错错乱，最简单的方法就是清空 data 和 kafka-logs 这两个文件下的内容，重新启动即可
2、关闭
# Windows
.\bin\windows\kafka-server-stop.bat
.\bin\windows\zookeeper-server-stop.bat
1
2
3
2
3
# 可视化界面
# 1、kafka-console-ui
地址：kafka-console-ui: 一款快捷易用的轻量级kafka可视化管理平台 (opens new window)
# 快速启动
# Windows
- 解压缩 zip 安装包
- 进入 bin 目录（必须在 bin 目录下），双击执行
start.bat启动 - 停止：直接关闭启动的命令行窗口即可
# Linux 或 Mac OS
# 解压缩
unzip kafka-console-ui.zip
# 进入解压缩后的目录
cd kafka-console-ui
# 启动
sh bin/start.sh
# 停止
sh bin/shutdown.sh
1
2
3
4
5
6
7
8
2
3
4
5
6
7
8
# 访问地址
启动完成，访问：http://127.0.0.1:7766
# 2、Kafka-King
地址：Bronya0/Kafka-King: A modern and practical kafka GUI client 💕🎉 (opens new window)
# 3、kafka-ui
地址：provectus/kafka-ui: Open-Source Web UI for Apache Kafka Management (opens new window)
# 4、EFAK
# 踩坑小记
1、命令行太长问题
原因分析：上级目录名称太长，需要修改存储位置
# 学习参考
上次更新: 2025/3/31 17:43:18