在本教程中,我们将向您展示如何安装 Apache Debian 10 上的 Kafka。对于那些不知道的人, Apache Kafka 是一个开源分布式事件流平台,被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序。
本文假设您至少具备 Linux 的基本知识,知道如何使用 shell,最重要的是,您将站点托管在自己的 VPS 上。 安装非常简单,假设您在 root 帐户中运行,否则您可能需要添加 ‘sudo
‘ 到获得 root 权限的命令。 我将向您展示逐步安装 Apache Debian 10 (Buster) 上的 Kafka。
安装 Apache Debian 10 Buster 上的 Kafka
步骤 1. 在运行下面的教程之前,通过运行以下命令确保您的系统是最新的很重要 apt
终端中的命令:
sudo apt update
步骤 2. 安装 Java。
现在使用以下命令安装 Java:
sudo apt install default-jdk
通过运行以下命令验证 Java 版本:
java -version
步骤 3. 安装 Apache Debian 10 上的 Kafka。
现在我们运行以下命令进行下载 Apache 来自官网的Kafka包:
wget https://downloads.apache.org/kafka/2.8.0/kafka_2.12-2.8.0.tgz
然后,提取下载的存档文件:
tar xzf kafka_2.12-2.8.0.tgz mv kafka_2.12-2.8.0 /usr/local/kafka
步骤 4. 创建 Systemd 单元文件。
现在我们创建 systemd
Zookeeper 和 Kafka 服务的单元文件。 这将有助于管理 Kafka 服务以启动或停止使用 systemctl
命令:
nano /etc/systemd/system/zookeeper.service
添加以下文件:
[Unit] Description=Apache Zookeeper server Documentation=https://zookeeper.apache.org Requires=network.target remote-fs.target After=network.target remote-fs.target [Service] Type=simple ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
接下来,创建一个Kafka systemd
使用以下命令生成单元文件:
nano /etc/systemd/system/kafka.service
添加以下内容:
[Unit] Description=Apache Kafka Server Documentation=https://kafka.apache.org/documentation.html Requires=zookeeper.service [Service] Type=simple Environment="JAVA_HOME=/usr/lib/jvm/java-1.11.0-openjdk-amd64" ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh [Install] WantedBy=multi-user.target
Save 文件并重新加载 systemd
应用新更改的守护进程:
sudo systemctl daemon-reload sudo systemctl start zookeeper sudo systemctl start kafka
步骤 5. 在 Kafka 中创建一个主题。
首先,创建一个名为“MakeTopic”的主题,其中有一个分区和一个副本:
cd /usr/local/kafka bin/kafka-maketopics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic MakeTopic
之后,您可以通过运行以下命令在 Kafka 上看到创建的主题:
$ bin/kafka-maketopics.sh --list --zookeeper localhost:2181 MakeTopic
步骤 6. 向 Kafka 发送消息。
现在我们运行生产者,然后在控制台中输入一些消息以发送到服务器:
$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic MakeTopic >Welcome to kafka >This is my first topic >
步骤 7. 使用 Kafka 消费者。
Apache Kafka 还有一个命令行消费者,用于从 Kafka 集群读取数据并将消息显示到标准输出。
$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic MakeTopic --from-beginning Welcome to kafka This is my first topic
恭喜! 您已成功安装 Apache 卡夫卡。 感谢您使用本教程安装最新版本的 Apache Debian 系统上的 Kafka。 如需更多帮助或有用信息,我们建议您查看 官方 Apache 卡夫卡网站.