如何安装 Apache Debian 10 上的 Kafka

在本教程中,我们将向您展示如何安装 Apache Debian 10 上的 Kafka。对于那些不知道的人, Apache Kafka 是一个开源分布式事件流平台,被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序。

本文假设您至少具备 Linux 的基本知识,知道如何使用 shell,最重要的是,您将站点托管在自己的 VPS 上。 安装非常简单,假设您在 root 帐户中运行,否则您可能需要添加 ‘sudo‘ 到获得 root 权限的命令。 我将向您展示逐步安装 Apache Debian 10 (Buster) 上的 Kafka。

安装 Apache Debian 10 Buster 上的 Kafka

步骤 1. 在运行下面的教程之前,通过运行以下命令确保您的系统是最新的很重要 apt 终端中的命令:

sudo apt update

步骤 2. 安装 Java。

现在使用以下命令安装 Java:

sudo apt install default-jdk

通过运行以下命令验证 Java 版本:

java -version

步骤 3. 安装 Apache Debian 10 上的 Kafka。

现在我们运行以下命令进行下载 Apache 来自官网的Kafka包:

wget https://downloads.apache.org/kafka/2.8.0/kafka_2.12-2.8.0.tgz

然后,提取下载的存档文件:

tar xzf kafka_2.12-2.8.0.tgz mv kafka_2.12-2.8.0 /usr/local/kafka

步骤 4. 创建 Systemd 单元文件。

现在我们创建 systemd Zookeeper 和 Kafka 服务的单元文件。 这将有助于管理 Kafka 服务以启动或停止使用 systemctl 命令:

nano /etc/systemd/system/zookeeper.service

添加以下文件:

[Unit] Description=Apache Zookeeper server Documentation=https://zookeeper.apache.org Requires=network.target remote-fs.target After=network.target remote-fs.target  [Service] Type=simple ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh Restart=on-abnormal  [Install] WantedBy=multi-user.target

接下来,创建一个Kafka systemd 使用以下命令生成单元文件:

nano /etc/systemd/system/kafka.service

添加以下内容:

[Unit] Description=Apache Kafka Server Documentation=https://kafka.apache.org/documentation.html Requires=zookeeper.service  [Service] Type=simple Environment="JAVA_HOME=/usr/lib/jvm/java-1.11.0-openjdk-amd64" ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh  [Install] WantedBy=multi-user.target

Save 文件并重新加载 systemd 应用新更改的守护进程:

sudo systemctl daemon-reload sudo systemctl start zookeeper sudo systemctl start kafka

步骤 5. 在 Kafka 中创建一个主题。

首先,创建一个名为“MakeTopic”的主题,其中有一个分区和一个副本:

cd /usr/local/kafka bin/kafka-maketopics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic MakeTopic

之后,您可以通过运行以下命令在 Kafka 上看到创建的主题:

$ bin/kafka-maketopics.sh --list --zookeeper localhost:2181 MakeTopic

步骤 6. 向 Kafka 发送消息。

现在我们运行生产者,然后在控制台中输入一些消息以发送到服务器:

$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic MakeTopic  >Welcome to kafka >This is my first topic >

步骤 7. 使用 Kafka 消费者。

Apache Kafka 还有一个命令行消费者,用于从 Kafka 集群读取数据并将消息显示到标准输出。

$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic MakeTopic --from-beginning  Welcome to kafka This is my first topic

恭喜! 您已成功安装 Apache 卡夫卡。 感谢您使用本教程安装最新版本的 Apache Debian 系统上的 Kafka。 如需更多帮助或有用信息,我们建议您查看 官方 Apache 卡夫卡网站.