Apache Kafka 快速指南

es。update-alternatives --install /usr/bin/java java /opt/jdk/jdk1.8.0_60/bin/java 100步骤1.6 - 现在使用第1步中说明的验证命令(java -version)验证java。步骤2 - ZooKeeper框架安装步骤2.1 - 下载ZooKeeper要在您的计算机上安装ZooKeeper框架，请访问以下链接并下载最新版本的ZooKeeper。http://zookeeper.apache.org/releases.html现在，最新版本的ZooKeeper是3.4.6(ZooKeeper-3.4.6.tar.gz)。步骤2.2 - 提取tar文件使用以下命令提取tar文件$ cd opt/$ tar -zxf zookeeper-3.4.6.tar.gz$ cd zookeeper-3.4.6$ mkdir data步骤2.3 - 创建配置文件使用命令vi“conf / zoo.cfg"打开名为 conf / zoo.cfg 的配置文件，并将所有以下参数设置为起点。$ vi conf/zoo.cfgtickTime=2000dataDir=/path/to/zookeeper/dataclientPort=2181initLimit=5syncLimit=2一旦配置文件成功保存并再次返回终端，您可以启动zookeeper服务器。步骤2.4 - 启动ZooKeeper服务器$ bin/zkServer.sh start执行此命令后，您将得到如下所示的响应 - $ JMX enabled by default$ Using config: /Users/../zookeeper-3.4.6/bin/../conf/zoo.cfg$ Starting zookeeper ... STARTED步骤2.5 - 启动CLI$ bin/zkCli.sh输入上面的命令后，您将被连接到zookeeper服务器，并将获得以下响应。Connecting to localhost:2181................................................Welcome to ZooKeeper!................................WATCHER::WatchedEvent state:SyncConnected type: None path:null[zk: localhost:2181(CONNECTED) 0]步骤2.6 - 停止Zookeeper服务器连接服务器并执行所有操作后，可以使用以下命令停止zookeeper服务器 - $ bin/zkServer.sh stop现在你已经在你的机器上成功安装了Java和ZooKeeper。 让我们看看安装Apache Kafka的步骤。步骤3 - Apache Kafka安装让我们继续以下步骤在您的机器上安装Kafka。步骤3.1 - 下载Kafka要在您的机器上安装Kafka，请点击以下链接 - https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz现在最新版本，即 - kafka_2.11_0.9.0.0.tgz 将下载到您的计算机上。步骤3.2 - 解压tar文件使用以下命令提取tar文件 - $ cd opt/$ tar -zxf kafka_2.11.0.9.0.0 tar.gz$ cd kafka_2.11.0.9.0.0现在您已经在您的机器上下载了最新版本的Kafka。步骤3.3 - 启动服务器您可以通过给出以下命令来启动服务器 - $ bin/kafka-server-start.sh config/server.properties服务器启动后，您会在屏幕上看到以下响应:$ bin/kafka-server-start.sh config/server.properties[2016-01-02 15:37:30,410] INFO KafkaConfig values:request.timeout.ms = 30000log.roll.hours = 168inter.broker.protocol.version = 0.9.0.Xlog.preallocate = falsesecurity.inter.broker.protocol = PLAINTEXT…………………………………………….…………………………………………….步骤4 - 停止服务器执行所有操作后，可以使用以下命令停止服务器 - $ bin/kafka-server-stop.sh config/server.properties现在我们已经讨论了Kafka安装，我们可以在下一章中学习如何对Kafka执行基本操作。Apache Kafka - 基本操作首先让我们开始实现单节点单代理配置，然后我们将我们的设置迁移到单节点多代理配置。希望你现在可以在你的机器上安装Java，ZooKeeper和Kafka。 在迁移到Kafka Cluster Setup之前，首先需要启动ZooKeeper，因为Kafka Cluster使用ZooKeeper。启动ZooKeeper打开一个新终端并键入以下命令 - bin/zookeeper-server-start.sh config/zookeeper.properties要启动Kafka Broker，请键入以下命令 - bin/kafka-server-start.sh config/server.properties启动Kafka Broker后，在ZooKeeper终端上键入命令 jps ，您将看到以下响应 - 821 QuorumPeerMain928 Kafka931 Jps现在你可以看到两个守护进程运行在终端上，QuorumPeerMain是ZooKeeper守护进程，另一个是Kafka守护进程。单节点 - 单代理配置在此配置中，您有一个ZooKeeper和代理id实例。 以下是配置它的步骤 - 创建Kafka主题 - Kafka提供了一个名为 kafka-topics.sh 的命令行实用程序，用于在服务器上创建主题。 打开新终端并键入以下示例。语法bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic-name示例bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic Hello-Kafka我们刚刚创建了一个名为 Hello-Kafka 的主题，其中包含一个分区和一个副本因子。 上面创建的输出将类似于以下输出 - 输出 - 创建主题 Hello-Kafka 创建主题后，您可以在Kafka代理终端窗口中获取通知，并在config / server.properties文件中的“/ tmp / kafka-logs /"中指定的创建主题的日志。主题列表要获取Kafka服务器中的主题列表，可以使用以下命令 - 语法bin/kafka-topics.sh --list --zookeeper localhost:2181输出Hello-Kafka由于我们已经创建了一个主题，它将仅列出 Hello-Kafka 。 假设，如果创建多个主题，您将在输出中获取主题名称。启动生产者以发送消息语法bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topic-name从上面的语法，生产者命令行客户端需要两个主要参数 - 代理列表 - 我们要发送邮件的代理列表。 在这种情况下，我们只有一个代理。 Config / server.properties文件包含代理端口ID，因为我们知道我们的代理正在侦听端口9092，因此您可以直接指定它。主题名称 - 以下是主题名称的示例。示例bin/kafka-console-producer.sh --broker-list localhost:9092 --topic Hello-Kafka生产者将等待来自stdin的输入并发布到Kafka集群。 默认情况下，每个新行都作为新消息发布，然后在 config / producer.properties 文件中指定默认生产者属性。 现在，您可以在终端中键入几行消息，如下所示。输出$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic Hello-Kafka[2016-01-16 13:50:45,931] WARN property topic is not valid (kafka.utils.Verifia-bleProper