kafka的编译和使用

kafka的编译和使用

一.kafka的使用 kafka官网提供了编译好的二进制包，-即用 ​​​http://kafka.apache.org/downloads​​​。最新版本的是1.1.0 Kafka是使用scala编写的运行于jvm虚拟机上的程序，虽然也可以在windows上使用，但基本上是运行在linux服务器上，因此我们这里也使用linux（Fedora 20）来开始今天的实战。 首先确保你的机器上安装了jdk，kafka需要java运行环境，以前的kafka还需要zookeeper，新版的kafka已经内置了一个zookeeper环境，所以我们可以直接使用。 1.安装jdk

我的Fedora 20是32位的，但是最新的JDK 10只有64位版本了，因此要-老版本，JDK 7以上的版本就行。

历史版本-：​​rpm -qa|grep jdk

linux系统一般默认会安装openjdk，据说是jdk的开源版本，先卸载之。

-卸载openjdk

# yum -y remove java java-1.7.0-openjdk*

-安装jdk

# rpm -ivh jdk-7u80-linux-i586.rpm

因为安装的是rpm包，所以不需要配置环境变量了，下面查看是否安装成功。

-查看jdk版本

# java -version

2.安装kafka

说是安装，实际上就是解压。如果只需要进行最简单的尝试的话我们只需要解压到任意目录即可，这里我们将kafka压缩包解压到/home目录。

> tar -xzf kafka_2.11-1.1.0.tgz> cd kafka_2.11-1.1.0

3.使用kafka

启动zookeeper

> bin/zookeeper-server-start.sh config/zookeeper.properties

启动kafka

> bin/kafka-server-start.sh config/server.properties

创建topic，这里创建一个名为“test”的主题，该主题只有一个分区和一个副本

> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看topic

> bin/kafka-topics.sh --list --zookeeper localhost:2181test

除了可以手动创建topic，还可以配置broker自动创建topic，当向一个不存在的topic发布数据的时候

创建producer，停留在cmd终端，接受输入，以回车发送，即每一行是一条单独的消息

> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic testThis is a messageThis is another message

创建consumer，停留在cmd终端，显示输出

> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginningThis is a messageThis is another message

所有的命令行都有可选参数，如果不带参数，会显示详细的使用信息

关闭zookeeper

> bin/zookeeper-server-stop.sh

实践中发现并不能正常关闭，提示No zookeeper server to stop，需要将该shell文件修改如下

SIGNAL=${SIGNAL:-TERM}PIDS=$(ps ax | grep java | grep -i zookeeper | grep -v grep | awk '{print $1}')if [ -z "$PIDS" ]; then echo "No zookeeper server to stop" exit 1else kill -s $SIGNAL $PIDSfi

关闭kafka

> bin/kafka-server-stop.sh

实践中发现并不能正常关闭，提示No kafka server to stop，需要将该shell文件修改如下

SIGNAL=${SIGNAL:-KILL}PIDS=$(ps ax | grep -i kafka | grep java | grep -v grep | awk '{print $1}')if [ -z "$PIDS" ]; then echo "No kafka server to stop" exit 1else kill -s $SIGNAL $PIDSfi

注意，这里的信号改成了SIGKILL，因为原来的SIGTERM信号根本就不能结束kafka服务。如果先关闭kafka服务，zookeeper也会一起关闭了。

二.kafka的编译

会编译，有备无患。-源码kafka-1.1.0-src.tgz

解压，这里也解压到/home目录下

> tar -xzf kafka-1.1.0-src.tgz> cd kafka-1.1.0-src

查看里面的README.md文档，编译依赖1.Gradle 3.0或更高版本；2.Java 7。jdk前面已经安装过了，现在安装Gradle。

Gradle-​​7或更高版本。最新的Gradle版本是4.6，-其编译好的二进制包gradle-4.6-bin.zip。

解压，这里也解压到/home目录下

$ unzip -d gradle-4.6-bin.zip$ ls radle-4.6LICENSE NOTICE bin getting-started.html init.d lib media

将bin添加到环境变量，编辑/etc/profile文件，在其末尾添加

export PATH=$PATH:/home/zhangcan/gradle-4.6/bin

使修改的profile立即生效

$ source /etc/profile

测试一下

$ gradle -v

CD到kafka源码目录，开始编译

1.输入gradle指令，开始-环境

$ gradle

-了一堆东西，如果提示有文件-失败，多执行几次该指令即可

2.编译

$ ./gradlew releaseTarGz -x signArchives

还是-了一堆东西，如果提示有文件-失败，多执行几次该指令即可。公司网速慢，编译花了半个小时，编译成功后会提示。

此时，会在kafka-1.1.0-src/core/build/distributions目录下生成一个名为kafka_2.11-1.1.0.tgz的二进制包，这个包和从官网-的二进制包是一毛一样的。

编译过程很顺利，没有发现任何问题。

参考链接：​​http://kafka.apache.org/quickstart​​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。