在Ubuntu上配置Kafka时，有几个关键的注意事项需要考虑，以确保Kafka集群的稳定性和性能。以下是Kafka配置的要点：
以上就是在Ubuntu上配置Kafka的基本要点。根据实际需求，可能还需要进行更多的配置和优化，例如配置多个broker、设置副本因子、配置安全策略等。。
Ubuntu如何建立虚拟网卡
如果你对网络运行和IP网络有所了解，你应该知道在大多数情况下，每个网卡只会分配一个IP地址。 我们习惯认为这是一对一的事物。 一个网卡对应一个IP地址，你在一台机器上的一个网卡及其IP地址只能绑定或运行单一的网络服务/端口。 例如，如果你想在80端口运行一个Web服务器，而一个IP地址和端口号只能由一个web服务器监听。 这是这样设计的。 所以，网卡和IP地址并不是一对一的关系，你可以创建可以单独分配IP地址的虚拟网卡。 因此，单一的物理网卡可以群集无限的子网卡或虚拟网卡。 每一个都能分配它自己IP地址到对应的端口。 这个简短的教程将展示给你如何在Ubuntu上做到这些。 这是在一台电脑上用一张物理网卡和单一的端口号运行及测试多个网络服务的好方式。 动手吧，运行下列命令打开网络接口文件。 sudo gedit /etc/Network/interfaces然后按照下图中的步骤，添加你想要的任意多的虚拟网卡。 默认情况下，Linux会给第一张网卡分配eth0的名称，所以如果你的机子只有一张网卡，那么它会被命名为eth0。 添加虚拟网卡，创建多个静态网卡并命名为eth0:1、eth0:2、eth0:3等等（eth0后面紧跟冒号和数字）。 对于你创建的每一个网卡，也要确保网络都是不同的子网，这是网络常识（译注：事实上并非如此，虚拟网卡完全可以是相同子网的IP地址，只要你需要）完成以后，保存文件并用下列命令重启网络服务。 sudo service networking restart就是这样！
如何设置Ubuntu做网关
硬件需求：一台安装Ubuntu的PC。 两块网卡。 配置很简单，假设有两个网段的网络：0和1，分别是192.168.0.0和192.168.1.0。 其中eth0接在0号网络，eth1接在1号网络。 现在分别给两块网卡eth0和eth1分配不同网段的IP地址：# sudo ifconfig eth0 192.168.0.1 netmask 255.255.255.0 up# sudo ifconfig eth1 192.168.1.1 netmask 255.255.255.0 up从界面管理里配置更好，这样每次都不用执行上面的命令了。 开启iptables转发规则：# echo 1 > proc/sys/net/ipv4/ip_forward默认ip_forward值为零，不允许转发，改为1就可以转发了。 如果想每次开机允许转发的话，可以将以上命令加入启动脚本后面。 配置0号网络和1号网络中的电脑，网关分别为192.168.0.0和192.168.1.0。 这样0号网段的电脑就可以访问1号网段的电脑了，1号网段的也可以访问0号网段的电脑了。
如何为Kafka集群选择合适的Partitions数量
如何决定kafka集群中topic,partition的数量，这是许多kafka用户经常遇到的问题。 本文列举阐述几个重要的决定因素，以提供一些参考。 分区多吞吐量更高一个话题topic的各个分区partiton之间是并行的。 在producer和broker方面，写不同的分区是完全并行的。 因此一些昂贵的操作比如压缩，可以获得更多的资源，因为有多个进程。 在consumer方面，一个分区的数据可以由一个consumer线程在拉去数据。 分区多，并行的consumer（同一个消费组）也可以多。 因此通常，分区越多吞吐量越高。 基于吞吐量可以获得一个粗略的计算公式。 先测量得到在只有一个分区的情况下，Producer的吞吐量(P)和Consumer的吞吐量(C)。 那如果总的目标吞吐量是T的话，max(T/P,T/C)就是需要的最小分区数。 在单分区的情况下，Producer的吞吐量可以通过一些配置参数，比如bath的大小、副本的数量、压缩格式、ack类型来测得。 而Consumer的吞吐量通常取决于应用程序处理每一天消息逻辑。 这些都是需要切合实际测量。 随着时间推移数据量的增长可能会需要增加分区。 有一点需要注意的是，Producer者发布消息通过key取哈希后映射分发到一个指定的分区，当分区数发生变化后，会带来key和分区映射关系发生变化。 可能某些应用程序依赖key和分区映射关系，映射关系变化了，程序就需要做相应的调整。 为了避免这种key和分区关系带来的应用程序修改。 所以在分区的时候尽量提前考虑，未来一年或两年的对分区数据量的要求。 除了吞吐量，还有一些其他的因素，在定分区的数目时是值得考虑的。 在某些情况下，太多的分区也可能会产生负面影响。 分区多需要的打开的文件句柄也多每个分区都映射到broker上的一个目录，每个log片段都会有两个文件（一个是索引文件，另一个是实际的数据文件）。 分区越多所需要的文件句柄也就越多，可以通过配置操作系统的参数增加打开文件句柄数。 分区多增加了不可用风险kafka支持主备复制，具备更高的可用性和持久性。 一个分区（partition）可以有多个副本，这些副本保存在不同的broker上。 每个分区的副本中都会有一个作为Leader。 当一个broker失败时，Leader在这台broker上的分区都会变得不可用，kafka会自动移除Leader，再其他副本中选一个作为新的Leader。 Producer和Consumer都只会与Leader相连。 一般情况下，当一个broker被正常关机时，controller主动地将Leader从正在关机的broker上移除。 移动一个Leader只需要几毫秒。 然当broker出现异常导致关机时，不可用会与分区数成正比。 假设一个boker上有2000个分区，每个分区有2个副本，那这样一个boker大约有1000个Leader，当boker异常宕机，会同时有1000个分区变得不可用。 假设恢复一个分区需要5ms，1000个分区就要5s。 分区越多，在broker异常宕机的情况，恢复所需时间会越长，不可用风险会增加。 分区多会增加点到点的延迟这个延迟需要体现在两个boker间主备数据同步。 在默认情况下，两个boker只有一个线程负责数据的复制。 根据经验，每个boker上的分区限制在100*b*r内（b指集群内boker的数量，r指副本数量）。 分区多会增加客户端的内存消耗kafka0.8.2后有个比较好的特色，新的Producer可以允许用户设置一个缓冲区，缓存一定量的数据。 当缓冲区数据到达设定量或者到时间，数据会从缓存区删除发往broker。 如果分区很多，每个分区都缓存一定量的数据量在缓冲区，很可能会占用大量的内存，甚至超过系统内存。 Consumer也存在同样的问题，会从每个分区拉一批数据回来，分区越多，所需内存也就越大。 根据经验，应该给每个分区分配至少几十KB的内存。 总结 在通常情况下，增加分区可以提供kafka集群的吞吐量。 然而，也应该意识到集群的总分区数或是单台服务器上的分区数过多，会增加不可用及延迟的风险。
发表评论