kafak+zookeeper
1.实现filebeat的高吞吐,以及高可用,高性能的日志转发 均衡的工作
1,下载kafka
wget http://*.*.*.*/ElasticStack/day07-/softwares/kafka_2.13-3.2.1.tgz
(2)解压软件包
tar xf kafka_2.13-3.2.1.tgz -C /oldboyedu/softwares/
(3)创建符号连接
ln -svf kafka_2.13-3.2.1 kafka
(4)配置环境变量
cat /etc/profile.d/kafka.sh
#!/bin/bash
export ZK_HOME=/wade/softwares/zk
export PATH=$PATH:$ZK_HOME/bin
export KAFKA_HOME=/wade/softwares/kafka
export PATH=$PATH:$KAFKA_HOME/bin
source /etc/profile.d/kafka.sh
(5)修改配置文件
vi softwares/kafka/config/server.properties
broker.id=101
zookeeper.connect=10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:2181
启动kafka单点
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
zookeeper的安装:
下载
wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz
解压
tar -zxvf apache-zookeeper-3.8.4-bin.tar.gz
配置文件修改
启动zk
./zkServer.sh start 启动zk
./zkServer.sh status查看状态
./zkCli.sh 链接zk'
zookeeper是一种服务 主要是存储一些kv型的数据,
ZooKeeper 是一个分布式协调工具,主要用于解决分布式系统中的数据一致性、服务注册与发现、分布式锁、Leader 选举、配置管理等问题。它广泛应用于分布式系统中,特别是在 Hadoop、HBase、Kafka 等大数据和流处理系统中,有助于管理集群、确保系统的高可用性和一致性。如果你在构建大规模的分布式系统,ZooKeeper 是一个非常有用的工具。
get /wade_test/jiaoshi01 查看
create /wade_test/jiaoshi01 wadetest 在znode下创建对应的数据
创建znode点: create /wade_test
修改 set /wade_test/jiaoshi01 yearts
znode中的 create -s /wade_test test 是创建一个临时的znode节点,当会话退出时会删除临时的幻化znode节点