rockerMQ双主双从集群搭建

news/发布时间2024/5/18 16:47:09

总体架构

image

集群工作流程

  1. 启动NameServer，NameServer起来后监听端口，等待Broker、Producer、Consumer连上来，相当于一个路由控制中心。
  2. Broker启动，跟所有的NameServer保持长连接，定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存储所有Topic信息。注册成功后，NameServer集群中就有Topic跟Broker的映射关系。
  3. 收发消息前，先创建Topic，创建Topic时需要指定该Topic要存储在哪些Broker上，也可以在发送消息时自动创建Topic。
  4. Producer发送消息，启动时先跟NameServer集群中的其中一台建立长连接，并从NameServer中获取当前发送的Topic存在哪些Broker上，轮询从队列列表中选择一个队列，然后与队列所在的Broker建立长连接从而向Broker发消息。
  5. Consumer跟Producer类似，跟其中一台NameServer建立长连接，获取当前订阅Topic存在哪些Broker上，然后直接跟Broker建立连接通道，开始消费消息。

服务器环境

序号 IP 角色 架构模式
1 192.168.78.129 nameserver、brokerserver Master1、Slave2
2 192.168.78.130 nameserver、brokerserver Master2、Slave1

Host 添加消息

vim /etc/hosts

配置如下：

# nameserver
192.168.78.129 rocketmq-nameserver1
192.168.78.130 rocketmq-nameserver2#broker
192.168.78.129 rocketmq-master1
192.168.78.129 rocketmq-Slave2
192.168.78.130 rocketmq-master2
192.168.78.130 rocketmq-Slave1

配置完成后，重启网卡
systemctl restart network

防火墙配置

宿主机需要远程访问虚拟机的rocketmq服务和web服务，需要开放相关的端口号，简单粗暴的方式是直接关闭防火墙
也可以开放端口，对于学习来说，直接关闭即可。

# 关闭防火墙
systemctl stop firewalld.service
# 查看防火墙的状态
firewall-cmd --state
# 禁止firewall开机启动
systemctl disable firewalld.service

或者为了安全，只开放特定的端口号，RocketMQ默认使用3个端口：9876 、10911 、11011 。如果防火墙没有关闭的话，那么防火墙就必须开放这些端口：

  • nameserver 默认使用 9876 端口
  • master 默认使用 10911 端口
  • slave 默认使用11011 端口
# 开放name server默认端口
firewall-cmd --remove-port=9876/tcp --permanent
# 开放master默认端口
firewall-cmd --remove-port=10911/tcp --permanent
# 开放slave默认端口 (当前集群模式可不开启)
firewall-cmd --remove-port=11011/tcp --permanent 
# 重启防火墙
firewall-cmd --reload

环境变量配置

vim /etc/profile
在 profile文件的末尾加入如下命令：

#set rocketmq
ROCKETMQ_HOME=/usr/local/rocketmq-all-5.1.3-bin-release
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH

输入source /etc/profile立即生效

创建消息存储路径

两个服务器都要创建，默认的存储路径在root目录下，这里指定存储路径方便查看，在配置集群时可以指定这些路径

# 主节点
mkdir /usr/local/rocketmq/store
mkdir /usr/local/rocketmq/store/commitlog
mkdir /usr/local/rocketmq/store/consumequeue
mkdir /usr/local/rocketmq/store/index# 从节点
mkdir /usr/local/rocketmq/store-s
mkdir /usr/local/rocketmq/store-s/commitlog
mkdir /usr/local/rocketmq/store-s/consumequeue
mkdir /usr/local/rocketmq/store-s/index

这里有个坑，主从的存储位置不能一致，不然启动不了。

broker配置文件

master1 主节点

服务器：192.168.78.129
修改配置文件：
vim /usr/local/rocketmq-all-5.1.3-bin-release/conf/2m-2s-sync/broker-a.properties

image

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
# 0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

slave2 从节点

服务器: 192.168.78.129
vim /usr/local/rocketmq-all-5.1.3-bin-release/conf/2m-2s-sync/broker-b-s.properties

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store-s
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store-s/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store-s/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store-s/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store-s/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort-s
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

master2 主节点

服务器：192.168.78.130
vim /usr/local/rocketmq-all-5.1.3-bin-release/conf/2m-2s-sync/broker-b.properties

配置文件如下：

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

Slave1 从节点

服务器：192.168.78.130 它是192.168.78.129的从节点**
修改文件： vim /usr/local/rocketmq-all-5.1.3-bin-release/conf/2m-2s-sync/broker-a-s.properties

配置文件内容如下：

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
# 0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store-s
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store-s/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store-s/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store-s/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store-s/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store-s/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

修改启动脚本文件

1、vi /usr/local/rocketmq/bin/runbroker.sh

#===================================================
# 开发环境配置 JVM Configuration
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"

2、vim /usr/local/rocketmq/bin/runserver.sh

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

服务启动

1、启动NameServe集群

分别在192.168.78.129和192.168.78.130启动NameServer

cd /usr/local/rocketmq-all-5.1.3-bin-release/bin
nohup sh bin/mqnamesrv &

2、启动Broker集群

  • 在192.168.78.129 上启动 master1 和 slave2
    • master1：
     cd /usr/local/rocketmq-all-5.1.3-bin-release/binnohup sh mqbroker -c /usr/local/rocketmq-all-5.1.3-bin-release/conf/2m-2s-sync/broker-a.properties &
    • slave2:
    cd /usr/local/rocketmq-all-5.1.3-bin-release/bin
nohup sh mqbroker -c /usr/local/rocketmq-all-5.1.3-bin-release/conf/2m-2s-sync/broker-b-s.properties &
  • 在 192.168.78.130上 启动 master2 和 slave2
    • master2:
    cd /usr/local/rocketmq-all-5.1.3-bin-release/bin
nohup sh mqbroker -c /usr/local/rocketmq-all-5.1.3-bin-release/conf/2m-2s-sync/broker-b.properties &
    • slave1:
    cd /usr/local/rocketmq-all-5.1.3-bin-release/binnohup sh mqbroker -c /usr/local/rocketmq-all-5.1.3-bin-release/conf/2m-2s-sync/broker-a-s.properties &

查看服务状态

通过jps 命令查看服务的启动状态
image

可以看到启动了一个NameSrvStartup、两个BorkerStartup

查看系统日志

# 查看nameServer日志
tail -500f ~/logs/rocketmqlogs/namesrv.log
# 查看broker日志
tail -500f ~/logs/rocketmqlogs/broker.log

集群监控平台搭建

1、概述: RocketMQ有一个对其扩展的开源项目rocketmq-console（https://github.com/apache/rocketmq-dashboard ），这个便是管理控制台项目了，先将rocketmq-console拉到本地，因为我们需要自己对rocketmq-console进行编译打包运行。

使用源代码运行：

mvn clean package -Dmaven.test.skip=true
java -jar target/rocketmq-dashboard-1.0.1-SNAPSHOT.jar

2、打包前在rocketmq-console中配置namesrv集群地址：
进入/usr/local/rocketmq-dashboard-master/src/main/resources，找到application.properties文件

rocketmq.config.namesrvAddr=192.168.78.129:9876;192.168.78.130:9876

image

遇到的坑

在打包的时候遇到几个插件无法安装，都进行注释了

<artifactId>maven-compiler-plugin</artifactId>
<artifactId>maven-checkstyle-plugin</artifactId>
<artifactId>frontend-maven-plugin</artifactId>
<artifactId>maven-antrun-plugin</artifactId>

具体看（https://blog.csdn.net/qq_32424381/article/details/122531018 ）的博客

启动rocketmq-console：

java -jar rocketmq-dashboard-1.0.1-SNAPSHOT.jar
后台启动：
nohup java -jar rocketmq-dashboard-1.0.1-SNAPSHOT.jar > /dev/null 2>&1 &

启动成功后，我们就可以通过浏览器访问http://192.168.78.129:8080进入控制台界面了，如下图：
image

image

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.ulsteruni.cn/article/36866182.html

如若内容造成侵权/违法违规/事实不符，请联系编程大学网进行投诉反馈email:xxxxxxxx@qq.com，一经查实，立即删除！

相关文章

windows环境下单机运行pyspark

windows环境下单机运行pyspark

首先在windows系统中安装pyspark，具体过程可以参考以下两个地址 https://mp.weixin.qq.com/s/Bt6qrE3sGUSCm_BaA33C6A https://edu.hellobi.com/course/282/play/lesson/6501 安装好之后，在cmd中输入pyspark，可以看到以下界面接下来通过以下代码，实现第一个pyspark程序，该…
阅读更多...
9.22 随笔

9.22 随笔

现在已经过了12点了，但是跟刚记完单词,补一篇日记。 1.上午在下雨，窝寝室了，由于和对象闹小矛盾了心情不太好，下午出去逛了逛，景色挺好，下午回来买了10块钱的百香林，吃着不错，几个月没吃过了，偶尔放纵。晚上依旧的班会，外加启航考研的老师科普考研。收获不多，只是提…
阅读更多...
分布式锁

分布式锁

为什么需要分布式锁？ 在多线程环境中，如果多个线程同时访问共享资源（例如商品库存、外卖订单），会发生数据竞争，可能会导致出现脏数据或者系统问题，威胁到程序的正常运行。 举个例子，假设现在有 100 个用户参与某个限时秒杀活动，每位用户限购 1 件商品，且商品的数量只…
阅读更多...
gcc 使用 与 选项 编译动态库

gcc 使用 与 选项 编译动态库

问题：-Wl,-rpath,/path/to/shared/lib将-rpath选项传递给链接器，告诉链接器在运行时搜索共享库时要搜索指定的路径/path/to/shared/lib 与 使用 -L 指定 lib 路径 有区别吗是的，-Wl,-rpath和-L选项在链接器中有不同的作用和用途：-L选项：用于指定在链接过程中搜索库文件的路…
阅读更多...
权限提升

权限提升

已知程序 翻译 搜索 复制
阅读更多...
Rider 2023：跨平台.NET开发的一站式解决方案

Rider 2023：跨平台.NET开发的一站式解决方案

Rider 2023是一款功能强大的跨平台.NET IDE集成开发环境（IDE），旨在帮助开发人员快速构建、调试和测试.NET应用程序。 →→↓↓载Rider 2023 mac/win版Rider 2023不仅支持多种.NET开发平台，如.NET Framework、.NET Core和.NET 5/6等，还支持在Windows、macOS和Linux等不同操…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023