1. 项目概述为什么需要NDB Cluster如果你是一名运维或者DBA肯定遇到过这样的场景业务量激增单台MySQL服务器开始力不从心读写分离、分库分表搞了一堆但核心的写入瓶颈和高可用问题依然像达摩克利斯之剑悬在头顶。更头疼的是传统的MySQL主从或MGR集群在数据强一致性和真正的多点写入能力上总有些妥协。这时候一个名字可能会进入你的视野MySQL NDB Cluster。NDB Cluster官方称之为MySQL Cluster和我们熟悉的InnoDB存储引擎完全不同。它不是基于磁盘的B树索引结构而是一个基于内存的、分布式、无共享架构的数据库集群。简单来说你可以把它理解为一个“内存数据库集群”数据默认全放在内存里当然也可以配置为磁盘存储通过自动分片Sharding将数据分布到多个数据节点Data Node上从而实现近乎线性的写扩展能力和极高的可用性。我最早接触它是在一个电信级的计费系统项目中对数据一致性和高并发写入的要求近乎苛刻NDB Cluster成了当时为数不多的选择。这次我就以一个老DBA的身份带你从零开始手把手搭建一套最小化的MySQL NDB Cluster 8.0集群。我们会用三台虚拟机来模拟生产环境涵盖管理节点、数据节点和SQL节点的完整部署。目标不是让你死记命令而是理解每一步背后的设计逻辑和踩坑点最终让你能独立规划和部署适合自己业务的NDB集群。2. 集群架构深度解析与规划在动手敲命令之前我们必须把NDB Cluster的架构吃透。这决定了后续的配置和排错思路。很多人搭建失败问题往往出在一开始的规划上。2.1 核心组件角色拆解一个标准的NDB Cluster包含三类节点它们各司其职共同协作管理节点 (Management Node, ndb_mgmd)角色集群的“大脑”和“配置中心”。它不存储业务数据主要职责是维护集群的配置信息config.ini管理集群的启动、关闭、节点加入/退出以及提供监控接口。高可用生产环境强烈建议至少部署两个管理节点形成主备。单个管理节点宕机只要有一个还活着集群就能继续运行数据节点和SQL节点会从存活的管理节点获取配置信息。本次演示我们用单点但会告诉你如何扩展。资源需求对CPU和内存要求很低。数据节点 (Data Node, ndbd/ndbmtd)角色集群的“肌肉”真正存储数据的地方。数据在多个数据节点间被自动分区分片每个分片通常有多个副本默认为2即NoOfReplicas2以实现高可用。数据节点之间通过高速网络直接通信同步数据。进程ndbd是单线程进程ndbmtd是多线程进程推荐。数据默认存储在内存中但事务日志和检查点会写入磁盘。资源需求对内存和CPU要求极高尤其是内存。你需要为DataMemory和IndexMemory等参数预留足够空间。SQL节点 (SQL Node, mysqld)角色集群的“面孔”对外提供服务的MySQL实例。我们平时用mysql客户端连接的就是它。SQL节点本身不存储数据它只是一个查询路由和优化器。当执行一条SQL时它会解析SQL生成执行计划然后通过NDB API与后端的多个数据节点交互获取或修改数据最后将结果汇总返回给客户端。兼容性它使用ndbcluster存储引擎。对于应用来说连接一个SQL节点和连接一个普通的MySQL服务器几乎没区别但要注意SQL语法和特性的细微差别。2.2 我们的实验环境规划为了模拟一个具备冗余能力的生产最小集我们规划如下三台CentOS 7.9虚拟机你也可以用Ubuntu命令稍有不同主机名IP地址节点角色规划备注mgmt-node192.168.1.10管理节点 (ndb_mgmd)集群配置中心>192.168.1.11数据节点 (ndbmtd)SQL节点 (mysqld)数据存储与SQL服务>192.168.1.12数据节点 (ndbmtd)SQL节点 (mysqld)数据存储与SQL服务规划解读与考量混合部署将数据节点和SQL节点部署在同一台机器是常见的节省资源的方式适合测试和中小规模部署。在生产中如果资源充足建议将SQL节点独立部署避免资源竞争。副本数我们只有两个数据节点但NDB要求NoOfReplicas通常为2必须小于等于数据节点数。两个数据节点刚好可以组成一个节点组Nodegroup每个数据分片Partition会在两个节点上各存一个副本实现高可用。网络确保三台机器之间主机名可以互相解析并且防火墙开放了所需端口后面会详细说明。数据节点之间的数据传输量很大生产环境务必使用万兆或更高速的网络。注意主机名解析至关重要NDB集群内部通信严重依赖主机名。请务必在每台机器的/etc/hosts文件中配置好所有节点的IP和主机名映射不要完全依赖DNS以防DNS解析不稳定导致集群故障。3. 基础环境准备与依赖安装“工欲善其事必先利其器”。搭建前的系统级准备是后续一切顺利的基础。3.1 系统级配置在三台服务器上分别执行以下操作配置主机名与Hosts# 以mgmt-node为例设置主机名 hostnamectl set-hostname mgmt-node # 编辑hosts文件 vi /etc/hosts在/etc/hosts文件中添加192.168.1.10 mgmt-node 192.168.1.11># 临时关闭SELinux setenforce 0 # 永久关闭需重启生效 sed -i s/SELINUXenforcing/SELINUXdisabled/g /etc/selinux/config # 停止并禁用firewalld (CentOS 7) systemctl stop firewalld systemctl disable firewalld生产环境建议不关闭防火墙而是精确开放端口。NDB集群需要的主要端口有管理节点默认1186数据节点间通信默认2202SQL节点MySQL默认3306。使用firewall-cmd命令逐一放行。安装基础依赖yum install -y epel-release yum install -y wget vim net-tools numactl libaio jq perl perl-Data-Dumpernumactl和libaio是对性能影响很大的库必须安装。3.2 安装MySQL NDB Cluster软件关键决策点从官网下载Tar包安装还是用Yum仓库我推荐使用Oracle官方Yum仓库管理方便易于升级。这里我们采用Yum方式。配置MySQL Yum仓库 在三台机器上下载并安装MySQL官方的Yum仓库配置包。访问 MySQL官网下载页面 找到对应你系统的RPM包链接用wget下载。# 以CentOS 7为例下载仓库配置包版本号请以官网最新为准 wget https://dev.mysql.com/get/mysql80-community-release-el7-11.noarch.rpm # 安装仓库 rpm -ivh mysql80-community-release-el7-11.noarch.rpm安装NDB Cluster软件 我们需要安装的是mysql-cluster-community系列包而不是普通的mysql-community-server。# 查看可用的子仓库确保ndb相关仓库已启用 yum repolist all | grep mysql # 在管理节点(mgmt-node)上安装管理节点软件 yum install -y mysql-cluster-community-management-server # 在数据节点(data-node1,>mkdir -p /etc/mysql-cluster vi /etc/mysql-cluster/config.ini下面是我们的最小化配置我为你逐段解读[ndbd default] # 数据节点的通用配置 NoOfReplicas2 # 每个分片的副本数通常为2。这意味着每个数据会有两份。 DataMemory512M # 分配给表数据的存储空间。这是内存生产环境需要仔细计算。 IndexMemory128M # 分配给索引主键、哈希索引的内存。 DataDir/var/lib/mysql-cluster # 数据节点的工作目录存放日志、pid文件等。 FileSystemPathDD/var/lib/mysql-cluster # 数据文件的路径如果使用磁盘存储。 MaxNoOfConcurrentOperations100000 # 控制并发事务数根据负载调整。 MaxNoOfLocalOperations110000 [ndb_mgmd] # 管理节点配置 NodeId1 HostNamemgmt-node # 管理节点的主机名必须与hosts文件一致 DataDir/var/lib/mysql-cluster # 管理节点数据目录 [ndbd] # 第一个数据节点 NodeId11 HostNamedata-node1 DataDir/var/lib/mysql-cluster # 数据节点1的数据目录 [ndbd] # 第二个数据节点 NodeId12 HostNamedata-node2 DataDir/var/lib/mysql-cluster # 数据节点2的数据目录 [mysqld] # SQL节点配置可以定义多个 NodeId21 HostNamedata-node1 [mysqld] NodeId22 HostNamedata-node2参数深度解读与避坑指南NoOfReplicas2这是高可用的基石。设为2意味着每个数据分片有2个副本分布在不同的数据节点上。一个节点宕机数据不丢失服务不间断。这个值在集群初始化后就不能改了DataMemory和IndexMemory这是最容易估错的地方它们分配的是共享内存用于存储数据和索引。计算需求时不仅要考虑现有数据量还要预留增长空间和操作开销。一个粗略的估算公式DataMemory ≈ 数据行数 * 每行平均大小 * NoOfReplicas * 1.2冗余系数。分配不足会导致集群无法启动或运行时报错。NodeId每个节点在集群中的唯一ID范围1-255。管理节点建议用1-10数据节点11-100SQL节点101-255。我们按这个习惯来。HostName必须是机器间能互相解析的主机名或IP。用主机名更灵活。4.2 启动集群严格的顺序启动NDB集群必须遵循**“管理节点 - 数据节点 - SQL节点”**的铁律。顺序错了节点会无法加入集群。启动管理节点(在 mgmt-node 上)# 创建数据目录 mkdir -p /var/lib/mysql-cluster # 初始化并启动管理节点--initial参数仅在第一次启动或配置变更后使用 ndb_mgmd --initial -f /etc/mysql-cluster/config.ini使用--initial会清除之前的集群状态信息。非首次启动或配置未更改时千万不要加--initial否则数据节点会认为这是一个新集群导致数据不一致。启动数据节点(在># 创建数据目录 mkdir -p /var/lib/mysql-cluster # 启动数据节点进程 ndbmtd --ndb-connectstringmgmt-node这里的--ndb-connectstring告诉数据节点去哪里找管理节点。启动后数据节点会连接到管理节点获取配置并开始初始化数据存储如果第一次启动会进行格式化。检查集群状态(在任意节点使用管理客户端)# 连接到管理节点 ndb_mgm -e SHOW如果一切正常你会看到类似下面的输出所有节点都显示connectedConnected to Management Server at: mgmt-node:1186 Cluster Configuration --------------------- [ndbd(NDB)] 2 node(s) id11 data-node1 (mysql-8.0.35 ndb-8.0.35, Nodegroup: 0, *) id12 data-node2 (mysql-8.0.35 ndb-8.0.35, Nodegroup: 0) [ndb_mgmd(MGM)] 1 node(s) id1 mgmt-node (mysql-8.0.35 ndb-8.0.35) [mysqld(API)] 2 node(s) id21 data-node1 (mysql-8.0.35 ndb-8.0.35) id22 data-node2 (mysql-8.0.35 ndb-8.0.35)Nodegroup: 0表示这两个数据节点同属一个节点组数据会在它们之间分区。*号表示该节点是连接的管理客户端所在的位置。启动SQL节点MySQL服务器(在># 初始化MySQL数据目录仅第一次运行前需要 mysqld --initialize-insecure --usermysql --basedir/usr --datadir/var/lib/mysql # 启动MySQL服务 systemctl start mysqld systemctl enable mysqld注意我们用了--initialize-insecure这样root初始密码为空。生产环境请使用安全的初始化方式。5. 配置SQL节点与验证集群SQL节点启动后还需要进行一些配置才能让它识别并使用NDB集群。5.1 配置MySQL以使用NDB引擎在每台SQL节点服务器上data-node1,>[mysqld] # 启用NDB集群存储引擎 ndbcluster # 指定管理节点地址多个用逗号分隔 ndb-connectstringmgmt-node # 设置节点ID与config.ini中对应 ndb-nodeid21 # 在data-node1上设为21在data-node2上设为22 # 一些优化参数 ndb_optimized_node_selection1保存后重启MySQL服务systemctl restart mysqld5.2 验证NDB引擎与创建集群表登录MySQL检查NDB引擎mysql -u root -p # 密码为空直接回车-- 查看NDB引擎是否支持 SHOW ENGINES;你应该能看到ndbcluster或ndbinfo引擎状态为YES或DEFAULT。创建NDB集群表 NDB表与普通InnoDB表的创建语法几乎一样关键是指定ENGINENDB或ENGINENDBCLUSTER。-- 创建一个测试数据库 CREATE DATABASE ndb_test; USE ndb_test; -- 创建一张NDB集群表 CREATE TABLE cluster_table ( id INT AUTO_INCREMENT PRIMARY KEY, name VARCHAR(50), value INT, created TIMESTAMP DEFAULT CURRENT_TIMESTAMP ) ENGINENDB;关键点当你在一台SQL节点上执行CREATE TABLE ... ENGINENDB后这张表的元数据表结构和数据会通过管理节点同步到所有数据节点上。在其他SQL节点上你也能立刻看到这张表和数据。测试数据同步与高可用在>INSERT INTO cluster_table (name, value) VALUES (test_from_node1, 100);连接到># 在另一个终端登录data-node2的mysql mysql -u root -h># 进入交互式管理界面 ndb_mgm # 查看集群状态 SHOW; # 查看单个数据节点详细状态例如节点11 11 STATUS; # 查看集群日志 ALL CLUSTERLOG STATUS; ALL CLUSTERLOG INFO15; # 设置日志级别 # 安全关闭整个集群 SHUTDOWN; # 仅关闭一个数据节点例如节点11 11 STOP; # 启动一个已停止的节点 11 START; # 创建在线备份非常关键 START BACKUP; # 查看备份状态 SHOW BACKUP;6.2 备份与恢复策略NDB Cluster的备份是集群级别的、在线热备份不影响业务。创建备份 在ndb_mgm中执行START BACKUP备份文件会默认写入每个数据节点的DataDir下的BACKUP目录例如/var/lib/mysql-cluster/BACKUP。备份会生成一个序列号如BACKUP-1。恢复备份 恢复操作需要在所有数据节点都停止的情况下进行。# 1. 停止所有数据节点在各自服务器上 ndb_mgm -e ALL STOP # 或 kill进程 # 2. 在每个数据节点上执行恢复 # 假设备份ID是1要恢复到节点11 ndb_restore -b 1 -n 11 -m --backup_path/var/lib/mysql-cluster/BACKUP/BACKUP-1/ # -b 备份ID # -n 节点ID # -m 恢复元数据表结构只需要在一个节点执行时带此参数 # --backup_path 备份文件路径恢复完成后再按顺序启动数据节点和SQL节点。6.3 性能监控与优化建议监控命令# 查看内存使用情况 ndb_mgm -e ALL REPORT MEMORY # 查看数据分布和负载 ndb_mgm -e ALL DUMP 1000 # 查看内部状态转储需谨慎输出量大SQL节点优化连接池应用端使用连接池避免频繁连接断开SQL节点。查询优化尽量避免全表扫描NDB对主键和唯一键查询极快但对无索引的扫描性能不如InnoDB因为需要从多个数据节点收集数据。事务大小NDB更适合短小精悍的事务。避免大事务因为其两阶段提交协议在跨节点时开销较大。配置参数调优DataMemory/IndexMemory根据数据增长定期评估。MaxNoOfConcurrentOperations如果业务并发很高出现Out of operation records错误需要调大此值。TransactionBufferMemory事务缓冲区大事务需要调整。7. 常见问题与故障排查实录这里记录了我踩过的一些坑和解决方法希望能帮你节省大量时间。7.1 集群启动失败问题数据节点启动后在SHOW命令中一直显示starting或connected后又断开。排查首先看日志数据节点日志在DataDir下的ndb_开头的日志文件中如/var/lib/mysql-cluster/ndb_1_out.log。管理节点日志在DataDir下的ndb_mgmd.log。错误信息通常很明确。网络问题用ping和telnet检查节点间的主机名解析和端口1186, 2202连通性。再次确认/etc/hosts文件。配置错误检查config.ini中的HostName是否拼写正确NodeId是否唯一。内存不足检查DataMemory设置是否超过机器可用内存。首次启动可以尝试调小测试。7.2 创建表失败报错“Table not found”或“Invalid storage engine”问题在SQL节点执行CREATE TABLE ... ENGINENDB失败。排查确认NDB引擎已启用在MySQL中执行SHOW ENGINES;。确认SQL节点已连接集群在ndb_mgm中执行SHOW查看对应的[mysqld]节点是否为connected状态。检查MySQL配置确认my.cnf中是否有ndbcluster和ndb-connectstring配置并已重启mysqld。检查集群元数据有时元数据不同步。可以尝试在其中一个SQL节点创建表后在其他SQL节点执行ALTER TABLE table_name ENGINENDB;。7.3 数据节点意外宕机后的恢复场景一个数据节点比如>
)
