云原生基础设施实践：NebulaGraph 的 KubeBlocks 集成故事

nbot · 2023 年7 月 20 日 07:43

像是 NebulaGraph 这类基础设施上云，通用的方法一般是将线下物理机替换成云端的虚拟资源，依托各大云服务厂商实现“服务上云”。但还有一种选择，就是依托云数据基础设施，将数据库产品变成为云生态的一环，不只是提供自身的数据云服务，还能同其他的数据库一起分析挖掘业务数据价值。
在本篇分享中，让你在了解何为云原生基础设施之余，可以获得更多的 NebulaGraph 部署使用方法。又有新的使用姿势了，下面一起来了解下这个集成过程以及相关的使用方法。

KubeBlocks 是什么

在介绍之前，可能有了解云生态的小伙伴，会好奇标题中的 “KubeBlocsk”是什么？它带有 Kube- 前缀，和云原生什么关系？

KubeBlocks 的名字源自 Kubernetes（K8s）和乐高积木（Blocks），致力于让 K8s 上的数据基础设施管理就像搭乐高积木一样，既高效又有趣。

它是基于 Kubernetes 的云原生数据基础设施，为用户提供了关系型数据库、NoSQL 数据库、向量数据库以及流计算系统的管理控制功能。

下面开始进入主菜，KubeBlocsk 对 NebulaGraph 的集成。别看本文篇幅不短，事实上集成过程非常便捷，三步就能完成本次集成实践。

KubeBlocks 快速集成图数据库 NebulaGraph

因为本身 KubeBlocks 是 K8s 生态的框架基础设施，因此，你如果要基于 KubeBlocks 集成数据库或者是计算引擎的话，本章节内容就是相关的分享。简单来说，只要你熟悉 K8s，不需要学习任何新概念，像下面这样，3 步就搞定一个数据库的集成。

如果你不想了解集成过程，可以跳过本章节，直接进入到下一个章节的使用部分，了解如何在 KubeBlocks 上使用数据库。

下面，讲述本次 NebulaGraph 的集成过程，虽然本文以 NebulaGraph 为例，但是集成过程是相似的，可以举一反三。

1. NebulaGraph 的服务架构

第一步，我们需要理解集群的组成，了解图数据库 NebulaGraph 的每个模块作用，以及其配置启动方式。

图 1: NebulaGraph 的架构图（来源：GitHub - vesoft-inc/nebula: A distributed, fast open-source graph database featuring horizontal scalability and high availability)

如上图所示，完整的 NebulaGraph 系统是由内核和周边工具组成，包括不限于 nebula-console、nebula-python、nebula-java 等客户端。而其中的内核 Core 部分主要由三大服务组成，分别是：

Meta Service：由 nebula-metad 进程提供，负责元数据管理，例如 Schema 操作、集群管理和用户权限管理等。如果集群部署的话，多个 metad 之间通过 raft 保证数据一致性；
Graph Service：由 nebula-graphd 进程提供，负责处理计算请求；
Storage Service：由 nebula-storaged 进程提供，负责存储数据。

2. 创建集群模板

在这一步，定义下集群拓扑、配置和版本等信息。

KubeBlocks Addon 支持多种扩展方式，目前主流的扩展方式是 Helm。因此，这里采用 Helm 方式来搞定相关部署配置：

创建一个 NebulaGraph 的 Helm Chart，并增加以下模板文件：

clusterdefinition.yaml：用来定义集群拓扑、组件配置和组件启动脚本。根据第一步的分析，我们知道 NebulaGraph 集群是一个多组件的形态，如果我们要正常使用图数据的话，需要用到 3 个内核组件，和 1 个客户端组件。因此，在这个文件中，组件配置中需要包括 4 个组件，后面使用实践部分会讲到，这里不做赘述；
clusterversion.yaml：用来定义版本信息，例如：每个组件的 Docker Images。在本次实践中，支持的是 NebulaGraph v3.5.0 版本。此外，一个 clusterdefinition.yaml 文件可以关联多个 clusterversion.yaml 文件。因此，后续即使 NebulaGraph 发布了新版本，我们只用添加新的 clusterversion.yaml 文件就好。

搞定模版后，来快速地在本地环境调试下 Helm Chart，来校验正确性。

3. 添加 Addon 配置

最后，只用再添加大约 30 行 YAML 代码，就可以将新添加的 NebulaGraph 配置为 KubeBlocks 的 addon，非常方便。

就这样，三个步骤，就完成了 KubeBlocks 对 NebulaGraph 的集成。

附上相关的 PR 方便你做参考，整个过程非常简单：

图 2. NebulaGraph Helm Chart PR

图 3. NebulaGraph Addon PR

当然，如果你想在 KubeBlocks 上集成其他数据，一统你的那些数据库们，可以参考上面的思路。按照官方说法：“目前 KubeBlocks 已经支持了非常丰富的数据库架构和部署形态，如 MySQL、Redis、MongoDB 等，包括多种使用主备复制架构和基于 Paxos/Raft 的分布式架构”。

下面，来说说如何在 KubeBlocks 上使用图数据库 NebulaGraph。

如何在 KubeBlocks 上使用 NebulaGraph

你可以通过以下方式在 KubeBlocks 上体验 NebulaGraph 集群。

1. 安装 kbcli 和 KubeBlocks

安装最新版的 kbcli 和 KubeBlocks，下面是参考文档：

2. 激活 Addon

安装了最新版本的 KubeBlocks 后，可以看到 NebulaGraph 已经出现在 KubeBlocks 的 addon 列表中。

下面命令可以查看到所有的 addon：

kbcli addon list

执行之后，我们可以看到 nebula 已经出现在列表中，但是它的状态是 Disabled。为了有效地控制服务资源，KubeBlocks 默认不会激活相关 addon 服务，只激活了几个主流数据库。

注：如果在列表中，没有找到 nebula addon，请检查下你安装的软件版本，确保已安装新版本的 kbcli 和 KubeBlocks。

因为 nebula 服务处于未激活的状态，下面我们来激活下服务：

执行下面命令：

kbcli addon enable nebula

因为网络原因，激活 Addon 可能需要一点时间，可通过如下 addon describe 命令查看是否激活成功。

kbcli addon describe nebula
Name:               nebula
Description:        NebulaGraph is an Apache 2.0 licensed distributed graph database.
Labels:             kubeblocks.io/provider=community
Type:               Helm
Status:             Enabled
Auto-install:       false

若状态显示 Enabled 则表示服务已经激活成功。

3. 创建 NebulaGraph 集群

创建 NebulaGraph 集群

激活我们的 nebula 服务后，我们可以像创建 MySQL、PostgreSQL 集群一样，快速创建一个 NebulaGraph 集群，这里我们管它叫“mynebula”。像下面一样，一行命令搞定集群创建：

kbcli cluster create mynebula --cluster-definition nebula

其中：

mynebula 是集群名称，可以替换为你想要的集群名。
--cluster-definition 指定了从哪个预定义的集群模板开始创建，我们选择 nebula。

查看集群的各个组件

list-components 命令可查看集群的组件信息：

kbcli cluster list-components mynebula

这是执行结果：

 NAME              NAMESPACE   CLUSTER    TYPE              IMAGE
nebula-console    default     mynebula   nebula-console    docker.io/vesoft/nebula-storaged:v3.5.0
nebula-graphd     default     mynebula   nebula-graphd     docker.io/vesoft/nebula-storaged:v3.5.0
nebula-metad      default     mynebula   nebula-metad      docker.io/vesoft/nebula-storaged:v3.5.0
nebula-storaged   default     mynebula   nebula-storaged   docker.io/vesoft/nebula-storaged:v3.5.0

可以看到，一个完整的 NebulaGraph 集群由 4 个组件组成，包括 nebula-console、nebula-graphd、nebula-metad、和 nebula-storaged，这也和前文介绍的 NebulaGraph 服务架构相呼应。

查看集群的各个实例

list-instances 命令用来查看实例信息：

kbcli cluster list-instances mynebula

可以看到，每个组件各自有多少实例，每个实例是什么配置规格。

NAME                                       NAMESPACE   CLUSTER    COMPONENT         STATUS    ROLE     ACCESSMODE   AZ       CPU(REQUEST/LIMIT)   MEMORY(REQUEST/LIMIT)   STORAGE     NODE                            CREATED-TIME
mynebula-nebula-console-65844d578b-vf9kz   default     mynebula   nebula-console    Running   <none>   <none>       <none>   1 / 1                1Gi / 1Gi               data:20Gi   kind-control-plane/172.19.0.2   Jul 09,2023 17:03 UTC+0800
mynebula-nebula-graphd-0                   default     mynebula   nebula-graphd     Running   <none>   <none>       <none>   1 / 1                1Gi / 1Gi               data:20Gi   kind-control-plane/172.19.0.2   Jul 09,2023 17:03 UTC+0800
mynebula-nebula-metad-0                    default     mynebula   nebula-metad      Running   <none>   <none>       <none>   1 / 1                1Gi / 1Gi               data:20Gi   kind-control-plane/172.19.0.2   Jul 09,2023 17:03 UTC+0800
mynebula-nebula-storaged-0                 default     mynebula   nebula-storaged   Running   <none>   <none>       <none>   1 / 1                1Gi / 1Gi               data:20Gi   kind-control-plane/172.19.0.2   Jul 09,2023 17:03 UTC+0800

查看集群状态

list 命令用来查看集群整体状态：

kbcli cluster list mynebula
NAME       NAMESPACE   CLUSTER-DEFINITION   VERSION         TERMINATION-POLICY   STATUS    CREATED-TIME
mynebula   default     nebula               nebula-v3.5.0   Delete               Running   Jul 09,2023 17:03 UTC+0800

若显示 Status 为 Running，表示集群已经创建成功并正在运行。

连接集群后，就可以像其他部署方式一样正常使用 NebulaGraph 的图服务了。像用 SHOW HOSTS 命令，查看当前数据和分布状态：

kbcli cluster connect mynebula

Connect to instance mynebula-nebula-console-65844d578b-vf9kz

Welcome!

(root@nebula) [(none)]> SHOW HOSTS;
+------------------------------------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+---------+
| Host                                                                                     | Port | Status   | Leader count | Leader distribution  | Partition distribution | Version |
+------------------------------------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+---------+
| "mynebula-nebula-storaged-0.mynebula-nebula-storaged-headless.default.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   | "3.5.0" |
+------------------------------------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+---------+
Got 1 rows (time spent 7.119ms/9.574125ms)

Sun, 09 Jul 2023 08:53:00 UTC

至此，你已经能正常使用 NebulaGraph 服务了。进阶使用的话，可以参考官方的文档：https://docs.nebula-graph.com.cn/3.5.0/

运维 NebulaGraph Cluster

当集群状态为 Running 后，你可以登录集群查看信息，并进行常见的运维操作，像是扩缩容、服务启停：hscale、vscale、volume-expand、start、stop 等操作。

下面，以水平扩缩容 hscale 为例，示范下对 NebulaGraph 集群的运维过程。

通过 kbcli 的hscale 命令，可以对集群的指定组件进行扩缩容。例如，将 nebula-storaged 组件扩展为 3 个节点：

kbcli cluster hscale mynebula --components nebula-storaged --replicas 3

通过 kbcli cluster list mynebula 命令再次查看集群状态，可以看到状态变更为 HorizontalScaling，说明它正在扩节点：

 NAME       NAMESPACE   CLUSTER-DEFINITION   VERSION         TERMINATION-POLICY   STATUS              CREATED-TIME
mynebula   default     nebula               nebula-v3.5.0   Delete               HorizontalScaling   Jul 09,2023 17:03 UTC+0800

等待几十秒后，扩容成功。我们再来查看下实例信息，可以看到已经有 3 个 nebula-storaged 节点：

 kbcli cluster list-instances mynebula
 
 NAME                                       NAMESPACE   CLUSTER    COMPONENT         STATUS    ROLE     ACCESSMODE   AZ       CPU(REQUEST/LIMIT)   MEMORY(REQUEST/LIMIT)   STORAGE     NODE                            CREATED-TIME
mynebula-nebula-console-65844d578b-vf9kz   default     mynebula   nebula-console    Running   <none>   <none>       <none>   1 / 1                1Gi / 1Gi               data:20Gi   kind-control-plane/172.19.0.2   Jul 09,2023 17:03 UTC+0800
mynebula-nebula-graphd-0                   default     mynebula   nebula-graphd     Running   <none>   <none>       <none>   1 / 1                1Gi / 1Gi               data:20Gi   kind-control-plane/172.19.0.2   Jul 09,2023 17:03 UTC+0800
mynebula-nebula-metad-0                    default     mynebula   nebula-metad      Running   <none>   <none>       <none>   1 / 1                1Gi / 1Gi               data:20Gi   kind-control-plane/172.19.0.2   Jul 09,2023 17:03 UTC+0800
mynebula-nebula-storaged-0                 default     mynebula   nebula-storaged   Running   <none>   <none>       <none>   1 / 1                1Gi / 1Gi               data:20Gi   kind-control-plane/172.19.0.2   Jul 09,2023 17:03 UTC+0800
mynebula-nebula-storaged-1                 default     mynebula   nebula-storaged   Running   <none>   <none>       <none>   1 / 1                1Gi / 1Gi               data:20Gi   kind-control-plane/172.19.0.2   Jul 09,2023 17:46 UTC+0800
mynebula-nebula-storaged-2                 default     mynebula   nebula-storaged   Running   <none>   <none>       <none>   1 / 1                1Gi / 1Gi               data:20Gi   kind-control-plane/172.19.0.2   Jul 09,2023 17:47 UTC+0800

再次连接 NebulaGraph 集群，查看存储节点信息，可以看到新增的两个节点也已经可用，状态为 online：

kbcli cluster connect mynebula
Connect to instance mynebula-nebula-console-65844d578b-vf9kz

Welcome!

(root@nebula) [(none)]> SHOW HOSTS
+------------------------------------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+---------+
| Host                                                                                     | Port | Status   | Leader count | Leader distribution  | Partition distribution | Version |
+------------------------------------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+---------+
| "mynebula-nebula-storaged-0.mynebula-nebula-storaged-headless.default.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   | "3.5.0" |
| "mynebula-nebula-storaged-1.mynebula-nebula-storaged-headless.default.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   | "3.5.0" |
| "mynebula-nebula-storaged-2.mynebula-nebula-storaged-headless.default.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   | "3.5.0" |
+------------------------------------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+---------+
Got 3 rows (time spent 1.971ms/5.443458ms)

Sun, 09 Jul 2023 10:00:06 UTC

后续，我们还会逐步集成 NebulaGraph 的备份/恢复、监控、参数变更等能力。

如果你想要了解更多 kbcli 支持的运维命令，可翻阅文档：https://kubeblocks.io/docs/preview/user_docs/cli。

丰富 NebulaGraph 生态

熟悉 NebulaGraph 周边生态的小伙伴，可能知道在 KubeBlocks 之前，NebulaGraph 对接了 Spark 和 Flink 生态，主要对接大数据生态，从而方便大家使用大数据的计算引擎。而这次，NebulaGraph 往云原生这边迈了一步，通过在 KubeBlocks 的集成，希望能给社区的大家带来更加丰富的生态环境。
正如本次完成集成工作的内核研发 @xtcylist 所说：“用开源的方式解决开源的问题”，我们希望联合和上下游的开源生态，构建更完善的 NebulaGraph 图生态。而他同样认为“数据库全部容器化部署是大趋势；全部 K8s 化部署也是一个比较热的预言。”。

因此，拥抱未来，NebulaGraph 先在 KubeBlocks 上进行了集成工作。如果你想要加入，完善 NebulaGraph 的生态，欢迎留言交流你的看法。

谢谢你读完本文 (///▽///)

欢迎前往 GitHub 来阅读 NebulaGraph 源码，或是尝试用它解决你的业务问题 yo~ GitHub 地址：https://github.com/vesoft-inc/nebula 想要交流图技术和其他想法，请前往论坛：https://discuss.nebula-graph.com.cn/

想要了解更多 KubeBlocks 和 NebulaGraph 的集成故事，欢迎来本周六的 meetup 同我们线下面对面交流~分享现场更有 NebulaGraph 绕坑秘籍放送报名传送门：https://3393206724443.huodongxing.com/event/1711136721400