高可用和数据库冗余实践

Table of Contents

在真实世界中，任何电子原件或软件系统都会故障。为了在混乱的世界里寻得一丝安心，提出了高可用的概念。高可用 (High availability, HA) 是互联网时代常被提及的词语。在产品设计、开发、发布、交付过程中，通常都会提到一个系统的可用性，提到系统是否保证高可用。本文介绍高可用的意义，而后演示一个系统 (mariadb) 如何通过冗余来保证高可用。

1 什么是高可用

在描述高可用之前，需要先介绍一些相关概念。

MTTF

MTTF (mean time to failure) 指的是一个原件、或系统模块从开始使用到故障，经历的平均时长。MTTF 的倒数，FIF, 指故障率。

MTTR

MTTR (mean time to repair) 指的是故障开始，到修复为止，经过的时长。其他地方也会出现 MTBF (mean time between failures)，是指 \( MTTF + MTTR \) 。

可用性

可用性在不同地方可能有些细微的差别，这里我们使用下面的公式：

\[ availability = \frac{MTTF}{MTTF+MTTR} \]

例如，可用性达到 "一个9"，指的是可用性达到 \( 90\% \)，每年大概可以故障 36.53 天，或每天 2.4 小时。例如 "三个9"，指的是可用性达到 \( 99.9\% \)，每年大概可以故障 8.77 小时。

SLA

服务等级协议 (Service Level Agreements)，是一个合同或承诺，规定可用性需要达到某个数值，如果没达到，服务提供方需要支付赔偿或承担责任。 SLA 中都会明确责任和义务，指定赔偿数额，标明可用性计算方法。

例如:

如果使用他们的服务的话，这些协议值得花时间看一看。有一点比较有趣：阿里云和腾讯云的 SLA 规定用代金券赔，AWS 会把钱打到信用卡。

根据 SLA，阿里云 ECS 的可用性高于 "三个9"，计算周期是月，故障时长肯定不能超过 44 分钟。2022年12月18日的事件里，服务故障超过 12 小时，按照协议要赔当月全部服务费。

高可用

SLA 中规定了可用性高于普通系统水平，就是高可用。如果一个系统没有 SLA，它就不能被称为高可用系统。如果一个系统 SLA 中规定的可用性水平比较低，也不是高可用系统。一般来说，SLA 中规定可用性大于 "三个9" (99.9%)，就可以说这个系统是高可用的。

2 如何实现高可用

一般用冗余模块来保证高可用。在某个模块故障的时候，可以使用冗余模块代替。实际操作中，比较重要的问题是加了冗余到底增加了多少可用性，到底值不值得？我们用一个实例来说明。

假设一个数据库系统，MTTF 是 200000 小时，MTTR是24小时, 如果增加一个冗余，使用两个数据库系统，当一个系统故障时自动切换到另一个上面，这样 MTTF 有什么变化呢？

两个数据库，不可用的情况是：一个库故障后，在运维发现故障并修复之前，另一个库也故障了。

单个库故障率是 \( \frac{1}{MTTF} \)，那么两个库中有一个故障的概率是 \( \frac{2}{MTTF} \)。一个库故障的恢复时间是 MTTR，那么在一个库故障后，运维去修复好之前这段时间里，故障的概率是 \( \frac{MTTR}{MTTF} \)。也就是说，一个库故障后，在运维发现故障并修复之前这段时间里，另一个库也故障的概率是：

\[ \frac{MTTR}{MTTF} \times \frac{2}{MTTF} = \frac{2\times MTTR}{MTTF^{2}} \]

新的 MTTF 为：

\begin{split} MTTF_{2} & = \frac{MTTF^{2}}{2\times MTTR} \ & = \frac{200000^{2}}{2\times 24} \ & \cong 830000000 \end{split}

大约比单个数据库好了 4000 倍吧。这就是冗余的作用。

3 数据库冗余实践

我们用一个简单的 MariaDB 数据库来实际操作一遍。其它系统的原理也大致如此。实际工作中 MySQL 更流行，其实两者使用起来差不多。如果需要确保软件上游，给 Oracle 付钱用 MySQL 是比较好的，然而既然你付了钱，为什么不用 oracle 数据库呢。我们没钱的二逼小厂用 MariaDB，或者 Postgres。

我们这里只考虑最简单的高可用，性能并不在考虑范围内。

我们的目标是是两个数据库，平时在 db1 上读写，如果 db1 故障了，就切换到 db2。为了方便，我们这里用 docker 演示。

(1) 下载 docker 镜像 

docker pull bitnami/mariadb-galera:10.9.5-debian-11-r2

(2) 创建独立 docker 网络 

docker network create mynet

(3) 启动第一个数据库我们新建一个库，在 mynet 网络里面，可以通过域名 db1 访问到这个库。 

# <db1>
docker run -d --name db1 --net mynet \
       -e MARIADB_GALERA_CLUSTER_NAME=my_galera \
       -e MARIADB_GALERA_MARIABACKUP_USER=my_mariabackup_user \
       -e MARIADB_GALERA_MARIABACKUP_PASSWORD=my_mariabackup_password \
       -e MARIADB_ROOT_PASSWORD=my_root_password \
       -e MARIADB_GALERA_CLUSTER_BOOTSTRAP=yes \
       -e MARIADB_USER=my_user \
       -e MARIADB_PASSWORD=my_password \
       -e MARIADB_DATABASE=my_database \
       -e MARIADB_REPLICATION_USER=my_replication_user \
       -e MARIADB_REPLICATION_PASSWORD=my_replication_password \
       bitnami/mariadb-galera:10.9.5-debian-11-r2

这一步以后稍等一会，可以使用下面的命令查看日志是否报错： 

docker logs -f db1

(4) 添加一个库添加一个库 db2，连接到 db1 上。 

docker run -d --name db2 --net mynet \
       -e MARIADB_GALERA_CLUSTER_NAME=my_galera \
       -e MARIADB_GALERA_CLUSTER_ADDRESS=gcomm://db1:4567,db2:4567 \
       -e MARIADB_GALERA_MARIABACKUP_USER=my_mariabackup_user \
       -e MARIADB_GALERA_MARIABACKUP_PASSWORD=my_mariabackup_password \
       -e MARIADB_ROOT_PASSWORD=my_root_password \
       -e MARIADB_REPLICATION_USER=my_replication_user \
       -e MARIADB_REPLICATION_PASSWORD=my_replication_password \
       bitnami/mariadb-galera:10.9.5-debian-11-r2

(5) 检查集群状态连接一个库，检查集群状态。 

docker exec -it db1 /bin/bash
# 进来以后
mysql -umy_user -pmy_passowrd

登录数据库后运行： 

SHOW GLOBAL STATUS LIKE 'wsrep_%';

检查集群是否有2个节点了。

(5) 使用数据库我们登录db1，创建一点数据。 

docker exec -it db1 /bin/bash
mysql -umy_user -pmy_password
use my_database;
# 进入mysql界面后创建表和数据
CREATE TABLE Persons (
    PersonID int,
    LastName varchar(255),
    FirstName varchar(255),
    Address varchar(255),
    City varchar(255)
);
insert into Persons (PersonID,LastName,FirstName) values (1, "Dwayne", "Johnson");
insert into Persons (PersonID,LastName,FirstName) values (2, "Taylor", "Swift");

登录 db2 插入一条数据。 

docker exec -it db1 /bin/bash
mysql -umy_user -pmy_password
# 进入mysql界面后插入数据
use my_database;
insert into Persons (PersonID,LastName,FirstName) values (3, "Leonardo", "DiCaprio");

# 然后查看数据是不是有3条了
select * from Persons;

(6) 制造意外，关掉一个库 

docker stop db1

试试db2还能不能用了： 

docker exec -it db1 /bin/bash
mysql -umy_user -pmy_password
# 进入mysql界面后插入数据
use my_database;
insert into Persons (PersonID,LastName,FirstName) values (4, "Vin", "Diesel");
select * from Persons;

(7) 再启动一个库 

docker run -d --name db3 --net mynet \
       -e MARIADB_GALERA_CLUSTER_NAME=my_galera \
       -e MARIADB_GALERA_CLUSTER_ADDRESS=gcomm://db1:4567,db2:4567,db3:4567 \
       -e MARIADB_GALERA_MARIABACKUP_USER=my_mariabackup_user \
       -e MARIADB_GALERA_MARIABACKUP_PASSWORD=my_mariabackup_password \
       -e MARIADB_ROOT_PASSWORD=my_root_password \
       -e MARIADB_REPLICATION_USER=my_replication_user \
       -e MARIADB_REPLICATION_PASSWORD=my_replication_password \
       bitnami/mariadb-galera:10.9.5-debian-11-r2

docker logs -f db3
# 看日志等一会

(8) 登录 db3 查看数据是否同步 

docker exec -it db3 /bin/bash
mysql -umy_user -pmy_password
use my_database;
select * from Persons;

(9) 网络配置实际使用过程中，可以用 keepalived 配置把流量转过去。有些网络不支持 keepalived，可以用 sqlproxy 或者其他中间件，甚至 Nginx stream 也可以。 

stream {
    upstream dbservers {
	zone dbservers 64k;
	server db1:3306;
	server db2:3306 backup;
    }

    server {
	proxy_pass dbservers;
	health_check;
    }
}

(10) 收拾现场 

docker stop db1 db2 db3
docker rm db1 db2 db3
docker rm mynet
docker image rm bitnami/mariadb-galera:10.9.5-debian-11-r2

By .