作者 青鸟

在最近的工作中想用go-micro来实现一个简单的微服务，选择了etcd作为服务与注册中心，于是就在服务器上部署了etcd，并使用systemed来作为进程守护，虽然最后还是选择了Consul来作为注册中心，但是在部署Etcd这个过程中遇到了大大小小的问题，于是写一篇博客记录一下,其中着重介绍一下静态部署

Etcd的简介

首先要说明的就是为什么会选etcd来作为服务与注册中心。etcd 是一个分布式键值对存储，设计用来可靠而快速的保存关键数据并提供访问。通过分布式锁，leader选举和写屏障(write barriers)来实现可靠的分布式协作。etcd集群是为高可用，持久性数据存储和检索而准备。从上述的定义中就可以看出Etcd的核心作用就是两个方面：持久化的键值存储系统 和 分布式系统数据一致性服务提供者。

所有的分布式系统，都面临的一个问题是多个节点之间的数据共享问题，这个和团队协作的道理是一样的，成员可以分头干活，但总是需要共享一些必须的信息，比如谁是 leader， 都有哪些成员，依赖任务之间的顺序协调等。所以分布式系统要么自己实现一个可靠的共享存储来同步信息（比如 Elasticsearch ），要么依赖一个可靠的共享存储服务，而 etcd 就是可以一个可靠的共享存储服务。

etcd 以一致和容错的方式存储元数据。分布式系统使用 etcd 作为一致性键值存储，用于配置管理，服务发现和协调分布式工作。使用 etcd 的通用分布式模式包括领导选举，[分布式锁][etcd-concurrency]和监控机器活动。

Etcd 主要提供以下能力：

  • 提供存储以及获取数据的接口，它通过协议保证 Etcd 集群中的多个节点数据的强一致性。用于存储元信息以及共享配置。
  • 提供监听机制，客户端可以监听某个key或者某些key的变更（v2和v3的机制不同）。用于监听和推送变更。
  • 提供key的过期以及续约机制，客户端通过定时刷新来实现续约（v2和v3的实现机制也不一样）。用于集群监控以及服务注册发现。
  • 提供原子的CAS（Compare-and-Swap）和 CAD（Compare-and-Delete）支持（v2通过接口参数实现，v3通过批量事务实现）。用于分布式锁以及leader选举。

相比于其他的服务，Etcd的核心优势是使用简洁的方式实现 Raft 协议。使用 Raft 算法充分保证了分布式系统数据的强一致性。 etcd 集群是一个分布式系统，由多个节点相互通信构成整体的对外服务，每个节点都存储了完整的数据，通过 Raft 协议保证了每个节点维护的数据都是一致的。

Etcd在Kubernetes的使用

Etcd在最知名的一个使用案例是Kubernetes(也就是我们俗称的k8s)将配置数据存储到etcd中，用于服务发现和集群管理; etcd 的一致性对于正确安排和运行服务至关重要。Kubernetes API 服务器将群集状态持久化在 etcd 中。它使用etcd的 watch API监视集群，并发布关键的配置更改。下面是具体的作用：

  • 配置存储：etcd被用来存储Kubernetes集群的配置数据，包括集群状态、配置选项、服务发现信息、网络配置等。所有Kubernetes组件和节点都可以从etcd中读取和写入数据，以保持集群的一致性和同步性。
  • Leader选举：etcd利用Raft一致性算法来实现高可用性。当etcd集群中的一个节点成为leader节点时，它负责处理客户端的读写请求，而其他节点则作为follower节点。如果leader节点失效，etcd会自动进行leader选举，选出新的leader节点，确保集群的可用性。
  • 存储Kubernetes对象：etcd存储了Kubernetes中所有的资源对象，如Pod、Service、Deployment等。这些对象的定义和状态都存储在etcd中，并且可以通过API服务器进行访问和管理。
  • 配置变更和触发事件：当Kubernetes的配置发生变化时，如创建、更新或删除资源对象，相关的配置更改会被写入etcd。这些变更会触发相应的事件，通知Kubernetes各组件和节点进行相应的操作和调整。

Etcd的单机部署

关于Etcd的安装，我们按照官方文档的提示即可轻松完成，这里就不再赘述

准备配置文件和数据目录

1
2
mkdir -p /etc/etcd
mkdir -p /data/etcd

然后是准备环境变量的配置文件

1
vim /etc/etcd/etcd.conf

在文件中写入

1
2
3
4
5
6
7
8
9
ETCD_NAME="etcd01"
ETCD_DATA_DIR="/data/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="http://127.0.0.1:2380"
ETCD_LISTEN_CLIENT_URLS="http://127.0.0.1:2379"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://127.0.0.1:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://127.0.0.1:2379"
ETCD_INITIAL_CLUSTER="etcd01=http://127.0.0.1:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

最后是编写service中的配置文件，我们选择使用systemed来守护进程

1
vim /usr/lib/systemd/system/etcd.service

在文件中写入

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
Type=notify
EnvironmentFile=/etc/etcd/etcd.conf
ExecStart=etcd
Restart=on-failure
LimitNOFILE=65536
RestartSec=5

[Install]
WantedBy=multi-user.target

这样子我们就做好了多有的配置文件

然后启动即可

1
2
systemctl daemon-reload
systemctl start etcd

最后检查一下Etcd的运行状态

1
etcdctl endpoint status --cluster -w table

Etcd的集群部署

在生产环境或对高可用有要求的环境下，需要使用 etcd 的高可用部署方式进行部署，etcd 的 raft 协议保障各个节点数据的一致性。etcd 静态部署的核心配置就是 initial-cluster 参数，该参数在节点启动时就明确指定了该集群由哪些节点组成。

我们以3个节点的高可用静态方式部署 etcd，3个节点的IP地址分别是 10.100.0.13、10.100.0.14 和 10.100.0.15。由于每个节点的 IP 地址差异，每个节点上配置不完全相同；主要的差异就是当前节点的 IP 地址和命名。

  • 10.100.0.13
1
2
3
4
5
6
7
8
9
ETCD_NAME="etcd01"
ETCD_DATA_DIR="/data/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="http://10.100.0.13:32380"
ETCD_LISTEN_CLIENT_URLS="http://10.100.0.13:32379,http://127.0.0.1:32379"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://10.100.0.13:32380"
ETCD_ADVERTISE_CLIENT_URLS="http://10.100.0.13:32379"
ETCD_INITIAL_CLUSTER="etcd01=http://10.100.0.13:32380,etcd02=http://10.100.0.14:32380,etcd03=http://10.100.0.15:32380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

  • 10.100.0.14

    1
    2
    3
    4
    5
    6
    7
    8
    9
    ETCD_NAME="etcd02"
    ETCD_DATA_DIR="/data/etcd/default.etcd"
    ETCD_LISTEN_PEER_URLS="http://10.100.0.14:32380"
    ETCD_LISTEN_CLIENT_URLS="http://10.100.0.14:32379,http://127.0.0.1:32379"
    ETCD_INITIAL_ADVERTISE_PEER_URLS="http://10.100.0.14:32380"
    ETCD_ADVERTISE_CLIENT_URLS="http://10.100.0.14:32379"
    ETCD_INITIAL_CLUSTER="etcd01=http://10.100.0.13:32380,etcd02=http://10.100.0.14:32380,etcd03=http://10.100.0.15:32380"
    ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
    ETCD_INITIAL_CLUSTER_STATE="new"

  • 10.100.0.15

    1
    2
    3
    4
    5
    6
    7
    8
    9
    ETCD_NAME="etcd03"
    ETCD_DATA_DIR="/data/etcd/default.etcd"
    ETCD_LISTEN_PEER_URLS="http://10.100.0.15:32380"
    ETCD_LISTEN_CLIENT_URLS="http://10.100.0.15:32379,http://127.0.0.1:32379"
    ETCD_INITIAL_ADVERTISE_PEER_URLS="http://10.100.0.15:32380"
    ETCD_ADVERTISE_CLIENT_URLS="http://10.100.0.15:32379"
    ETCD_INITIAL_CLUSTER="etcd01=http://10.100.0.13:32380,etcd02=http://10.100.0.14:32380,etcd03=http://10.100.0.15:32380"
    ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
    ETCD_INITIAL_CLUSTER_STATE="new"

    然后分别启动各个节点的 etcd 服务即可

我们检查一下Etcd的运行状态，会发现会有随机一个节点被选为Leader

1
etcdctl endpoint status --cluster -w table

相关产品比较

这里的相关产品主要指的便是Zookeeper，Consul这两个

首先，Etcd 和 Zookeeper 提供的能力非常相似，都是通用的一致性元信息存储，都提供watch机制用于变更通知和分发，也都被分布式系统用来作为共享信息存储，在软件生态中所处的位置也几乎是一样的，可以互相替代的。二者除了实现细节，语言，一致性协议上的区别，最大的区别在周边生态圈。

简单来说Zookeeper在分布式系统使用更广泛（hadoop, solr, kafka, mesos 等），但是接口只提供了C和JAVA的。

Etcd 比较新，其简单好用的rest接口深受喜爱，在新的一些集群中得到使用（比如kubernetes）。虽然v3为了性能也改成二进制rpc接口了，但其易用性上比 Zookeeper 还是好一些。

Consul 的目标则更为具体一些，以服务发现和配置变更为主要目标，同时附带了kv存储。Etcd 和 Zookeeper 提供的是分布式一致性存储能力，具体的业务场景需要用户自己实现，比如服务发现，比如配置变更。

在软件生态中，越抽象的组件适用范围越广，但同时对具体业务场景需求的满足上肯定有不足之处。

参考文章：

  1. Etcd文档中文版