Elasticsearch节点角色配置详解(Node)
本篇文章将介绍如下内容:
- 节点角色简介
- 配置节点角色
- 使用命令查看节点角色
- 改变一个节点的角色
- 数据存储目录配置
本文基于Elasticsearch 7.10版本!
任何时刻启动一个Elasticsearch实例,我们就是在启动一个节点,多个节点的集合被称为集群。如果你运行着一个Elasticsearch节点,那就意味着你拥有一个只有一个节点的集群。
默认情况下,集群中的每个节点都支持HTTP(外部访问)和Transport(节点间)通信,Transport专门用于节点间通信,HTTP被用作REST客户端访问。
在集群中,每个节点都保存了其他节点的路由信息,因此每个节点都可以将搜索和索引请求转发到正确的节点上,进行数据的读写。
默认情况下,所有节点都拥有以下角色,主候选节点、数据节点、摄取节点、机器学习节点,所有的数据节点也是转换节点。
随着集群数据量的增长,如果你拥有大量的机器学习任务或者连续的数据转换任务,需要把主候选节点同数据节点、机器学习节点、转换节点分离开来,以免相互影响,造成集群不可用。
1、节点的角色介绍
可以通过node.roles属性,定义一个节点的角色,如果不配置,节点默认拥有以下所有的角色。
- master
- data
- data_content
- data_hot
- data_warm
- data_cold
- ingest
- ml
- remote_cluster_client
如果配置了node.roles,节点就只拥有配置的角色。
(1)Master-eligible node:候选主节点,具有管理角色的节点,该节点有资格被选为可以管理集群的主节点
(2)Data node:数据节点,存储数据,并且可以执行CRUD、搜索、聚合等请求。
(3)Ingest node:摄取节点,可以对文档进行转换和丰富,如果对集群来讲摄取操作负载较重,应该将摄取节点同master、data节点分开。
(4)Remote-eligible node:远程资格节点,如果有多个集群,可以使用此节点进行跨集群的数据访问。
(5)Machine learning node:机器学习节点,机器学习功能至少需要一个节点,
(6)Transform node:转换节点,如果想使用转换功能,使用此功能集群至少需要一个节点。
(7)Coordinating node:所有节点都是协调节点,不可以禁用,负责处理搜索和索引请求。对于搜索来讲,协调节点分成两个步骤去执行命令,第一步将请求分发给合适的节点查询数据,第二步对所有节点返回的数据进行汇总,并响应结果。
2、配置节点角色
(1)Master-eligible node:候选主节点,master节点的职责是创建索引、删除索引、监控集群中的所有节点、决定分片应当分配到哪一个节点上,拥有一个稳定的主节点对集群非常重要。候选主节点可以通过节点选举过程被选举为主节点。主节点最好是专用的,不和其他角色共用,以免其他的操作对master节点负载造成影响,导致集群不可用。下面的配置可以设置一个专用的主节点
node.roles: [ master ]
(2)Voting-only master-eligible node:只投票候选主节点。此节点虽然是候选主节点,但是不发起选举,别的节点发起选举时,它负责投票。可以使用下面的参数配置一个只投票的候选主节点
node.roles: [ data, master, voting_only ]
高可用的集群至少需要三个候选master节点,其中至少两个拥有选举功能,这样的集群即使有一个节点不可用也可以正常选举出master节点。投票节点不被选为maser节点,对服务器的配置要求不高;但是maser节点和投票节点需要定时的同步集群信息,所有对网络通信延迟要求很高。
(3)Data node:数据节点,存储了集群中所有分片的文档数据,处理CRUD、搜索和聚合操作。数据节点是IO、内存、CPU密集型节点,当节点负载过高时,需要及时扩展数据节点。下面是专用数据节点的配置
node.roles: [ data ]
可以对数据节点再做细分,分为data_content,data_hot, data_warm, or data_cold,四种角色,一个节点可以拥有多个此种角色,下面详细介绍这四种节点。
(4)data_content :内容数据节点,用于创建用户存储的内容,支持CRUD、搜索和聚合操作,配置如下
node.roles: [ data_content ]
(12)data_hot :热数据节点,存储热点数据,需要服务器拥有很高的读写性能,一般需要配置SSD硬件资源。使用下面的命令,配置一个热数据节点
node.roles: [ data_hot ]
(5)data_warm :温和数据节点,存储的数据不经常被更新,但是还是会经常查询,查询频率小于热点数据,可以使用较差的磁盘。
node.roles: [ data_warm ]
(6)data_cold :冷数据节点,存储只读数据,访问频率较低,
node.roles: [ data_cold ]
(7)ingest:摄取节点,可以对文档进行转换和丰富,如果对集群来讲摄取操作负载较重,应该将摄取节点同master、data节点分开。
node.roles: [ ingest ]
(8)协调节点:使用专用的协调节点,可以使规模较大的集群从中受益,但是协调节点的数量过多,会增加集群的负担,在集群数据量不大的情况下,可以使用数据节点来充当协调节点。当所有角色都不配置,该节点为专用协调节点。
node.roles: [ ]
(9)remote_cluster_client :默认情况下,任何节点都可以作为垮集群访问节点,使用此节点不仅可以垮集群检索,还可以跨集群同步数据。
node.roles: [ remote_cluster_client ]
(10)机器学习节点:执行机器学习任务和处理机器学习API请求
node.roles: [ ml ] xpack.ml.enabled: true
(11)转换节点:对索引数据进行转换,从源索引拷贝数据,然后转换数据,比如做一些过滤等操作,然后持久化数据至另一个索引。
node.roles: [ transform ]
3、使用下面的命令查看节点角色
(1)查看所有节点信息
curl -X GET "localhost:9200/_cat/nodes?v"
- c (cold node)
- d (data node)
- h (hot node)
- i (ingest node)
- l (machine learning node)
- m (master-eligible node)
- r (remote cluster client node)
- s (content node)
- t (transform node)
- w (warm node)
master项为*,表示是主节点,-的话表示候选主节点
(2)使用命令指定节点角色,然后重启节点
./bin/elasticsearch -Enode.roles=data,master,ingest
(3)再次使用命令验证下节点角色
curl -X GET "localhost:9200/_cat/nodes?v"
4、改变节点角色
(1)每个数据节点都维护着以下的数据:
- 分配到当前节点的分片数据
- 分配到当前节点的索引元数据
- 集群范围内的元数据,比如settings 和索引模板数据
(2)每个master节点维护着以下的数据:
- 集群中所有节点的索引信息
- 集群范围内的元数据,比如settings 和索引模板数据
在启动的时候,每个节点会检查自己的数据文件。如果发现数据文件和自己角色不匹配,节点拒绝启动。更准确地说,非数据节点,发现自己的节点上有分片数据,则拒绝启动;即不是数据节点也不是主节点,如果发现索引的元数据配置也会决绝启动。
可以通过修改节点角色,然后重启节点,来改变节点的角色,但是在重启之前要做一些预处理:
- 如果想重新使用数据节点,并且删除其数据角色,则需要使用分片分配过滤,把节点上的分片数据安全迁移至集群中的其他节点上,然后再修改节点角色,重启节点。
- 如果你想将一个节点重新定义成一个即不具有数据角色,也不具有主角色的节点。最简单的方式就是启动一个具有空数据路径的全新节点。当然了,最安全的,还是要使用分片分配过滤,把节点上的分片全部迁移至其他节点上。
如果,按照上面的步骤无法完成角色变更,可以使用elasticsearch-node repurpose工具,删除多余的数据,然后重试。
5、数据存储目录配置
默认情况下的数据是存储在$ES_HOME/data目录下,但是也可以通过下面的配置修改其存储目录。
path.data: /var/elasticsearch/data
如果文章对您有帮助,欢迎关注、点赞、留言,我会持续更新Elasticsearch技术相关文章,和大家一起学习进步!