当前位置:首页 > 技术分析 > 正文内容

Elasticsearch节点角色配置详解(Node)

本篇文章将介绍如下内容:

  • 节点角色简介
  • 配置节点角色
  • 使用命令查看节点角色
  • 改变一个节点的角色
  • 数据存储目录配置


本文基于Elasticsearch 7.10版本!


任何时刻启动一个Elasticsearch实例,我们就是在启动一个节点,多个节点的集合被称为集群。如果你运行着一个Elasticsearch节点,那就意味着你拥有一个只有一个节点的集群。

默认情况下,集群中的每个节点都支持HTTP(外部访问)和Transport(节点间)通信,Transport专门用于节点间通信,HTTP被用作REST客户端访问。

在集群中,每个节点都保存了其他节点的路由信息,因此每个节点都可以将搜索和索引请求转发到正确的节点上,进行数据的读写。

默认情况下,所有节点都拥有以下角色,主候选节点、数据节点、摄取节点、机器学习节点,所有的数据节点也是转换节点。

随着集群数据量的增长,如果你拥有大量的机器学习任务或者连续的数据转换任务,需要把主候选节点同数据节点、机器学习节点、转换节点分离开来,以免相互影响,造成集群不可用。


1、节点的角色介绍

可以通过node.roles属性,定义一个节点的角色,如果不配置,节点默认拥有以下所有的角色。

  • master
  • data
  • data_content
  • data_hot
  • data_warm
  • data_cold
  • ingest
  • ml
  • remote_cluster_client

如果配置了node.roles,节点就只拥有配置的角色。

(1)Master-eligible node:候选主节点,具有管理角色的节点,该节点有资格被选为可以管理集群的主节点

(2)Data node:数据节点,存储数据,并且可以执行CRUD、搜索、聚合等请求。

(3)Ingest node:摄取节点,可以对文档进行转换和丰富,如果对集群来讲摄取操作负载较重,应该将摄取节点同master、data节点分开。

(4)Remote-eligible node:远程资格节点,如果有多个集群,可以使用此节点进行跨集群的数据访问。

(5)Machine learning node:机器学习节点,机器学习功能至少需要一个节点,

(6)Transform node:转换节点,如果想使用转换功能,使用此功能集群至少需要一个节点。

(7)Coordinating node:所有节点都是协调节点,不可以禁用,负责处理搜索和索引请求。对于搜索来讲,协调节点分成两个步骤去执行命令,第一步将请求分发给合适的节点查询数据,第二步对所有节点返回的数据进行汇总,并响应结果。


2、配置节点角色

(1)Master-eligible node:候选主节点,master节点的职责是创建索引、删除索引、监控集群中的所有节点、决定分片应当分配到哪一个节点上,拥有一个稳定的主节点对集群非常重要。候选主节点可以通过节点选举过程被选举为主节点。主节点最好是专用的,不和其他角色共用,以免其他的操作对master节点负载造成影响,导致集群不可用。下面的配置可以设置一个专用的主节点

node.roles: [ master ]

(2)Voting-only master-eligible node:只投票候选主节点。此节点虽然是候选主节点,但是不发起选举,别的节点发起选举时,它负责投票。可以使用下面的参数配置一个只投票的候选主节点

node.roles: [ data, master, voting_only ]

高可用的集群至少需要三个候选master节点,其中至少两个拥有选举功能,这样的集群即使有一个节点不可用也可以正常选举出master节点。投票节点不被选为maser节点,对服务器的配置要求不高;但是maser节点和投票节点需要定时的同步集群信息,所有对网络通信延迟要求很高。

(3)Data node:数据节点,存储了集群中所有分片的文档数据,处理CRUD、搜索和聚合操作。数据节点是IO、内存、CPU密集型节点,当节点负载过高时,需要及时扩展数据节点。下面是专用数据节点的配置

node.roles: [ data ]

可以对数据节点再做细分,分为data_content,data_hot, data_warm, or data_cold,四种角色,一个节点可以拥有多个此种角色,下面详细介绍这四种节点。

(4)data_content :内容数据节点,用于创建用户存储的内容,支持CRUD、搜索和聚合操作,配置如下

node.roles: [ data_content ]

(12)data_hot :热数据节点,存储热点数据,需要服务器拥有很高的读写性能,一般需要配置SSD硬件资源。使用下面的命令,配置一个热数据节点

node.roles: [ data_hot ]

(5)data_warm :温和数据节点,存储的数据不经常被更新,但是还是会经常查询,查询频率小于热点数据,可以使用较差的磁盘。

node.roles: [ data_warm ]

(6)data_cold :冷数据节点,存储只读数据,访问频率较低,

node.roles: [ data_cold ]

(7)ingest:摄取节点,可以对文档进行转换和丰富,如果对集群来讲摄取操作负载较重,应该将摄取节点同master、data节点分开。

node.roles: [ ingest ]

(8)协调节点:使用专用的协调节点,可以使规模较大的集群从中受益,但是协调节点的数量过多,会增加集群的负担,在集群数据量不大的情况下,可以使用数据节点来充当协调节点。当所有角色都不配置,该节点为专用协调节点。

node.roles: [ ]

(9)remote_cluster_client :默认情况下,任何节点都可以作为垮集群访问节点,使用此节点不仅可以垮集群检索,还可以跨集群同步数据。

node.roles: [ remote_cluster_client ]

(10)机器学习节点:执行机器学习任务和处理机器学习API请求

node.roles: [ ml ] xpack.ml.enabled: true

(11)转换节点:对索引数据进行转换,从源索引拷贝数据,然后转换数据,比如做一些过滤等操作,然后持久化数据至另一个索引。

node.roles: [ transform ]


3、使用下面的命令查看节点角色

(1)查看所有节点信息

curl -X GET "localhost:9200/_cat/nodes?v"
  • c (cold node)
  • d (data node)
  • h (hot node)
  • i (ingest node)
  • l (machine learning node)
  • m (master-eligible node)
  • r (remote cluster client node)
  • s (content node)
  • t (transform node)
  • w (warm node)

master项为*,表示是主节点,-的话表示候选主节点

(2)使用命令指定节点角色,然后重启节点

./bin/elasticsearch -Enode.roles=data,master,ingest

(3)再次使用命令验证下节点角色

curl -X GET "localhost:9200/_cat/nodes?v"


4、改变节点角色

(1)每个数据节点都维护着以下的数据:

  • 分配到当前节点的分片数据
  • 分配到当前节点的索引元数据
  • 集群范围内的元数据,比如settings 和索引模板数据

(2)每个master节点维护着以下的数据:

  • 集群中所有节点的索引信息
  • 集群范围内的元数据,比如settings 和索引模板数据


在启动的时候,每个节点会检查自己的数据文件。如果发现数据文件和自己角色不匹配,节点拒绝启动。更准确地说,非数据节点,发现自己的节点上有分片数据,则拒绝启动;即不是数据节点也不是主节点,如果发现索引的元数据配置也会决绝启动。

可以通过修改节点角色,然后重启节点,来改变节点的角色,但是在重启之前要做一些预处理:

  • 如果想重新使用数据节点,并且删除其数据角色,则需要使用分片分配过滤,把节点上的分片数据安全迁移至集群中的其他节点上,然后再修改节点角色,重启节点。
  • 如果你想将一个节点重新定义成一个即不具有数据角色,也不具有主角色的节点。最简单的方式就是启动一个具有空数据路径的全新节点。当然了,最安全的,还是要使用分片分配过滤,把节点上的分片全部迁移至其他节点上。

如果,按照上面的步骤无法完成角色变更,可以使用elasticsearch-node repurpose工具,删除多余的数据,然后重试。


5、数据存储目录配置

默认情况下的数据是存储在$ES_HOME/data目录下,但是也可以通过下面的配置修改其存储目录。

path.data: /var/elasticsearch/data


如果文章对您有帮助,欢迎关注、点赞、留言,我会持续更新Elasticsearch技术相关文章,和大家一起学习进步!

扫描二维码推送至手机访问。

版权声明:本文由ruisui88发布,如需转载请注明出处。

本文链接:http://www.ruisui88.com/post/3545.html

分享给朋友:

“Elasticsearch节点角色配置详解(Node)” 的相关文章

给大家分享几个漂亮的 Arch Linux 发行版

ArchLinux是一款备受欢迎的、面向技术爱好者和Linux专业人士的发行版。它以其简洁、灵活和高度可定制的特点而闻名,但对于一些人来说,配置和设置ArchLinux可能会有一些挑战。为了方便那些希望快速入门并且喜欢漂亮外观的人,我们想分享几个令人赞叹的ArchLinux发行版,它们提供了美观的界...

使用cgroup限制进程资源

这里使用containerd项目中的cgroup包来实现进程资源限制。先写一个耗费一个CPU并且一秒增加10m内存的测试进程package mainimport ( "fmt" "math/rand" "time")func main() { go f...

数组、去重、排序、合并、过滤、删除

ES6数字去重 Array.from(new Set([1,2,3,3,4,4])) //[1,2,3,4] [...new Set([1,2,3,3,4,4])] //[1,2,3,4]2、ES6数字排序 [1,2,3,4].sort(); // [1, 2,3,4],默认是升序...

一起学Vue:路由(vue-router)

前言学习vue-router就要先了解路由是什么?前端路由的实现原理?vue-router如何使用?等等这些问题,就是本篇要探讨的主要问题。vue-router是什么路由是什么?大概有两种说法:从路由的用途上来解释路由就是指随着浏览器地址栏的变化,展示给用户的页面也不相同。从路由的实现原理上来解释路...

Vue中的路由配置常用属性

router:路由页面跳转的核心库;引入路由:import VueRouter from 'vue-router'; 注册路由:const router = new VueRouter({ })mode:模式路由有hash history两种模式:hash模式URL中包含#,#后边是...

在vue项目中封装WebSockets请求

在Vue项目中封装WebSocket请求包括以下步骤:1. 安装WebSocket库:首先,导入WebSocket库,例如`vue-native-websocket`或`socket.io-client`。根据项目需求选择适当的库,并根据官方文档进行安装和配置。2. 创建WebSocket服务:在V...