ES 关于 remote_cluster 的一记小坑

最近有小伙伴找到我们说 Kibana 上添加不了 Remote Cluster，填完信息点 Save 直接跳回原界面了。具体页面，就和没添加前一样。

我们和小伙伴虽然隔着网线但还是进行了深入、详细的交流，梳理出来了如下信息：

1. 两个集群：集群 A 和集群 B ，版本都是 7.10.0 ；

1. 集群 A 没区分节点角色；

2. 集群 B 设置了 独立的 master 节点、coordinator 节点和 data 节点，其中 data 节点还带 remote_cluster_client 角色；

2. 在集群 A 的 Kibana 可以添加 集群 B 为远程集群；

3. 在集群 B 添加 集群 A 就不行，Kibana 跳回之前的页面；

4. 网络组确认已经放开策略，网络测试也正常；

翻看了 ES 和 Kibana 的日志， ES 日志中有连接失败的错误信息， Kibana 日志中无对应输出。

已经测试过网络是通的，开始尝试把集群 B 的角色配置统统去掉再尝试。
嘿，添加成功了。
接下来为了找出问题，开始一步一步给每个节点再加回原来的角色。而且如果节点原来没有 remote_cluster_client 角色，这次也一并加上。
操作过程

• 先从 data 节点开始，恢复角色，尝试添加远程集群，失败。

• 接着 coordinate 节点 ， 恢复角色且新增 remote_cluster_client 角色，尝试添加远程集群，失败。

• 最后 master 节点，恢复角色且新增 remote_cluster_client 角色，尝试添加远程集群，成功。

最终直到所有节点都有 remote_cluster_client 角色后，才成功添加远程集群。
结论： ES 集群添加远程集群所有节点都必须拥有 remote_cluster_client 角色。
事情到这里，似乎没什么问题。但当我们对这个结论进行检验时，又有了新发现。
上面的场景忽视了一个因素 -- Kibana 。于是我们搭建了一个两个节点的集群，其中节点 A 是全角色节点，节点 B 只是 data 节点。让 Kibana 分别连接两个节点进行测试。
验证结果

• 当 Kibana 连接节点 A 时，可以正常添加。

• Kibana 连接节点 B 时，添加失败，跳回界面。

结论：ES 集群添加远程集群时，Kibana 连接的 ES 节点必须拥有 remote_cluster_client 角色。
很显然，这个结论更合理。

原因分析
我们是通过 Kibana 界面操作去添加远程集群的， Kibana 连接的节点就被当作 remote_client 。该节点要向远程集群发起连接并执行相关调用。但这一切有个前提，该节点必须有 remote_cluster_client 角色才能向远程集群发起连接。

引申
我们的 CCS 操作也必须发送到一个具有 remote_cluster_client 角色的节点，才能成功执行。

参考连接
https://www.elastic.co/guide/en/elasticsearch/reference/7.10/modules-node.html