按照 Elastic 官方给出的 Recommanded S3 Permissions 直接配置即可。
Recommanded S3 Permissions:
https://www.elastic.co/guide/en/elasticsearch/plugins/current/repository-s3-repository.html#repository-s3-permissions
备份步骤:
1. 需要安装的插件 (推荐每台es节点都安装,并重启服务)
bin/elasticsearch-plugin install repository-s3
2. 配置访问S3账号与密码
#ACCESS-KEY
/opt/elasticsearch/bin/elasticsearch-keystore add s3.client.default.access_key
#SECRET-KEY
/opt/elasticsearch/bin/elasticsearch-keystore add s3.client.default.secret_key
3. 创建ES在Amazon S3存储库实例
curl -XPUT 'http://localhost:9200/_snapshot/backup' -H 'Content-Type: application/json' -d '{ "type": "s3", "settings": { "bucket": "indexs-backup"} }'
4. 确认备份仓库是否创建成功
curl -XPOST http://localhost:9200/_snapshot/backup/_verify?pretty
5. 查看创建的存储仓库
curl -XGET localhost:9200/_snapshot/backup?pretty
6. 备份所有索引
curl -XPUT http://127.0.0.1:9200/_snapshot/backup/snapshot_all
7. 备份部分索引
curl -XPUT 'http://localhost:9200/_snapshot/backup/index-201807' -H 'Content-Type: application/json' -d '{ "indices": "index-201807" }'
备份多个索引:
{
"indices": "products,index_1,index_2",
"ignore_unavailable": true,
"include_global_state": false
8. 查看快照信息
curl -XGET 'http://localhost:9200/_snapshot/backup/_all'?pretty
9. 恢复索引数据:
curl -XPOST 'http://localhost:9200/_snapshot/backup/index-201807/_restore
10. 查看恢复状态:
GET http://127.0.0.1:9200/_recovery/index-201807
GET http://127.0.0.1:9200/_recovery/
11. 删除一个快照存储桶:
curl -XDELETE localhost:9200/_snapshot/backup/index-201807?pretty
12. 结束
公司要求保持三个月的
数据
,之前的索引保存在
S3
上
官方文档:https://www.elastic.co/guide/en/
elasticsearch
/plugins/7.2/repository-
s3
.html
注意用启动用户安装,或者用root安装完后,修改文件夹权限,如果不是
aws
的服务器,需要用到用户密码,记得安装完插件之后,就添加
key
store,在启动,总之,添加完
key
st...
使用
Elasticsearch
Snapshot 时需要有一些基本概念澄清,他不是拿指定的 Indices 文件做个压缩包丢在
S3
完事,他是有控制的。
snapshot 结构
Elasticsearch
的 snapshot 是由其自身控制的,整个系统保持了一个如下的从下到上的控制结构,他们具备包含关系:
snapshot --> repository --> ...
前几天接到搭建
ElasticSearch
集群的任务,作为一个新手当然离不开百度的支持啦,开始着手查资料,改配置,不到一天就搭建起来集群(请忽略时间问题……),第一次么,不是那么熟练。
稳定的运行了几天,突然接到我们负责人的电话,节点挂了(瑟瑟发抖中),什么情况?
然后检查了集群状态
curl -XGET 'http://127.0.0.1:9200/_cat/health?v'
查看节点状态
我们非常高兴地宣布 7.12 中冻结层(frozen tier)的技术预览,使你能够将计算与存储完全脱钩,并直接在对象存储(例如
AWS
S3
,Microsoft Azure 存储和 Google Cloud Storage)中搜索
数据
。冻结层是我们
数据
层之旅中的下一个重要里程碑,它通过以较低的成本存储大量
数据
以进行长期存储,同时又保持其完全活动和可搜索的状态,从而极大地扩展了你的
数据
范围。
长期以来,我们一直支持用于
数据
生命周期管理的多个
数据
层 - “热”(hot)表示高速,“温”(warm)表示较低的
In this post, we will explain how to retrieve Amazon
Access
Key
ID and Secret
Access
Key
. These
key
s allow you to control your
AWS
account.We'll focus on the following topics:How to Retrieve Root Acce...
S3
client
访问ceph rgw安装配置
S3
client
:安装,
s3
cmd是使用python编写的客户端:$pip install
s3
cmd 也可以使用yum 安装$yum install
s3
cmd验证安装是否成功:$
s3
cmd --version
s3
cmd version 1.5.2 #表示安装成功为
S3
的访问创建账号:sudo radosgw-admin user create
s3
cmd version 1.5.2 #表示安装成功
在ceph管理主机上创建
S3
用户:
sudo radosgw-admin user create --uid="test" --display-name="zhangsan"
升级原因:kibana 升级至6.4 无法正常启动连接 6.2 版本es集群
数据
;
x-pack 插件错误:
[2018-09-19×××7:12:54,555][ERROR][o.e.b.Bootstrap ] Exception
java.lang.IllegalArgumentException: property [name] ...