添加链接
link之家
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接

按照 Elastic 官方给出的 Recommanded S3 Permissions 直接配置即可。

Recommanded S3 Permissions:

https://www.elastic.co/guide/en/elasticsearch/plugins/current/repository-s3-repository.html#repository-s3-permissions

备份步骤:

1. 需要安装的插件 (推荐每台es节点都安装,并重启服务)

bin/elasticsearch-plugin install repository-s3

2. 配置访问S3账号与密码

#ACCESS-KEY
/opt/elasticsearch/bin/elasticsearch-keystore add s3.client.default.access_key

#SECRET-KEY

/opt/elasticsearch/bin/elasticsearch-keystore add s3.client.default.secret_key

3. 创建ES在Amazon S3存储库实例

curl -XPUT 'http://localhost:9200/_snapshot/backup' -H 'Content-Type: application/json' -d '{ "type": "s3", "settings": { "bucket": "indexs-backup"} }'

4. 确认备份仓库是否创建成功

curl -XPOST http://localhost:9200/_snapshot/backup/_verify?pretty

5. 查看创建的存储仓库

curl -XGET localhost:9200/_snapshot/backup?pretty

6. 备份所有索引

curl -XPUT http://127.0.0.1:9200/_snapshot/backup/snapshot_all

7. 备份部分索引

curl -XPUT 'http://localhost:9200/_snapshot/backup/index-201807' -H 'Content-Type: application/json' -d '{ "indices": "index-201807" }'

备份多个索引:

{

"indices": "products,index_1,index_2",
"ignore_unavailable": true,
"include_global_state": false

8. 查看快照信息

curl -XGET 'http://localhost:9200/_snapshot/backup/_all'?pretty

9. 恢复索引数据:
curl -XPOST 'http://localhost:9200/_snapshot/backup/index-201807/_restore

10. 查看恢复状态:

GET http://127.0.0.1:9200/_recovery/index-201807
GET http://127.0.0.1:9200/_recovery/
11. 删除一个快照存储桶:

curl -XDELETE localhost:9200/_snapshot/backup/index-201807?pretty

12. 结束

公司要求保持三个月的 数据 ,之前的索引保存在 S3 上 官方文档:https://www.elastic.co/guide/en/ elasticsearch /plugins/7.2/repository- s3 .html 注意用启动用户安装,或者用root安装完后,修改文件夹权限,如果不是 aws 的服务器,需要用到用户密码,记得安装完插件之后,就添加 key store,在启动,总之,添加完 key st... 使用 Elasticsearch Snapshot 时需要有一些基本概念澄清,他不是拿指定的 Indices 文件做个压缩包丢在 S3 完事,他是有控制的。 snapshot 结构 Elasticsearch 的 snapshot 是由其自身控制的,整个系统保持了一个如下的从下到上的控制结构,他们具备包含关系: snapshot --> repository --> ... 前几天接到搭建 ElasticSearch 集群的任务,作为一个新手当然离不开百度的支持啦,开始着手查资料,改配置,不到一天就搭建起来集群(请忽略时间问题……),第一次么,不是那么熟练。 稳定的运行了几天,突然接到我们负责人的电话,节点挂了(瑟瑟发抖中),什么情况? 然后检查了集群状态 curl -XGET 'http://127.0.0.1:9200/_cat/health?v' 查看节点状态 我们非常高兴地宣布 7.12 中冻结层(frozen tier)的技术预览,使你能够将计算与存储完全脱钩,并直接在对象存储(例如 AWS S3 ,Microsoft Azure 存储和 Google Cloud Storage)中搜索 数据 。冻结层是我们 数据 层之旅中的下一个重要里程碑,它通过以较低的成本存储大量 数据 以进行长期存储,同时又保持其完全活动和可搜索的状态,从而极大地扩展了你的 数据 范围。 长期以来,我们一直支持用于 数据 生命周期管理的多个 数据 层 - “热”(hot)表示高速,“温”(warm)表示较低的 In this post, we will explain how to retrieve Amazon Access Key ID and Secret Access Key . These key s allow you to control your AWS account.We'll focus on the following topics:How to Retrieve Root Acce... S3 client 访问ceph rgw安装配置 S3 client :安装, s3 cmd是使用python编写的客户端:$pip install s3 cmd 也可以使用yum 安装$yum install s3 cmd验证安装是否成功:$ s3 cmd --version s3 cmd version 1.5.2 #表示安装成功为 S3 的访问创建账号:sudo radosgw-admin user create s3 cmd version 1.5.2 #表示安装成功 在ceph管理主机上创建 S3 用户: sudo radosgw-admin user create --uid="test" --display-name="zhangsan" 升级原因:kibana 升级至6.4 无法正常启动连接 6.2 版本es集群 数据 ; x-pack 插件错误: [2018-09-19×××7:12:54,555][ERROR][o.e.b.Bootstrap ] Exception java.lang.IllegalArgumentException: property [name] ...