携程日志系统治理演进之路

携程的日志系统从ES迁移到ClickHouse的经历，主要核心点：

1）ClickHouse比ES硬件成本低：相同数据占用的磁盘空间只有ES的 1/3 到 1/30。

2）ClickHouse比ES读写性能更好：ClickHouse 的查询速度比ES快 5-30 倍以上。

3、 Fast and Reliable Schema-Agnostic Log Analytics Platform

Uber的日志系统从ES迁移到ClickHouse的过程（使用 ReplicatedMergeTree Table ）：

1）常用字段作为“固定字段”。

2）通过array类型解决“动态字段”的问题，查询速度比普通字段稍慢。

3）通过保存的字段信息构造SQL查询。

4）分析字段的使用情况，将常用的“动态字段”变更为“固定字段”，提升性能。

5）对上层应用（Kibana dashboards）做了透明迁移，上层无感知。

1）硬件资源消耗减少一半以上。

2）数据写入延迟1分钟以内。

3）查询性能比ES强。

4、 Handling Variable Time Series Efficiently in ClickHouse

在ClickHouse中处理时序指标时，对于变化的“指标字段”，对比了几种建表方式在数据压缩率和性能方面的差异。

5、 B站基于Clickhouse的下一代日志体系建设实践

介绍了B站基于Clickhouse的日志存储经验。

6、 滴滴基于 Clickhouse 构建新一代日志存储系统

主要介绍滴滴日志检索场景从 ES 迁移到 CK 的技术探索。

1、ClickHouse资源消耗比ES低，读写性能比ES强。

2、“动态字段问题”ClickHouse可以通过array或者map、nested类型来解决。

3、ES在集群管理上比ClickHouse简单，ClickHouse的表在集群模式下使用ReplicatedMergeTree和Distributed引擎，集群搭建和运维比ES复杂。

4、ClickHouse生态没有ES完善。

5、ES对全文检索的支持比ClickHouse好。

6、ES对数据更新的支持比ClickHouse好。

https://eng.uber.com/logging/

https://pixeljets.com/blog/clickhouse-vs-elasticsearch/

ClickHouse高可用集群的安装与部署

ClickHouse复制表、分布式表机制与使用方法

ClickHouse Better Practices